7月6日,2023世界人工智能大会在上海开幕。百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰表示,文心大模型3.5效果、功能、性能全面提升,实现了基础模型升级、精调技术创新、知识点增强、逻辑推理增强等,模型效果提升50%,训练速度提升2倍,推理速度提升30倍。截至目前,百度飞桨深度学习开放平台已凝聚750万名开发者。这也是百度2023年以来首次对外披露飞桨生态最新数据。
“文心一言将发布更多优质的百度官方和第三方插件,让用户能够更好地应用文心大模型,同时也将逐步开放插件生态,帮助开发者基于文心大模型打造自己的应用。”王海峰称。
据了解,文心一言已经于6月17日对外发布官方插件百度搜索和ChatFile。百度搜索是默认的内置插件,使得文心一言具备生成实时准确信息的能力。ChatFile是长文本摘要和问答插件,支持超长文本输入。
王海峰还在大会上解读了文心大模型3.5的核心技术创新。据他介绍,在基础模型训练上,文心大模型3.5采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略,并采用多种策略优化数据源及数据分布,加快了模型迭代速度,显著提升了模型效果和安全性。同时,创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术,进一步提升模型效果及场景适配能力。
在知识增强和检索增强基础上,文心大模型3.5提出了“知识点增强技术”,对用户输入的查询、问题等进行分析理解,解析出生成答案所需要的相关知识点,之后运用知识图谱和搜索引擎为这些知识点找到相应答案,最后再用这些知识点构造输入给大模型的提示,为大模型注入更具体、更详细、更专业的知识点,显著提升大模型对世界知识的掌握和运用。
在推理方面,通过大规模逻辑数据构建、逻辑知识建模、多粒度语义知识组合以及符号神经网络技术,提升文心大模型3.5在逻辑推理、数学计算及代码生成等任务上的表现。