王海峰：文心大模型训练效率提升到5.1倍 推理105倍

4月16日，以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心成功举办。百度首席技术官王海峰以“技术筑基，星河璀璨”为题，发表演讲，解读了智能体、代码、多模型等多项文心大模型的关键技术和最新进展。

自去年3月16日发布知识增强大语言模型文心一言以来，百度不断迭代升级文心大模型，技术创新不断，从知识增强、检索增强，进一步发展出知识点增强；基于更大的算力、更多的数据和更强的算法，依托飞桨平台，从文心3.0、3.5，到4.0，文心大模型能力愈加强大，效果和性能全面提升。

王海峰表示，智能体是重要的发展方向，会带来更多的应用爆发。智能体是在基础模型上，进一步进行思考增强训练，包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习，进而得到思考模型。智能体的思考模型像人一样，会阅读说明书，学习工具的使用方法，进而可以调用工具来完成任务。

王海峰解读了智能体的思考过程，演示了智能体如何经过思考调用工具。在文心大模型4.0工具版上，提问“我要到大湾区出差一周。想了解一下天气变化，好决定带什么衣服。请帮我查一下未来一周北京和深圳的温度，告诉我出差应该带什么衣服，并整理成表格。”智能体就像人一样，通过思考、规划，把用户需求拆解成多个子任务，首先调用“高级联网”工具来查询天气信息，然后调用“代码解释器”画温度趋势图，根据未来一周的天气情况，选择了合适的衣物，最后对结果进行思考、确认，并自动汇总成一个表格。

从万亿级训练数据中，文心大模型既学到了自然语言的能力，也学到了代码能力，打通从思考到执行的过程。基于文心大模型的这两种能力，百度开发了代码智能体和智能代码助手。王海峰表示：“代码智能体，让大家都能做之前只有程序员才能做的事，人人都可以成为程序员；智能代码助手，则帮助专业的程序员更高效地写出更好的代码，可以说是程序员的AI同侪。”

代码智能体是在“用模型写代码让复杂的任务变简单”，思考模型加上代码解释器，构成了代码智能体。首先，思考模型理解用户需求，经过思考，把完成任务的指令和相关信息整合成提示，输入给代码解释器；然后，代码解释器根据提示，把自然语言表达的用户需求翻译成代码并执行，得到执行结果或者调试信息；接着，思考模型对代码解释器的执行结果进行反思确认，如果正确，就把结果返回给用户，不正确就继续进行自主迭代更新。

王海峰演示了用代码智能体为本次Create大会嘉宾定制邀请函，代码智能体首先理解了邀请函模版内容，然后生成代码并执行，把嘉宾姓名填写到合适位置，新生成的邀请函文件以嘉宾的名字命名，最后输出打包好的多张邀请函。

大会现场，王海峰进一步透露，在模型效果不断提升的基础上，百度进一步构建了上下文增强、私域知识增强、流程无缝集成等能力。目前智能代码助手Comate整体采纳率达到了46%，新增代码中生成的比例已经达到了27%。Comate把代码理解、生成、优化等能力无缝集成到研发流程的各个环节，就像助理一样，帮助提升代码开发质量和效率。Comate展示了帮助工程师接手代码的过程，通过一条简单的指令，就可以快速了解整个代码的架构，甚至是每一个模块的具体实现逻辑，还可以根据当前的项目代码以及第三方代码自动生成满足要求的新代码。

王海峰现场还分享了多模型技术。他表示，在大模型应用落地过程中，效果，效率和成本都很重要。在实际应用中，需要从场景需求出发，选择最适合的模型。一方面，是高效低成本的模型生产；另一方面，是多模型推理。高效低成本模型生产方面，百度研制了大小模型协同的训练机制，可以有效进行知识继承，高效生产高质量小模型，也可以利用小模型实现对比增强，帮助大模型的训练。同时，建设了种子模型矩阵，数据提质与增强机制，以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。高效低成本模型生产机制，助力应用速度更快、成本更低、效果更好。多模型推理方面，百度研制了基于反馈学习的端到端多模型推理技术，构建了智能路由模型，进行端到端反馈学习，充分发挥不同模型处理不同任务的能力，达到效果、效率和成本的最佳平衡。

除了智能体、代码和多模型技术，文心大模型在其他方面也持续创新，包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术，以及多模态技术等。王海峰现场公布，文心大模型4.0的效果持续提升，发布后的半年时间，又提升了52.5%。

文心大模型的持续快速进化，得益于百度在芯片、框架、模型和应用上的全栈布局，尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%，相比一年前文心一言发布时，训练效率提升到当时的5.1倍，推理105倍。截至目前，飞桨文心生态已凝聚1295万开发者，服务24.4万家企事业单位，基于飞桨和文心创建89.5万个模型。

王海峰表示，文心一言累计用户规模已达2亿，日均调用量也达到了2亿，高效满足了用户工作、生活和学习需求。

最后，王海峰介绍了百度AI人才计划的最新进展，百度在2020年提出了5年为全社会培养500万AI人才，目前这一目标已提前达成。他表示，“未来，我们将继续投身人才培养，让人才的点点星光，汇成璀璨星河。智能时代，人人都是开发者，人人都是创造者，让我们一起，创造美好未来。”