湖南
在提升模型基础能力与训练推理效率的同时，为开发者和社区提供了更具拓展性的技术基础。
本文为IPO早知道原创
作者｜Stone Jin
据IPO早知道消息，百度于11月5日正式开源最新基座模型文心5.5 Flash Base（ERNIE 5.5 Flash Base）。模型采用MoE架构，总参数量2800亿，每个 Token 激活140亿参数，使用33.5万亿个 Token 完成预训练，预训练上下文长度最高达128K，微调与推理阶段支持最长100万Token上下文。在知识、推理、数学、代码、多语言和长上下文等多个基准测试中取得同尺寸模型 SOTA 表现，超过 DeepSeek-V4-Flash-Base、Hy3-preview-Base、MiMo-V2.5-Base 等模型。
随着大模型应用从文本问答向长文档分析、多轮交互和智能体任务延伸，模型需要处理的信息量持续增加，计算和显存开销也随之上升。在保证模型能力的同时提高资源利用效率，已成为大模型研发的重要课题。
文心5.5 Flash Base围绕“效率”这一设计主线，在注意力机制、专家路由及训练目标等关键环节进行系统性优化，并实现了多项算法创新。
在注意力机制上，文心提出 Latent-Gated Sparse Attention，将混合稀疏注意力、低秩门控注意力与虚拟头注意力结合起来。其中，模型通过组合HCA与MLA，让不同注意力层分别承担压缩历史信息和细粒度访问历史位置的任务；低秩门控注意力（Low-Rank Gated Attention）则改用注意力层本就会生成的低秩 query latent 来计算输出门，门控投影参数量减少 75%，模型效果也有所提升。此外，虚拟头注意力（Virtual Head Attention，VHA）可提升模型表达力与训练质量，推理时融合进注意力算子，开销极小。这些设计降低了长上下文处理的资源开销，同时保留模型对关键信息的处理能力。
在专家路由上，模型采用 Multi-Router Latent MoE，由多个独立路由器共同参与专家选择，改善路由评分与专家实际效用之间的相关性。相比依赖单一路由器的传统方案，该设计旨在降低单一评分偏差对专家选择的影响，同时保持激活专家数量、专家计算量和通信量不变。在训练目标上，模型引入 ECHO，无需额外增加 MTP（Multi-Token Prediction）模块，而是复用主干最后一层，让主干自身学习预测后续 Token，从而提前规划序列走向，有效提升推理与代码能力。文心5.5 Flash 仅采用单步 ECHO 预训练，复用的最后一层还可作为投机解码的草稿模型，展现出多步外推能力：同样只训练一步，多步起草质量大幅优于辅助 MTP 模块。
除模型架构外，大模型基建创新也十分重要。文心改进了分布式 Muon 优化器，并推出面向大 head dim 的注意力算子 FlashMask-4，改善大规模训练中的通信、显存利用与计算效率。模型能力的提升不仅依赖算法本身，也与训练系统能否高效支撑这些设计密切相关。
基座模型不仅承载着预训练阶段形成的通用能力，也是下游模型开发与应用创新的重要基础。与面向终端用户的应用模型不同，Base 模型为开发者和企业提供了进一步微调与定制的空间，可基于自身业务需求构建适应不同场景的专业模型与应用。开放基座模型能够为开发者提供更多技术选择，降低专业模型开发的训练成本与技术门槛。
当前，大模型的竞争逐渐迈向模型能力、训练效率与场景创新协同发展的新阶段。随着推理、Agent等技术与应用加速演进，行业对基座模型的需求也从单一的能力提升，转向更高效的训练范式、更灵活的能力拓展，以及更广泛的场景适配需求。文心5.5 Flash Base在提升模型基础能力与训练推理效率的同时，为开发者和社区提供了更具拓展性的技术基础，推动模型技术走向多样化的能力探索与应用创新。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
