北京
分享至
10月13日消息，面壁智能正式发布新一代端侧多模态大模型 MiniCPM-V 4.7，包含35B-A3B 与1B 两个版本。其中35B-A3B 采用 MoE 架构，总参数350亿、每次推理仅激活30亿，是首个可在端侧无损流畅运行的开源 MoE 模型，仅约3GB 内存即可运行，解码速度达15+ token/s（iPad Pro 实测），真正做到即问即答、无需等待。发布当日即支持瑞芯微、NVIDIA、Intel 和 Apple 等国内外主流芯片平台，同时支持 iOS、安卓和鸿蒙系统，并提供开源端侧适配代码及主流推理框架。而1B 版本主打端侧极致效率，让旗舰级能力跑进更多端侧设备，也让端侧多模态从少数设备的探索，走向每个人的日常。
据介绍，这一突破的背后是面壁智能自研的 LES（前瞻专家调度）技术。MoE 模型的特点是模型内部有众多“专家”，而每次回答只调用其中几位，这意味着虽然能力更强，但同时给手机运存带来极大压力。而面壁智能LES技术可以做到提前预判、无缝衔接：系统会提前预测接下来要用到哪些专家，趁当前计算还在进行时就把它们提前加载好，让加载与计算同步推进。该技术目前为业界独家开源方案。
截至目前，由面壁智能联合 OpenBMB 开源社区发布的 MiniCPM 系列开源模型，全球累计下载量已突破6000万次，覆盖文本、视觉、语音全模态。（韩蕾）
