北京
据悉，10月13日面壁智能正式发布新一代端侧多模态大模型 MiniCPM-V 4.7，包含 35B-A3B 与 1B 两个版本。其中 35B-A3B 采用 MoE 架构，总参数 350 亿、每次推理仅激活 30 亿，是首个可在端侧无损流畅运行的开源 MoE 模型，仅约 3GB 内存即可运行，解码速度达 15+ token/s（iPad Pro 实测），真正做到即问即答、无需等待。发布当日即支持瑞芯微、NVIDIA、Intel 和 Apple 等国内外主流芯片平台，同时支持 iOS、安卓和鸿蒙系统，并提供开源端侧适配代码及主流推理框架。1B 版本主打端侧极致效率，让旗舰级能力跑进更多端侧设备，也让端侧多模态从少数设备的探索，走向每个人的日常。
这一突破的背后，是面壁智能自研的 LES（前瞻专家调度）技术。MoE 模型的特点是模型内部有众多“专家”，而每次回答只调用其中几位，这意味着虽然能力更强，但同时给手机运存带来极大压力：传统做法是“用哪位专家，就临时把它搬进运存，搬完再算”，一搬一停，就会卡顿。而面壁智能 LES 技术可以做到提前预判、无缝衔接：系统会提前预测接下来要用到哪些专家，趁当前计算还在进行时就把它们提前加载好，让加载与计算同步推进。就像接力赛里接棒人提前起跑、边跑边接棒，棒子到手时已是全速，无需任何等待时间。该技术目前为业界独家开源方案。
截至目前，由面壁智能联合 OpenBMB 开源社区发布的 MiniCPM 系列开源模型，全球累计下载量已突破 6000 万次，覆盖文本、视觉、语音全模态。
本文由极果用户极果原创
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
