你的手机能跑35B大模型了！只要3GB内存，还无损

智东西
作者 程茜
编辑 李水青

智东西10月13日报道，刚刚，面壁智能发布新一代端侧多模态大模型系列MiniCPM-V4.7，包含35B-A3B与1B两个版本。官方称，这款35B‑A3B模型，是首个能够在手机端流畅运行、且能力无损的开源大模型。

具体来看，35B-A3B是MiniCPM-V系列首款MoE模型，总参数350亿、每次推理仅激活30亿，仅约3GB内存即可运行。其在iPad Pro实测数据显示，该模型解码速度超15 token/s，以及在iPhone 17 Pro Max上仅使用3GB内存即可实现超13 tokens/s的解码速度。

从智东西的实际体验来看，35B‑A3B版本推理速度很快，单任务耗时基本维持在秒级；在图像识别、图文分析这类常规任务上，识别结果准确、回答完整。但可能受在线演示平台限制，模型的Token输出长度存在上限，部分复杂问题无法输出完整答案。

今天起，该模型便支持瑞芯微、英伟达、英特尔和苹果等国内外主流芯片平台，同时支持iOS、安卓和鸿蒙系统，并提供开源端侧适配代码及主流推理框架。

另一个1B版本模型主打提升端侧效率，实际参数1.3B。根据面壁智能的测试结果，在指令模式下，1B版本在基础功能方面较MiniCPM-V4.6有所提升，并且在总体得分和推理效率方面优于Qwen3.5 0.8B。

截至目前，由面壁智能联合OpenBMB开源社区发布的MiniCPM系列开源模型，全球累计下载量已突破6000万次，覆盖文本、视觉、语音全模态。

开源地址：https://huggingface.co/openbmb/MiniCPM-V-4.7-35B-A3B

一、实测35B-A3B模型，推理速度飞快、简单问题回答准确

智东西通过面壁智能提供的在线演示平台体验了MiniCPM-V4.7 35B-A3B模型。

我们上传了一个餐厅墙上的英文菜单图片，让模型进行翻译并给出具体的用餐建议。从下方的动图可以看出，35B-A3B模型的生成速度很快，按照图片上的分类对菜单进行了翻译，并按照不同的需求给出了建议，如用户只想喝点东西、吃点轻食、有酒精需求等，可以选择哪些食物。

接着我们上传了MiniCPM-V4.7系列模型的发布海报，让其分析这张海报，拆解构图、配色、文案卖点、受众，说说它的优点和可以优化的地方。

在十余秒时间内，模型逐条拆解分析了上述要点，并在最后生成了一个可视化的表格。

我们上传了一张高原风景图，让MiniCPM-V4.7 35B‑A3B分析这是什么地貌。从结果来看，模型的输出内容简单直接，并给出了具体的判断依据和准确答案。

二、性能优于同规模Qwen，支持4x/16x视觉Token压缩

从性能来看，官方博客提到，MiniCPM‑V4.7推高了性能与效率的帕累托最优边界。在指令（Instruct）模式下，35B‑A3B相比Qwen3.6 35B‑A3B，能用更短的推理时间取得更高综合得分，1B版本的综合得分与推理效率优于Qwen3.5 0.8B。

MiniCPM-V4.7 1B和前代V4.6、Qwen3.5、LFM2.5-VL、Gemma-4-E2B等多模态大模型进行了横向对比。V4.7支持4x、16x两种视觉压缩率，16x Token压缩率意味着图像token更少、推理更快、显存占用更低，但通常会牺牲一点精度。

从具体的基准测试结果来看，MiniCPM-V4.7 1B在General通用图文理解、Document/OCR/文档图表分析、多图理解方面更占优势。

此外，长视频时序理解方面，MiniCPM-V4.7 1B的表现超过了V4.6、Qwen、LFM、Gemma。

MiniCPM-V4.7 35B-A3B的基准测试结果显示，其在通用图文、STEM数学、OCR文档、视频理解方面均超过了Qwen3.6 35B-A3B，仅在RefCOCO上得分略低。

在纯文本基准测试中，MiniCPM-V4.7 35B-A3B的优势是中文综合知识和复杂多轮工具规划，但在纯文本奥数、代码、严格约束指令、英文硬核专业知识方面相对偏弱。

三、三种互补技术，支撑MiniCPM-V4.7端侧流畅推理

MiniCPM-V4.7系列模型的核心突破，得益于面壁智能自研的LES（前瞻专家调度）技术，以及细粒度的逐层量化和DSpark推测性采样集成。

MoE模型总参数大于单次推理激活的参数，但端侧不能只存激活参数。不同token会调用不同层的不同专家，设备内存通常装不下全部专家权重。

一种思路是把权重放在SSD上按需加载、用完释放，但频繁加载会拖慢解码，达不到实时交互要求；另一种办法是缩小可用专家池，给整条提示词固定一批专家，减少加载次数，但缺点是后续token只能从这批专家里选，会漏掉本该选中的专家，降低模型效果。

针对上述挑战，面壁智能提出了三种互补技术：

前瞻专家调度（LES）：利用跨层路由预测来预加载下一层可能需要的专家。在实际路由器选择的专家中，LES会优先处理那些成功预取的专家，并将它们计算与加载剩余所需专家的计算重叠进行。预测仅指导预取和调度；计算仍然遵循模型原有的token级路由，预测遗漏的所需专家也会照常加载和评估。

▲前瞻专家调度架构（图源：面壁智能）

细粒度的逐层量化：减少专家权重的存储空间和内存流量，同时保持模型能力，使专家加载更适合设备内存和带宽限制。

DSpark推测性采样集成：将推测性采样融入到设备端推理过程中，与专家调度和量化技术协同工作，以提高解码效率。

结语：让更聪明的MoE模型跑在端侧

MoE架构的优势在于，用更小的单次激活算力承载更大容量的模型知识库、多模态能力，但全部专家权重无法常驻内存、动态路由带来随机加载延迟等问题会阻碍其在手机、AI PC、边缘盒子规模化落地。

面壁智能此次的新模型通过三大技术协同，实现了效果无损的端侧MoE推理。这套技术路线，证明高密度MoE多模态模型从云端下沉到本地终端，支撑离线图文分析、本地智能体等场景的潜力。