端侧AI迎来无损时代：3G内存跑35B多模态

之前在清华听讲座，关于全模态大模型、关于AI交互，助理教授姚远提出了一些很前瞻、很有创造力的判断，让人印象深刻。

最近，看到姚远老师作为首席联席科学家的面壁智能，发布了新一代端侧多模态大模型 MiniCPM-V 4.7，要让「端侧成为原生入口」。

这次更有意思了，技术主张非常鲜明：3G内存能跑35B多模态，手机离线也能完成主流任务……

不知道多少朋友像我一样，经常出差、时常通勤，经常遇到需要用AI结果网不好，或者信息敏感的情况。

高铁飞机上信号时断时续，客户现场连个Wi-Fi要半天，很多数据不太方便外传——

这些时刻，云端再聪明的大模型，都没法解决我的问题。

时常想，如果手机离线状态，就能使用强大的模型，不知道能解决多少麻烦……

MiniCPM-V 4.7这次要解决的就是：把 AI 从云端拽回来，放到你手里这台设备上。

终端侧一边等待真正好用的多模态能力，一边又被内存、算力、功耗三堵墙牢牢约束。

以前人们总认为，「端侧 = 云端的降级版」；

但MiniCPM-V 4.7的创新和魄力在于，让「端侧=原生入口」，直接切入，直达一流的效果。

前几年行业内也习惯了端侧模型处于第二流的位置：

要跑得动，就得砍参数、缩尺寸、少看几张图、少理解几帧视频。

那么有没有其他兼顾的办法呢？想真正达到云端模型的高水准和多场景适配，必须有新的底层技术设计，把上限重新推高。

这就说到了今天的主角，面壁智能新推出的MiniCPM-V 4.7，包含1B与35B-A3B两个版本。

其中，35B-A3B把可流畅运行的端侧多模态上限推到35B MoE这一档，约3G内存即可在iOS、安卓等系统上流畅运行，并开源模型权重、推理代码和微调代码。

1B版本则继续走端侧极致效率和技术普惠路线，在极小体积下把OCR、数学、视频做到同尺寸第一梯队。

今天想跟大家说说，MiniCPM-V 4.7到底有什么不一样，价值又在哪里。

01端侧多模态的「iPhone时刻」：35B MoE装进手机

过去端侧多模态长期两难：小模型能力不足，大模型跑不动。

手机、平板、PC不是没有算力，而是内存、带宽、功耗和发热决定了，端侧不可能像云端一样堆参数。

所以行业一直在等一个变化：不是再做一个更小的模型，而是让更大的模型也能在端侧无损、流畅地跑起来。

MiniCPM-V 4.7 35B-A3B给出的答案，是35B总参数、3B激活参数的MoE架构。

它只需要约3G内存即可流畅运行，支持256K上下文，核心依靠前瞻专家调度、DSpark投机采样、x4/x16混合视觉压缩和分片图像编码。

也就是说，终端设备在不增加内存、不依赖最高端芯片的前提下，也能承载更强的多模态能力。

更关键的是，这不是实验室里的能跑，而是端侧实机上的好用。

看到官方信息，35B-A3B在iPhone 17 Pro Max上达到13+ token/s的解码速度；

在端侧部署实测中，iPad Pro M4 16GB可达到17~19 tokens/s，M5 16GB Mac上DSpark TPS平均提升27%、最高提升66%。

我自己在MacBook上实际用下来，体感是速度很快的，相应很及时，日常问题几乎可以无差别解决。

觉得这些的意义在于：端侧多模态不再只是演示级能力，已经是可日常交互的体验。

它把端侧只能降级的旧叙事，改成了端侧直接切入。

过去终端AI功能定义空间受限于模型能力，只能做简单识图、短文本OCR、轻量问答；现在，长文档、视频、OCR、数学、图表推理在端侧真正可用。

对开发者来说，这意味着可以在手机、平板、PC上重新想象多模态应用：离线长文档助手、本地视频理解、隐私敏感的文档处理、多图上下文联合推理，都不再必须把数据传到云端。

这就是为什么说，端侧多模态正在迎来自己的「iPhone时刻」。

不是某一个功能突然出现，是能力上限、运行效率、部署门槛同时跨过临界点。

02无损加快：省算力而且不减性能

端侧跑大模型，最怕的不是算得慢，而是省算力靠砍精度。

MiniCPM-V 4.7这次最值得关注的技术亮点，是它试图证明：端侧可以既省算力，又不减性能。

先看MoE的天然瓶颈。MoE模型中，每层Transformer需要先选择专家再执行计算，而专家选择又依赖上一层输出。当专家权重保存在SSD上，只能等router选出专家后才能开始读取。

这段读盘时间串行地卡在该层计算之前，是推理速度的关键瓶颈。

模型越大，专家越多，这种等待越明显。

MiniCPM-V 4.7 35B-A3B 最硬核的一点，是首次开源了能在端侧无损、流畅运行的 MoE 模型。

背后的关键，是全球首次提出的「前瞻专家调度」（Lookahead Expert Scheduling，LES）。

端侧跑 MoE 最大瓶颈不是算力，而是等不起：

每层 Transformer 要先由 router 选专家再计算，而专家选择依赖上一层输出，当专家权重放在 SSD 上，只能等 router 选完再读盘，这段读盘串行卡在计算前，GPU 只能干等。

LES 的破局思路是预判。

它把当前层路由输入特征直接送入下一层路由模块，预判下一层需要哪些专家并提前加载；同时根据命中情况调整层内专家计算顺序，提高加载与计算并行度，减少访存等待。

它无需训练额外网络，而是复用下一层 router：将本层 router 输入经过下一层 router 计算，取分数最高的 8 个专家，实测对真实激活专家覆盖率超过 80%。

更关键的是无损。

预测只用于预加载，不参与专家选择，下一层实际执行哪些专家仍由下一层 router 决定，因此模型输出与关闭预加载时逐字节一致。

iPad Pro M4 16GB 实测，LES 让生成速度平均提升约 5 倍，SSD 读盘不再卡住推理。

LES 同步开源，定位是给端侧 MoE 落地提供行业通用方案。

当 MoE、量化、预加载、专家调度和硬件适配一起成熟，端侧就不再是云端能力的降级补充，而是可以直接切入多模态大模型能力的第一现场，手机、PC、汽车、机器人、边缘设备都会受益。

视觉侧同样如此。

MiniCPM-V 4.7基于LLaVA-UHD v4的ViT内提前压缩技术，在视觉编码器内部提前压缩视觉token，减少后续编码层的计算开销；

同时支持4倍与16倍混合视觉token压缩率，可根据任务需求在视觉细节与推理开销之间灵活取舍。

最直观的证据是：16x视觉token压缩后分数几乎不掉，MMBench仍90.9、OCRBench仍90.4。这说明端侧省算力不是靠砍精度，而是靠架构和调度把无效开销压下去。

03双版本与评测：35B-A3B同档领先，1B越级同尺寸

MiniCPM-V 4.7不是一个单点模型，而是双版本组合：35B-A3B负责把端侧多模态上限推高，1B负责把旗舰能力下放到更多设备。

先看35B-A3B。在同档Qwen3.6-35B-A3B，以及更大的Qwen 27B、Gemma-4 31B面前，它在通用视觉、STEM、OCR与图表和长视频上基本全面领先：

MMBench 91.7、MMStar 80.7、MMMU 80.2、MathVista 88、MathVerse 86.5、OCRBench 91.2、CharXiv Reasoning 75.6、LongVideoBench 68.9，中文知识CMMLU也最高，达到90.2。

我还注意到，16x视觉token压缩后部分关键指标几乎不掉，MMBench仍90.9、OCRBench仍90.4。

这里我是拿35B-A3B做的一个3D视觉小游戏，在视觉和多模态交互上，会觉得达到了很不错的水准。

各个场景试下来，能感觉到35B-A3B不是靠某个单项刷榜，是在端侧最需要的能力组合上形成了优势：

长文档理解、复杂OCR、图表推理、数学、长视频。对于手机、平板、PC、汽车、机器人等终端来说，这些恰恰是用户真正会用到的高频能力。

1B则是小模型里的越级。相对Qwen3.5-0.8B，以及LFM2.5-VL 1.6B与3B，它在MMStar、MathVista、OCR、图表推理、幻觉抑制和视频理解上全面占优，1B打出4倍token压缩下MathVista 73.4、OCRBench 86.1，视频还远超同档竞品。

上一代MiniCPM-V 4.6是1.3B、6GB内存、AA榜单13分、同尺寸第一；4.7 1B延续同规格升级路线，保留x4与x16混合视觉压缩，并持续优化能力与效率的平衡。

对开发者来说，这次更新提供了面向iOS、Android等不同设备和应用需求的模型选择：

既能基于35B-A3B规格探索更复杂的多模态理解与交互任务，也能在资源受限的设备上基于1B版本构建轻量应用。

1B规格让端侧多模态从能力探索进一步走向实际落地。

体验层面，开发者可以在ModelBest开放平台注册、申请开通，获取API Key进行模型内测。官方case参考覆盖35B-A3B和1B两类，包括开放平台注册、API Key使用与模型内测指南。

真实场景中，35B-A3B已经在超高清长文档重构、高频动态视频逻辑推演、多图上下文联合推理等方向展现出护城河：它不再只是看幻灯片的模型，而是能看懂连续高清电影的智能体。

1B的case待补充，但从评测看，它在高密度复杂文本提取、多语种跨语境视觉问答等场景同样值得期待。

开发者友好度也在继续拉高。

MiniCPM-V 4.7适配SGLang、vLLM、llama.cpp、Ollama等推理框架，支持SWIFT、LLaMA-Factory等微调框架，提供GGUF、BNB、AWQ、GPTQ等量化版本，并新增FP8量化支持。

同步公开Self-Replay Fine-Tuning微调方案，帮助开发者低成本扩展模型能力、减少原有能力遗忘，方便二次开发。开源内容覆盖模型权重、推理代码和微调代码，开源链接待官方提供。

04从拼芯片到拼模型与硬件协同，开启新可能

2026年被视作端侧AI规模化落地元年，这是面壁智能CEO李大海的判断，也是不少海外AI先锋领袖的共识。

智源研究院称，端侧智能正从概念验证走向落地；

面壁智能提出的密度定律也显示，大模型能力密度约每3.5个月翻番，约100天可用一半参数量达到当前最优。

手机、AI PC渗透率上升，端侧AI正成为终端基础能力。

MoE成为端侧大模型部署关键：只激活部分专家，降低计算和内存带宽需求，让端侧跑更大模型成为可能。

存储涨价、12GB成AI手机及格线、16GB成旗舰标配，更凸显“少内存跑大模型”的价值。

MiniCPM-V 4.7以端侧MoE、量化与预加载方案回应这一命题，表明竞争正从拼芯片制程转向模型与端侧推理栈协同效率。

MiniCPM-V系列，是面壁智能的首席联席科学家、清华大学人工智能学院助理教授姚远负责，之前在清华听过他的讲座，是一位特别有前瞻眼光和决断力的技术领袖。

详见

我在想，MiniCPM-V 4.7的意义不在单一榜单，关键是把端侧多模态流畅运行上限，推到了35B MoE：

3G内存、无损加速、双版本开源。

端侧就是原生入口，直接切入，从模型和推理栈设计开始，就按端侧约束来：

MoE按需激活专家、量化降内存、预加载减延迟，再配合混合视觉压缩、投机采样、硬件适配。这样端侧就能在有限内存下，直接跑多模态大模型。

「直接切入」，切的是三层：

1. 切能力：端侧直接做多模态理解、推理和交互，不再只做简单分类或唤醒。

2. 切场景：手机、PC、汽车、机器人等终端本地实时处理，低延迟、隐私好、可离线。

3. 切产业：竞争从单纯拼芯片制程，转向拼“模型+端侧推理栈+硬件”的协同效率。

这让我觉得，端侧AI就是AI能力应用的第一现场，也有机会成为主流。

它让35B MoE在手机、平板、PC上流畅运行，让1B在极小体积下做到同尺寸第一梯队；

它用前瞻专家调度、DSpark和x4与x16混合视觉压缩证明，端侧省算力不必靠砍精度；

它把模型与硬件协同效率推到产业竞争的中心。

端侧MoE+量化+预加载，让端侧直接承载多模态大模型，而不是跑一个缩水版。

MiniCPM-V 4.7，是这条路上一个值得被记住的新上限。

朋友圈会发一些具体的案例和商业化日常～