端侧AI撞上「内存墙」，瑞芯微提前做对了什么？

芯片只是入口，生态和交付，

才是那道更深的护城河。

2026年夏天，一组来自AI产业链不同玩家的信号，把“内存墙”推向AI芯片讨论的中心。

6月，应用材料在讨论AI内存时判断，随着AI从一次性问答走向多步骤Agent工作流，数据搬运正在成为与计算能力同样重要的系统瓶颈。在同月举行的VLSI 2026上，英伟达杰出研究科学家Mahmut Ersin Sinangil对此作了更直观的解释：“计算极其重要，但我们需要用数据来‘喂饱’它。”

很快，这一判断开始进入架构和产品层面。6月24日，高通公布面向数据中心AI推理的HBC近存计算路线，计划将部分计算放到更靠近内存的位置。8月底，苹果发布拥有1.2TB/s统一内存带宽的M5 Ultra；英伟达公布Jetson Orin Nano 2时，也将更高内存带宽列为其推理性能提升的来源之一。

从数据中心的加速卡，到桌面计算和机器人，这些产品切入的市场不同，形态也差异明显，但却释放出相近的信号：大模型进入持续推理阶段后，实际性能越来越取决于数据能否及时、低成本地送到计算单元。只增加TOPS，很难自动换来更快、更稳定的模型体验。

当近存计算在2026年夏天逐渐形成产业共识时，瑞芯微已经先行一年。

2025年7月，瑞芯微发布面向端侧大模型推理的AI协处理器RK182X，并随后进入量产。这颗芯片围绕AI推理重新设计了内部数据通路和存储系统，使计算更靠近数据，同时以独立协处理器承载AI推理所需的主要算力和内存资源，形成“SoC＋AI协处理器”的双轨架构。

一年后，围绕存储与计算紧密结合的端侧方案陆续出现，而RK182X已进入电视、机器人和边缘设备。这块比拇指还小的芯片，回答的是一个更大的产业命题：当AI成为终端里变化最快的一层能力，计算、存储与主控之间的关系该如何重新设计？

大模型走进终端，

芯片为何先撞上了“内存墙”？

把时间拨回2025年，瑞芯微的提前落子，恰好对应着端侧AI的一场变化。

一个最直接的体感是，可在本地部署的模型变得更强了。过去两年，参数规模从数十亿到数百亿不等的开源模型在能力和部署效率上同时提升，让更多任务可以在本地完成。对话、视觉问答、本地知识库和工具调用也陆续跨过了“能用”门槛，开始被纳入终端厂商的设计环节。

进入到实际应用，模型需要处理的任务也逐渐超出一次问答。多模态让一台设备可以同时听、看、说，Agent还需要根据用户目标调用工具、执行任务。端侧AI由此从一个偶尔被唤醒的功能，慢慢变成一种需要长期在线的系统能力。

与之对应的，是AIoT客户衡量一套方案的标准也在变化。正如瑞芯微AI生态负责人观察到的，客户关注的重点正从模型能否运行，转向它能否稳定地成为终端产品的一项日常功能。

做电视、机器人、座舱和NAS的厂商，过去问的是“板子上能不能跑起一个模型”，现在追问的是——交互能否达到自然对话般的流畅度、断网或弱网时还能不能工作、隐私数据能不能留在本地，以及加了AI之后会不会拖慢原本的显示、视频和控制。

AI能力要成为能写进说明书的正式功能——这是端侧AI最直接的产品拐点。用瑞芯微AI生态负责人的话说，跨过某个速度阈值之后，本地AI才算真正从“能演示”变成了“愿意天天用”。

但当大模型开始常驻本地，原有SoC开始面临新的资源压力。

在许多传统SoC中，操作系统、显示、视频和AI计算共享外部内存资源。但是当大模型进入终端后，逐Token解码需要反复读取模型权重，长上下文还会让KV Cache的访问量水涨船高。Agent带来的连续调用，又把推理任务的活跃时间进一步拉长。

这意味着，TOPS只能反映芯片的峰值算力，无法单独代表大模型的实际表现。带宽不足时，计算单元难以充分发挥性能，继续提高TOPS也未必能直接换来生成速度的提升；如果资源调度不当，还可能影响显示、视频等原有功能。

在瑞芯微AI生态负责人看来，“端侧大模型的第一道坎，往往在于数据能否及时送到计算单元。只有算力与数据访问能力相匹配，峰值算力才能转化为实际推理速度。”

云端已经用HBM和高速互联证明，算力提升必须同步解决数据供给。到了终端，解决同样的问题还要面对更严格的功耗、成本和空间限制。如何在这些限制下让大模型稳定运行，成为端侧AI芯片必须回答的架构问题。

近存计算渐成共识，

瑞芯微提前一年推出RK182X

进入2026年，通过拉近存储与计算的距离来缓解“内存墙”，正成为端侧AI芯片的一条越来越明确的技术方向。

4月，SK海力士在台积电北美技术研讨会上提出将内存垂直堆叠在SoC等逻辑芯片之上，并将端侧AI列为适用场景之一；进入下半年，国内多家芯片厂商也开始沿着堆叠近存方向布局，面向端侧大模型推理。这些方案所处的产品阶段和具体实现各有侧重，但核心目标都是缩短数据搬运路径、降低搬运开销。

在这条技术方向受到更多厂商关注之前，瑞芯微早在2025年7月就发布了面向端侧大模型推理的AI协处理器RK182X。围绕数据供给与系统分工，RK182X作出了两个重要的架构选择：一是通过近存架构提高内存向NPU供给数据的效率；二是在整机系统中，将AI推理的主要算力和存储资源从主控侧拆分出来。

首先发生变化的是数据路径。瑞芯微AI生态负责人把传统芯片里的计算与存储比作分处两地的“车间”和“仓库”，“大模型推理需要反复读取模型权重，就像生产过程中要不断把原料从仓库运往车间。”当运输跟不上生产，车间就要等待，长距离搬运还会增加能耗。

RK182X采用近存计算思路，将内存资源放在更靠近NPU的位置，减少模型权重在内存与计算单元之间的搬运距离。数据路径缩短后，模型数据可以更快抵达NPU，从而提高大模型推理过程中的数据供给效率。

具体到产品，RK1820和RK1828分别配备2.5GB和5GB内置内存，为AI推理提供专用的NPU和内存资源。模型运行时，权重等数据可以在协处理器内部就近供给计算单元。据瑞芯微介绍，RK182X可提供数百GB/s的内存带宽。对于逐Token生成过程中需要反复读取模型权重的大模型，这有助于减少NPU等待数据的时间，提高实际推理效率。

在RK182X内部，近存架构缩短了存储与NPU之间的数据路径，降低数据搬运开销，让计算单元获得更持续的数据供给。由此，终端可以在有限的功耗、散热和体积条件下，维持更稳定的推理吞吐。

事实上，这也改变了端侧AI芯片的评价方式。从2024年到2025年，TOPS仍是厂商最常比较的指标，但它反映的只是NPU峰值算力。到了大模型逐Token生成的解码阶段，数据能否及时送达，以及软硬件能否协同优化，都会直接影响实际生成速度。

以RK1828提供20 TOPS（INT8）的NPU峰值算力为例，其针对Transformer架构和Attention算子进行了硬件适配。根据瑞芯微官方测试，Qwen2.5-3B的输出速度超过100 token/s，Qwen2.5-7B接近70 token/s。相比单一的峰值算力数字，这组测试更接近终端实际运行大模型时的性能表现。

通过第二项架构选择，RK182X还试图解决一个更长期的系统问题：AI能力的迭代周期，如何与主控平台的生命周期相适配。

瑞芯微为此采用了SoC与协处理器并行演进的双轨架构。RK182X可以通过PCIe、USB等方式与主控协同，由主控承载操作系统、显示、视频和外设控制等基础任务，协处理器负责大语言模型与多模态模型推理。

瑞芯微AI生态负责人将其概括为：“主控负责实时控制与交互，协处理器负责大模型与多模态认知。”这样的分工使两部分可以按照各自的节奏演进，降低AI升级对既有平台的影响。

这种双轨架构还进一步转化为工程上的扩展能力。在接口、供电、散热和软件兼容等条件满足的情况下，客户可以保留现有主控，通过增加协处理器或独立AI Box补充推理能力；当模型规模或并发需求增长时，还可以通过多卡级联扩展算力和存储。据瑞芯微披露，相关方案已经可以覆盖Qwen3.5-9B和Qwen3.8-27B。

双轨架构的现实意义，就在于把长期稳定的主控平台和快速变化的AI能力分开管理。当新模型、新功能超出了原有主控的能力边界，客户可以优先升级协处理器模块和软件，而不必把整块主控推倒重来，降低更换主控、改板适配和重新认证带来的成本，缩短升级周期。

硬件迭代里，升级主控向来是最“痛”的一步——研发成本高、周期长，设备生命周期五到十年，如今的AI却几个月一变。协处理器这条路，为AI能力保留了一条相对独立的升级通道。

从芯片量产到终端落地，

瑞芯微重新定义端侧AI的交付标杆

架构上的提前布局，也为瑞芯微赢得了一个关键的产品化窗口。据瑞芯微披露，RK182X已实现量产，RKNN3也已进入可规模交付阶段。随着更多终端方案落地，RK182X的先发优势正从芯片延伸到模型适配和产品交付。

模型适配是技术走向产品的第一步。硬件搭好了带宽和算力的底座，但一款新模型能不能快速进入终端，还需要完成模型转换、量化、算子适配和稳定性验证。而瑞芯微的RKNN3把模型转换、量化优化、精度分析、部署和Model Zoo纳入同一套工具链，还提供了兼容OpenAI接口的调用方式。

据瑞芯微介绍，对于工具链已经覆盖的主流模型结构和算子，适配周期通常为数天至两周；通义千问系列则已实现Day 0适配。按照瑞芯微的定义，Day 0意味着客户可在模型公开发布当天或极短窗口内完成转换、运行，并获得可用性能。

完成适配后，模型还要进入具体方案开发。以瑞芯微与面壁智能的合作为例，MiniCPM系列先在瑞芯微平台完成适配验证；到2026年北京车展期间，双方进一步推进车载AI Box联合开发。瑞芯微提供RK182X推理平台、RKNN3工具链和硬件工程支持，面壁智能负责端侧多模态模型和座舱场景优化。

据双方披露，完成模型量化、推理调优和终端适配后，由RK3576M与RK1828组成的双芯方案运行MiniCPM 4B VLM时，纯文本场景下首Token时延约380毫秒，生成速度约103.4 token/s，同时支持纯文本和多模态推理。

瑞芯微AI生态负责人在采访中将这一交付过程比喻为从“板子上能跑”走到“可以送给车企做产品”。RK182X扮演的角色，也就从一次性的性能验证，延伸到了产品工程化交付，慢慢变成连接模型厂商和终端客户的那块工程底座。

终端产品提供了更加直接的验证。在WAIC 2026上，瑞芯微展示了海信RGB-MiniLED电视UX采用RK3588与RK1828双芯方案，可在本地将普通二维片源实时转换为立体画面，用户无需寻找原生3D片源，打开就能看到立体效果，这是消费端里少见又能被立刻感知的本地AI功能。

PUDU CC1 Pro商用清洁机器人则用RK1828做离线的污渍识别和路径规划，并可自动补扫脏污区域，不依赖现场网络；格灵深瞳的GBox、万物纵横的DA600等设备，也开始把本地视频分析、检索和多模型推理带进工业质检等边缘场景。

端侧AI芯片的价值，最终要由具体功能和产品效率验证。正如瑞芯微AI生态负责人所言，端侧AI要进入BOM，必须能够被量化为体验提升或实际回报。

从这个角度看，RK182X已经从模型跑通走向产品交付。瑞芯微较早形成的架构判断，也由此在电视、机器人和边缘设备中获得了现实落点。

相较于服务自有生态产品线，对一颗面向开放市场的协处理器而言，进入少数终端只是产品化的开始，后面还需要适配不同品牌、主控和模型，通过模块化接口与RKNN3，将单个客户的适配成果沉淀为可以重复使用的平台能力。

而这正是瑞芯微长期积累的AIoT客户基础的核心优势。过去将主控芯片送入不同终端的经验，如今开始被复用到端侧AI协处理器。据瑞芯微披露，公司整体服务的全球客户超过5000家；RK182X已经进入十余个行业，已有超过300家客户采用。

开放市场带来了更高的适配复杂度，也放大了平台复用的价值。一旦同一套芯片和工具链能够在不同客户之间复制，其覆盖范围就会随之扩大。瑞芯微早期的架构判断，也将由此进一步转化为规模化的端侧AI交付能力。

把先发优势延伸到更多终端

回过头看，RK182X的先发，关键在于瑞芯微更早把判断做成了产品。2025年，这颗端侧AI协处理器正式发布，随后进入量产。一年后，更多厂商也开始沿着相近方向布局。近存计算由少数企业的尝试，逐渐成为一条更加清晰的产业路线。

这套打法，瑞芯微并不陌生。过去做AIoT主控，它先判断终端需要什么，再依靠成熟工艺和自研IP把判断变成芯片，并通过一个个客户项目完成落地，一路从产品定义走到了生态交付的闭环。

到了RK182X，瑞芯微面对的是一类新的产业命题：大模型进入终端后，芯片如何跟上模型和应用的变化？它围绕大模型推理重新设计数据通路和存储系统，让计算更靠近数据，同时把AI能力从主控中独立出来，为后续升级留出空间。

近存计算与存算协同正获得越来越多厂商认同。随着行业共识的形成，瑞芯微也从AIoT主控厂商，蜕变成了端侧AI的拓荒者。下一阶段的竞争，是谁能用更低的改造成本、更快的适配速度，把不断变化的AI能力送入更多终端。

芯片只是入口，生态和交付，才是那道更深的护城河。从这个角度看，RK182X最重要的意义，或许是让瑞芯微把一次技术上的先发优势，转化成平台化、规模化的端侧AI交付能力。