让Token生产更高效：异构混推的关键技术演进与创新实践

Token经济加速爆发，算力需求发生结构性反转，推理需求已取代训练，成为算力增长主引擎。

随之而来的，是AI基础设施面临的全新命题与挑战：当Token调用量迈向千倍级增长，推理系统如何承接持续攀升的需求？如何通过异构算力实现高效、稳定的Token生产？

在近日举办的“2026全球AI芯片峰会·Token工厂异构混训混推技术研讨会”上，商汤大装置资深技术专家罗伟以《Token工厂：以异构算力构建新一代Al基础设施》为主题发表演讲，深入剖析规模化推理面临的系统挑战，并分享商汤大装置在异构推理架构、模型适配及关键技术演进等方面的实践与探索。

01行业挑战：Agent时代，推理负载瓶颈贯穿整套系统

Agent时代的负载特征，和传统单轮对话的推理需求有明显不同。

首先是长上下文，带来了输入计算和KV Cache占用的持续增长；其次是连续多轮的对话，意味着前缀复用和热点不断变化；再者是突发与长尾需求多，意味着流量和长度的分布会持续波动。

罗伟表示，面对这些变化，商汤大装置的底层逻辑已经转向“以Token、状态与时延预算为中心”，所有设计都围绕Token的生产效率、交付质量与单位成本，进行资源的组织和利用。

这一以Token为中心的系统设计，也支撑商汤大装置持续提升规模化Token生产与服务能力。如今，商汤大装置的日均Token服务量，已经从年初2月的0.46万亿，增长至8月4.5万亿。

02创新实践：横向串资源、纵向拉效率，系统级提高Token产能

如何把单点效率组织成系统级Token产能？罗伟分享了商汤大装置的两条主线：“横向编排”与“纵向优化”。两条主线最终指向共同目标：模型质量达标、SLO达标、有效吞吐提升、单位产能成本下降。

横向串资源：让不同算力各展所长

所谓“横向编排”，目的是资源协同，让平台知道哪些模型、哪些版本能运行在哪些算力上，哪些Prefill与Decode组合能做KV Cache交接，当前请求应该进入哪条路径，负载变化时如何自动调整。

针对不同品牌、不同规格的算力，商汤大装置构建了统一的资源画像，覆盖计算吞吐、KV Cache的容量、有效带宽、模型兼容性等，让不同算力进入同一个编排视角。

在此基础上，平台对推理请求进行全生命周期管控。从准入配对、Prefill执行、KV Cache状态交接，到Decode接管，每一个环节都有标准化的协同机制，保障服务稳定性。

“我们不会把某一类芯片永久固定为P节点或D节点。”罗伟强调，平台会根据模型、批量、上下文长度的瓶颈变化，动态调整不同芯片的角色分工，实现更高的可用性、灵活的组合和配比。

纵向拉效率：让整条路径性能最大化

在横向打通资源的同时，商汤大装置持续深化“模型×引擎×芯片”三层纵向优化，从模型适配到芯片运行时，充分释放整条执行路径的性能。

其中，在模型层，针对权重量化、显存预算进行精细化调优，平衡精度与吞吐；在引擎层，针对Attention、GEMM等核心算子进行并行优化；在芯片层，深度适配编译、访存调度与内存管理。而所有优化结果都会在真实负载中进行系统验证，规避单点效率的瓶颈。

03技术演进：从动态池化到模块拆分，持续提升Token生产效率

在成熟实践的基础上，罗伟进一步分享了异构协同走向更高效率、更高灵活性的两大关键技术演进方向。

技术演进方向一：从固定P/D到动态资源池

在资源调度层面，商汤大装置正在从固定P/D配比走向动态资源池化。不同业务、不同时间段的输入输出长度和流量热点不断变化，静态P/D组合容易造成局部排队和资源错配。

为此，商汤大装置分别构建Prefill Pool和Decode Pool，根据实时负载、KV Cache状态及节点健康度，动态完成请求路由和P/D资源匹配。当长输入导致Prefill压力升高时，系统可动态增加P节点；当长输出推高Decode负载时，则增加D节点，甚至通过角色切换实现P/D节点灵活转换，让资源跟着负载动态调整，在保障SLA的同时提升整体算力利用效率。

技术演进方向二：从P/D走向模块级资源池

面向未来多模态、MoE模型的发展，传统按P/D两阶段划分资源的方式将显现瓶颈。商汤大装置的架构演进方向，是进一步走向模块级资源池化：将Encoder、Attention、FFN、视觉编码等不同模块拆分为独立资源池，各自按负载特点弹性扩缩容，让资源匹配更精准、利用率更高。

演讲最后，罗伟表示，面向未来，作为“最懂大模型的AI基础设施”，商汤大装置将持续推动产品与技术迭代，与生态伙伴共同加速AI基础设施持续升级，推动普惠AI，智造美好未来。

本文由商汤科技提供，量子位获授权转载，观点归原作者所有。