从高效架构到软硬件协同：大模型降耗全栈技术图谱

在人工智能飞速发展的今天，大模型的参数量正从百亿迈向万亿，序列长度从1K扩展至100K tokens。伴随这些数字跃升的，是几何级数增长的计算成本和碳排放压力。近期，一篇题为《A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design》的最新综述论文，系统梳理了这一领域的前沿进展。本文将从高效模型构建、高效训练与计算优化、高效AI芯片与软硬件协同设计三层递进的结构出发，对这篇论文的核心内容进行解读。

论文题目： A Survey on the Green Development of Large Models: From Resource-Efficient Architectures to Hardware-Software Co-Design 论文链接： https://cje.ejournal.org.cn/article/doi/10.23919/cje.2025.00.438

图1. 模型架构、训练策略和AI硬件之间的三角协同关系 一、为什么需要“绿色大模型”？

近年来的标志性大模型，包括BERT、GPT系列、CLIP、LLaVA等，在自然语言处理、计算机视觉和科学计算等领域不断刷新表现。然而，这些成就背后是日渐失控的算力账单。论文中的表1对比了主流大模型训练阶段的GPU小时数、能耗和碳排放：

• GPT-3耗能约128.7万KWh，排放约552吨二氧化碳当量

• GPT-4o预计耗能高达1680万KWh，排放超2万吨

• LLaMA 3用3万块H100训练了300亿GPU小时，耗能约1100万KWh

其根本问题在于Transformer的注意力机制的时间和内存复杂度均为O(N²)。当序列长度从1K增至32K，注意力矩阵存储需求直接扩大1024倍。这个“平方墙”（Quadratic Wall）严重制约了长文本处理能力。
表1 主流大模型的GPU训练时间、能耗使用、碳排放等能耗比较

二、效率模型构建：从注意力优化到线性复杂度架构

论文将效率模型构建划分为三个方向。

1. 注意力算子优化

最直接的路径是优化注意力计算本身。FlashAttention通过分块平铺计算和内存访问优化，将内存复杂度从O(N²)降至O(N)，同时速度提升2-4倍。目前已迭代至FlashAttention-3，广泛应用于GPT-4、Claude、LLaMA等模型。

2. 线性复杂度架构

这条技术路线致力于从根本上降低复杂度。如图2所示，Mamba用“状态空间模型”替代注意力机制，复杂度降至O(N)，将GPU内存使用减少86.8%，速度提升2.8倍。vHeat从热传导物理过程中汲取灵感，将复杂度降到O(N¹·⁵)，在遥感图像处理中表现突出。

RWKV将RNN的循环机制与Transformer的并行训练优势结合起来；RetNet把并行训练与循环推断能力融合在一体。这些技术形态各有侧重，共同形成了丰富的技术发展图谱。

图2 三种典型基础计算架构的计算复杂度对比

3. 模型稀疏化与模型合并

Mixture of Experts（MoE）架构代表了稀疏激活路线的经典成果。DeepSeek-V3拥有6710亿总参数，推理时仅激活约370亿参数，激活率仅约5.5%。通过选择性地激活专家子网络，实际计算量仅为传统密集模型的1/20。

如图3所示，模型合并技术则无需原始训练数据，即可将多个专家模型整合为一个通用模型，降低了多任务部署的存储和推理成本。

图3 模型合并技术示意图

三、高效训练与优化计算

1. 参数高效微调

图 4 三种典型模型参数高效微调方法

如图4所示为三种典型模型参数高效微调方法，分别是提示词（Prompt）调优，适配器（Adapter）微调，低秩（LoRA）微调。LoRA（Low-Rank Adaptation）的核心思路很简洁，冻结原有权重，仅学习低秩矩阵A和B作为增量更新。相比全参数微调，LoRA参数量减少一万倍，显存占用降低70%，且推理时可将增量矩阵合并入原始权重，实现零额外延迟。LoRA已成为该方向的主流方法。论文同时梳理了Prompt-based Tuning和Adapter Tuning这两类技术路径，开发者可以根据具体场景灵活组合使用。

2. 模型与计算压缩

图 5 三种典型模型压缩方法

如图5所示为三种典型模型压缩方法，分别是量化（Quantization）、剪枝（Pruning）、知识蒸馏（Knowledge distillation）。

量化方向上，LLM.int8()可在INT8精度下保持近FP16的准确率；BitNet甚至尝试了1-bit量化，展示了极低位宽的可行性。

模型剪枝方面，SparseGPT可在OPT-175B模型上实现50%稀疏度并消除迭代适配的负担；Wanda依激活值剪枝，降低1.24倍推理耗时；SliceGPT通过PCA方式删除低贡献度成分，达到1.87倍加速。

知识蒸馏方面，Orca 2利用教师模型的合成数据，在推理管道上达到40%的加速；TinyLLM集成多教师知识，边缘侧保持90%精度的同时速度提升达30%。

3. 推理加速：KV缓存优化与推测解码

图 6 KV Cache 机制示意图

如图6所示，大模型推理时，KV缓存是关键的内存瓶颈。CacheGen在Llama-2-70B上实现2-4倍上下文加载速度提升；LaCache把KVCache大小压制40%、速度抬升1.5-2倍；R-KV压缩KV缓存110%，数学推理准确率保持100%的同时吞吐量提升6.6倍。

推测解码采用小型模型预先草拟候选token序列，再由主模型并行验证，可变上下文场景中提速高达2.5倍。

四、AI芯片与软硬协同设计

1. 主流AI芯片生态

图 7 AI芯片的应用类型

如图 7 所示，AI 芯片可大致根据其部署环境（即云端或边缘）以及在训练或推理中的计算角色进行分类。

中央处理器（CPU）虽然灵活，但通常不适用于大规模矩阵运算。GPU以其大规模并行架构和成熟软件生态（CUDA）成为大模型训练的事实标准。NVIDIA H100的TDP已超700W，因此每瓦性能（TOPS/W）已彻底取代峰值算力，成为评价芯片绿色的核心指标。

Google TPU使用脉动矩阵结构和环形互联，为Gemini等模型提供高效训练推理支撑。其高模型FLOPs利用率和每操作能耗控制，展现了领域专用加速器的数据中心效率。

国产AI芯片方面，华为昇腾910提供了从CANN/AscendCL工具链到MindSpore框架的垂直整合；寒武纪MLU系列以标准编译器工具链对接国产框架；地平线专注于边缘端高能效SoC。软件栈的成熟度正成为决定芯片部署效果和能效的关键因素。

存内计算将计算嵌入存储器阵列，减少数据搬运能耗；神经形态芯片和光学互连也在探索通往更高能效的路径。

2. 绿色数据中心与“西算”工程

“东数西算”将大型AI训练负载向西部绿色能源富集区转移。乌兰察布零碳算力集群PUE低于1.2、绿电占比达100%。中国C²NET算力网进一步实现资源撮合和绿色调度，同时支持隐私保护和去中心化的算力供给。

五、面向可持续的应用实践

1. DeepSeek：训练效率的双重突破

DeepSeek系列在训练端融合张量并行、流水线并行与数据并行，通过延迟隐藏内核和拓扑通信复用最大化GPU利用率。在推理侧，DeepSeek-R1将强化学习引入推理流程，以结构化的决策策略提升token效率和每焦耳收益。

2. RS-vHeat与“空天-灵眸”3.0遥感系统

遥感高吞吐推理对延迟和功耗要求严格。RS-vHeat以热传导驱动的局部性偏置取代全局注意力，内存占用降低84%，FLOPs减少24%，吞吐量提升2.7倍，同时保持遥感多模态数据处理任务的顶尖水平。

3. 谷歌与Meta的可持续AI优化实践

谷歌Gemini系统融合了加速器遥测、碳感知调度与动态模型路由，一年内单次推理碳排放降低44倍。Meta则从全生命周期角度进行碳核算，并将等变架构与FlashAttention、量化等技术结合以削减算力需求。

六、挑战与展望

论文最后指出了四个关键挑战。

• 持续与增量学习应将弹性参数分区、检索增强和联邦学习等方法作为主流范式，从碳足迹根源上避免“从头开始训练”。

• 存内与物理中心计算需要模型与硬件的协同设计，包括对线性复杂度模型与数据移动代价共同优化的中间表示层。

• 边缘AI在神经形态计算、6G-IoT融合和端到端全量化模型方面孕育着突破。

• 标准化评估亟待多维统一评测框架，将算力、能耗、碳排放全生命周期纳入考量，CodeCarbon等工具提供了有益的方向。

大模型的高速发展带来了显著的算力与碳排放压力，也催生了从注意力算子优化、线性复杂度架构到参数高效微调、推测解码，从硬件协同设计到绿色数据中心等一系列技术路径的探索。论文构建的“模型架构→训练部署→软硬件协同”三层框架，为我们理解这一复杂生态提供了清晰的图谱。

绿色AI不仅是技术命题，也是行业可持续发展的必然要求。在效率和规模之间找到平衡，将决定下一代大模型能否真正实现普及和长远发展。

各个模块的详细内容请参看综述原文。

图 8 综述论文结构

Illustration From IconScout By IconScout Store

载誉重返讲坛，以工程实践反哺理论之林，五位青年教授的线上闭门交流

北京时间7月28日(周三) 晚20:00截止报名

详情点击图片跳转

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈