普罗2B：穷人实验室用一张RTX 5090显卡训出Qwen2水平的大模型

2026年初，有一群清华的研究者算了一笔账，算完之后他们自己都愣住了。

如果想复现SmolLM3-3B这个开源模型的训练过程，需要花多少钱？答案是71.9万美元。如果想复现Llama-3.2-3B呢？答案是150万美元。这些数字听起来像是某个大公司的年度预算，但事实上，这只是"从零开始训练一个30亿参数模型"这一件事的成本。

这就是问题所在。

开源社区一直标榜自己"开放"，模型权重可以下载，训练代码可以查看，数据配方可以复现。但当复现一次训练需要花掉一套房子的首付时，这种"开放"对绝大多数实验室来说，和从来没开放过没有区别。研究者们把这类实验室称为穷实验室——不是说他们穷，而是说他们没有数据中心级别的算力预算，却依然想搞清楚大模型训练背后的科学问题。

于是，这篇论文的作者们决定做一件听起来有点疯狂的事：他们要用游戏显卡，也就是那种普通人在电商网站上就能买到的RTX 5090，训练一个20亿参数、消耗1.4万亿token的语言模型，总花费控制在6900美元以内。这个数字，甚至不到一台高端服务器一个月的租金。

最终，他们做到了。而且训出来的模型，性能追平了阿里的Qwen2.5-1.5B，超过了Qwen2-1.5B，超过了谷歌的Gemma-2-2B。

这篇论文要讲的，就是他们怎么做到的。

为什么大模型训练这么贵

在讲具体方法之前，得先弄明白一件事：大模型训练的钱到底花在哪儿了。

答案很简单，也很粗暴：算力。训练一个大模型，本质上是让GPU反复做矩阵乘法，这个过程需要的浮点运算次数（FLOPs*：浮点运算次数，衡量计算量的基本单位，可以理解为"电脑做了多少次加减乘除"）和模型参数量、训练数据量成正比。参数越多、数据越多，需要的运算次数就越多，需要的GPU时间就越长，账单就越贵。

行业里通常的做法是租用数据中心级别的GPU，比如英伟达的H200或者H100。这些显卡确实性能强悍，但价格也确实感人：H200的市场租金大约是每小时4美元，而且这还只是账面价格，实际使用中还要考虑网络、存储等各种附加成本。

这篇论文的作者们盯上了一个价格洼地：RTX 5090，一张定位游戏发烧友的消费级显卡。

这里要先解释一个概念。

TFLOPS*：每秒万亿次浮点运算，衡量GPU算力的单位，数字越大代表单位时间能做的计算越多。

论文里列了一张对比表，看完这张表你会理解他们为什么这么选择。H200在BF16精度下的算力是989.5 TFLOPS，单价每小时4美元；而RTX 5090只有209.5 TFLOPS，但单价只要0.31美元每小时。算一笔性价比账：H200每美元能买到0.89 EFLOP的BF16算力，RTX 5090能买到2.43 EFLOP，是H200的2.7倍。

这就好比你要搬一大堆砖，有两个选择。一个是雇一个大力士，一天工钱800块，一小时能搬200块砖。另一个是雇十个普通工人，一天工钱一共只要80块，加起来一小时能搬500块砖，虽然每个人搬得慢，力气也没那么大，但算总账，花更少的钱搬了更多的砖。如果只看"谁力气大"，你肯定选大力士；但如果你算的是每一块钱能搬多少砖，答案完全不同。

当然，RTX 5090不是没有代价的。它内存只有32GB，远小于H200的141GB，而且没有NVLink（一种GPU之间高速互联的技术），这意味着多张显卡协同工作时，通信效率会大打折扣。这些限制会带来一系列连锁的工程难题，后面会详细讲。

但作者们通过一系列硬件层面的魔改，硬是把这些限制的影响压到了最低。他们修改了英伟达的开源驱动，绕过了消费级显卡上被人为禁用的PCIe P2P通信功能（一种让GPU之间直接传输数据、不用绕道CPU内存的技术），把单向带宽从31.5 GB/s提升到56 GB/s。他们甚至研究了如何在消费级显卡上启用GPUDirect RDMA（一种让不同服务器上的GPU直接通过网卡交换数据的技术），把8卡集群的通信带宽从8.87 GB/s提升到19.93 GB/s。

这些操作听起来很硬核，但本质上是在做同一件事：把一堆"性价比高但天生有短板"的硬件，通过精细的工程手段，逼出接近专业设备的表现。最终，他们在这套RTX 5090集群上跑出了73%的等效MFU（模型算力利用率，衡量实际算力发挥了理论峰值的百分之多少），这个数字对于消费级硬件来说相当亮眼。

如果不做这些底层优化会怎样？答案很直接：通信效率会成为瓶颈，多卡训练的加速效果会大打折扣，最终省下来的硬件成本会被浪费的时间重新吃掉。

省钱的第二招：让每一次计算都更"轻"

选对了便宜的硬件只是第一步，第二步是让每一次计算本身变得更省钱。这里用到的核心武器叫做FP8混合精度训练。

FP8*：一种8位浮点数格式，用更少的比特位表示一个数字，计算速度更快、显存占用更少，但精度也更低。

一般训练大模型用的是BF16（16位浮点数），精度够用，训练稳定。但FP8只用一半的位数存储数字，理论上可以让计算速度翻倍，前提是不能让精度损失太大，导致模型学不好。

这就像用简笔画代替精细素描来画一张脸。简笔画画得快，但如果画得太粗糙，可能连眼睛鼻子的位置都对不上。FP8训练的挑战正在于此：怎么在"画得快"和"画得准"之间找到平衡。

作者们借鉴了DeepSeek-V3提出的分块量化方案，把一整块权重矩阵切成128×128的小块，每个小块单独计算一个缩放系数，而不是整个矩阵共用一个系数。这样即便矩阵里存在个别数值特别大或特别小的"异常点"，也不会拖累整体的精度表现。

实验数据显示，这套FP8方案在五个不同规模的模型（从1.7亿到17亿参数）上进行测试，验证损失（衡量模型预测准确度的指标，数值越低越好）只比BF16高出0.0031到0.0039，几乎可以忽略不计。但换来的是什么？在17亿参数规模上，训练吞吐量提升了1.36倍。综合精度损失和速度提升，最终净收益是1.34倍，相当于在同等模型质量下节省了25.2%的GPU时间。

如果不用FP8而是老老实实用BF16会怎样？训练时间会拉长三成左右，对于一个总预算只有6900美元的项目来说，这三成的差距可能就是"能不能追上Qwen2.5"和"只能勉强超过Qwen2"之间的分水岭。

省钱的第三招：让每一步优化都用在刀刃上

如果说前两招是在"硬件"和"计算精度"上省钱，第三招则是在"优化算法"本身上抠效率，这一部分的核心工具叫MuonH（Muon加超球体约束）。

要理解MuonH，得先说说Muon优化器。

优化器*：训练神经网络时用来更新参数的算法，决定了每一步参数往哪个方向调整、调整多大幅度。

传统的AdamW优化器是目前最流行的选择，但Muon是最近几年冒出来的一个新选择，在某些场景下表现更好。而MuonH，是在Muon基础上加了一个约束：让某些权重矩阵在每次更新后都被投影回一个固定半径的球面上。

这个"固定半径球面"的设计到底有什么用？论文里给出了一个很精妙的解释角度，叫做有效学习率。

有效学习率*：不是优化器配置里设定的那个学习率数字，而是参数更新幅度相对于参数本身大小的比例，反映了"这一步实际改变了多少"。

普通Muon优化器的问题在于，权重矩阵的大小（数学上叫"范数"）会随着训练不断变化，更新量的大小也会变化，两者一除，得到的有效学习率其实是"隐式"的，很难精确控制，它会随着训练自然演化，往往在训练早期迅速衰减到接近于零。而MuonH通过把权重矩阵固定在一个球面上，让有效学习率变成了一个可以直接设定的"显式"量。

这就像开车。普通Muon是那种老式手动挡汽车，你踩油门的力度和车速的关系随着路况、载重不断变化，你很难精确控制"现在到底跑多快"。而MuonH相当于装了定速巡航，你设定"以80码行驶"，车子就真的稳定在80码，不受外部因素干扰。

论文里做了一个很直接的对比实验：在一个1.7亿参数的模型上，同时跑三组训练。第一组是MuonH，遵循预先设定好的线性衰减有效学习率曲线；第二组是普通Muon，用同样的基础学习率调度，但不做任何补偿；第三组是"对齐有效学习率"的Muon，人为动态调整学习率系数，让它的有效学习率轨迹和MuonH完全一致。

结果很有意思。普通Muon组的有效学习率在训练早期迅速衰减，几乎在训练还没过半时就接近于零了，这导致它前期收敛得比另外两组都快，但后期动力不足，最终验证损失停在3.073。而MuonH和"对齐"组都遵循更平缓的线性衰减，前期看起来慢，但后劲十足，最终损失分别是3.029和3.030，明显更低。

这个实验说明了一件重要的事：优化器的效果好坏，很大程度上取决于它的有效学习率是怎么随时间变化的，而不是取决于优化器本身用了什么花哨的数学技巧。如果不做这层分析，可能会误以为是"MuonH这个算法天生更强"，但实际上核心因素是"有效学习率的调度方式更合理"。

在完整的规模对比实验中（跨越5个不同大小的模型），MuonH相比调优过的Muon基线，实现了1.19倍的计算等效乘数，也就是说在达到同样验证损失的情况下，MuonH能省下16.1%的理论计算量。这在2000亿token、20亿参数的规模上，意味着少烧大约1600亿次浮点运算——不是一个小数目。

省钱的第四招：让数据出场的顺序也讲究起来

前面三招都是在"怎么算得更快、更省"上做文章，第四招则完全不同，它讨论的是"数据应该按什么顺序喂给模型"，这个方法叫课程模型平均（Curriculum Model Averaging，简称CMA）。

这个想法的起点是一个很朴素的观察：很多开源数据集会给每条样本打一个质量分数，分数越高说明这条数据质量越好。一个自然的想法是，让模型先学差一点的数据，再学好一点的数据，就像人先学基础知识再学高阶内容。

但这里有一个隐藏的矛盾。训练末期，学习率通常会衰减到很低，这意味着即便你把最优质的数据放在训练末尾，此时模型对参数的更新幅度已经很小了，好数据没能充分发挥作用。

这就好比你精心准备了一顿大餐的压轴菜，但客人这时候已经吃饱了，胃口所剩无几，再好的菜也发挥不出应有的效果。

CMA的解决办法是：把课程排序和训练末期的优化策略结合起来设计。具体做法是，先按照正常的学习率曲线训练一段时间，然后从某个后期的检查点恢复，把学习率固定在一个较低但非零的常数上继续训练一段，最后把这段"恒定学习率"阶段里保存的多个检查点做参数平均，作为最终发布的模型。

这里有一个术语需要解释一下。

检查点*：训练过程中某个时间点保存下来的模型参数快照，可以用来恢复训练或者直接拿来评估、发布。

具体到这篇论文里，他们把Phase 2（训练的第二阶段）的数据划分成376个"课程桶"，每个桶大约包含2.5亿个token（这里应为25亿，原文表述为约2.5B token），每个数据源内部按分数从低到高排列，再把不同数据源相同进度的部分对齐组合。整个课程走完之后，从第218000步这个检查点开始，固定学习率继续训练，最后对最后6个检查点（间隔大约100步一个）做简单平均。

效果如何？论文里做了一个六组对照实验，结果显示：单纯把数据顺序从随机打乱换成课程排序，性能提升1.18个百分点；单独做模型平均，效果反而略有下降；但把课程排序、恒定学习率续训、检查点平均这三件事结合在一起，最终效果达到57.81分，比单纯的均匀数据排序高出接近2个百分点。

换算成钱是什么概念？论文拟合了一条成本-性能曲线（后面会详细讲），根据这条曲线反推，采用课程/CMA配方达到的效果，如果换成不用课程的均匀数据配方去实现，大约需要花费1.65倍的钱，也就是1.14万美元左右，而实际只花了6890美元。

如果不做这套课程设计会怎样？意味着同样的钱只能训出一个性能弱1到2个百分点的模型，或者反过来说，想达到同样的性能，需要多花65%到140%的预算。这在动辄十几万甚至几十万美元的训练成本背景下，是一笔相当可观的差额。

普罗成本缩放定律：用一条曲线告诉你，多少钱能追上Qwen2

前面讲的都是"怎么省钱"，现在讲一个更有意思的结果：作者们发现，性能和成本之间存在一条清晰的可预测曲线，他们把这条曲线命名为普罗成本缩放定律（Puro Cost Scaling Law）。

具体做法是，固定住Phase 1（训练第一阶段）的检查点不变，只改变Phase 2投入的token预算，训练出多个不同规模的模型，然后把它们的最终评测分数和对应的花费画在一张图上。拟合出的曲线形式是：

性能 = 截距 + 斜率 × log2（成本 - Phase1固定成本）

这条曲线最有意思的地方在于，它给出了一个具体可验证的预测：只要花4400美元，就能让训出的模型平均性能超过Qwen2-1.5B（Qwen2-1.5B的基准分数是55.14）。而实际训练结果验证了这一点，花费4400美元训出的均匀数据版本模型，最终得分确实超过了这个基准线。

这个曲线的意义不只是"验证了预测准确"，更重要的是它给整个社区提供了一个参照系：如果你手头只有2000美元的预算，大概能训到什么水平；如果你有1万美元，又能达到什么水平。这种可预测性，恰恰是穷实验室最需要的东西。因为对预算有限的团队来说，最痛苦的不是"钱不够"，而是"不知道钱够不够，投进去了才发现打了水漂"。

数据配方：没有标注员，靠代理实验挑数据

前面讲的都是"怎么训得快、训得省"，但还有一个问题没讲：用什么数据训练？

大模型训练的数据配方，通常需要设计一个跨领域通用的质量打分标准，然后用这个标准筛选海量数据。但问题是，怎么给一篇维基百科文章和一段Python代码打分，让两者的分数具有可比性？这几乎是不可能完成的任务，不同领域的"好"，标准完全不同。

作者们的解决方案是代理基准测试（proxy benchmarking）。

代理基准测试*：不直接判断数据"好不好"，而是拿一个小模型在候选数据上继续训练一小段，然后看这个小模型在标准测试集上的表现，用这个表现来间接反映数据的价值。

具体流程是这样的：先用一个Qwen3-0.6B规模的小模型，在基础混合数据集上训练86亿token作为起点，然后针对每个候选数据源或者数据切片，继续训练大约84亿token，训练过程中候选数据的占比从0逐渐爬升到80%，最后评估这个小模型在15个基准测试上的表现，得到一个能力向量。

这个方法的巧妙之处在于，它把"这份数据好不好"这个抽象问题，转化成了"用了这份数据后，模型在数学题、代码题、常识题上分别考多少分"这个可以直接测量的问题。

作者们还做了一个主成分分析（PCA*：一种降维分析方法，用来找出多个变量之间隐藏的主要变化方向）来审视这些代理实验结果，发现"通用能力"这个维度和"代码能力"存在此消彼长的关系，而"数学能力"和"通用能力"基本不冲突。这个发现直接影响了配方设计：既然数学和通用能力可以兼得，那就可以放心地把更多预算投向数学数据，而不用担心拖累整体表现。

最终确定的配方里，Phase 1阶段英语占比73.2%，保持广泛覆盖；到了Phase 2，数学占比提升到18.3%，因为这是团队特意想强化的能力方向，而且有研究表明数学数据的训练效果能够外溢到更广泛的推理能力上。

如果不做这套代理实验，直接凭经验或者简单规则去筛选数据会怎样？很可能会把预算浪费在看起来"高大上"但实际训练效果不佳的数据源上，尤其是在预算极其有限的情况下，每一个百分点的数据配比失误都可能被放大成最终评测分数上明显的差距。

最终成绩单：花6900美元能买到什么

说了这么多方法，最终结果到底怎么样？

论文给出了详细的评测表格，覆盖数学、代码、推理、知识四大类共15个基准测试。在数学和代码这四项（GSM8K、MATH、MBPP、HumanEval）上，普罗2B的平均分是43.50，比Qwen2-1.5B高3.21分，距离Qwen2.5-1.5B只差4.02分。

在推理和知识这11项测试上，普罗2B平均分是63.02，比Qwen2-1.5B高2.48分，距离Qwen2.5-1.5B只差2.51分。

这里要特别提一下横向对比。同样属于"开源配方"阵营的模型里，Instella-3B用了128张MI300X显卡，SmolLM3-3B用了384张H100显卡训练了11万亿token，YuLan-Mini-2.4B用了48张A800显卡。普罗2B用的是消费级RTX 5090集群，参数量只有20亿，训练量只有1.4万亿token，却在整体表现上追平甚至超过了这些用重型硬件训出来的对手。

后训练实验：一个训练配方的差异，能不能撑过微调这一关

论文里还做了一个很有价值的追问：Phase 2用课程配方还是均匀配方训出来的模型，这个差异在经过监督微调（SFT*：Supervised Fine-Tuning，用人工标注或整理好的数据对预训练模型进行针对性调整的过程）之后，还会不会存在？

这个问题之所以重要，是因为很多人可能会想：反正后面还要做SFT，预训练阶段的这些细微差异，会不会在微调过程中被"抹平"？

作者设计了三组递进的实验来回答这个问题。第一组是聚焦数学的SFT，专门用GSM8K相关数据微调，不掺杂任何预训练重放数据。结果显示，课程配方初始化的模型准确率是68.66%，均匀配方是66.89%，差了1.77个百分点，而且三次重复实验方向完全一致。

第二组是扩大规模的数学SFT，用了更大的混合数据集和更长的训练预算。结果课程配方达到76.12%，均匀配方是74.10%，差距扩大到2.02个百分点。

第三组是更广泛的通用指令微调，用Tulu-3数据集，测试范围覆盖知识、推理、代码、指令遵循等多个方向。15项任务的宏观平均分上，课程配方是56.58%，均匀配方是54.99%，差1.59个百分点，而且在15项里有13项都是课程配方胜出。

这个结果说明，预训练阶段数据顺序设计带来的差异，并不会被后续的监督微调抹平，它会一路延续下去，影响到最终交付给用户的模型质量。这也从侧面证明，普罗团队开源整个训练流程的意义所在：如果只发布模型权重，根本无法做这种"预训练配方A和配方B谁更好"的对照实验，只有掌握了从数据到训练全流程的控制权，才能提出并回答这类问题。

写在后面

读完这篇论文，最触动我的其实不是那些具体的技术细节，而是一个更朴素的事实：这个团队没有去追求"更大更强"，而是花了大量精力去回答"能不能更便宜"这个问题。这在整个大模型竞赛充满了"越大越好"的叙事里，显得挺特别的。

有一个细节值得单独拿出来说。论文里提到，他们为了在消费级显卡上启用GPUDirect RDMA，需要对CUDA用户态驱动做一个"最小化的二进制修改"，但由于英伟达EULA（最终用户许可协议）的限制，他们没办法在论文里公开具体细节。这种"技术上做到了，但法律上不能说"的处境，某种程度上折射出硬件厂商对消费级和数据中心级产品之间人为划出的那道界限，有多么根深蒂固。这条界限的存在本身，恰恰说明了这篇论文的价值：它证明了这道界限并非不可绕过。

另一个让我反复琢磨的地方是"有效学习率"这个概念。论文里那个简单的对比实验，普通Muon和有效学习率对齐后的Muon，最后只差0.001的验证损失，几乎完全一致。这说明很多时候我们以为某个优化算法"天生更强"，其实背后起决定作用的可能只是一个更容易被忽略的调度细节。这个发现放在更大的语境里想，其实挺让人警醒的：在机器学习这个领域，很多被吹得神乎其神的"新方法"，拆开来看，核心创新点可能只是把一个原本隐式存在的量，变成了可以直接控制的显式量。

论文里还留了一个没有完全解决的问题：这套RTX 5090的配方能不能扩展到更大的模型？作者自己在"局限性"部分坦诚地写道，这条成本缩放定律是针对固定20亿参数规模的下探曲线，而不是模型规模的上探曲线。如果想训练更大的模型，消费级显卡32GB的显存容量很可能会成为一道过不去的坎。这个问题，恐怕要留给下一篇论文来回答了。

Q&A

Q1：普罗2B是什么？

A：普罗2B（PuRo-2B）是清华大学团队训练的一个20亿参数语言模型，特点是完全用消费级RTX 5090显卡从零训练，总花费不到6900美元，性能追平了阿里的Qwen2.5-1.5B并超过Qwen2-1.5B。

Q2：用游戏显卡训练大模型靠谱吗？

A：论文证明是可行的。通过修改驱动启用PCIe P2P和GPUDirect RDMA、采用FP8混合精度训练、使用MuonH优化器和课程数据排序等一系列组合优化，团队在RTX 5090集群上实现了73%的等效算力利用率，最终花费不到7000美元就训出了达到主流开源模型水平的成果。

Q3：普罗成本缩放定律说了什么？

A：这条定律描述了训练成本和模型性能之间的关系，预测只需要花费4400美元就能训出超过Qwen2-1.5B平均分（55.14分）的模型，实际训练结果也验证了这一预测，为预算有限的团队提供了可参照的成本效果曲线。