大模型一定要一个字一个字往外蹦吗？他们押注四年，给出了另一种答案

编辑｜张倩

2008 年，英伟达曾用一场颇为疯狂的实验，向人们展示并行计算的威力。

在现场，一台绘画机器人按部就班、一个像素接一个像素地绘制出一幅「笑脸」简笔画。

但接下来，画风突变。工作人员启动了一台布满 1100 个彩弹发射管的巨大装置。伴随着一声巨响，上千颗彩弹几乎同时射出，在画布上留下密密麻麻的颜料痕迹。一幅《蒙娜丽莎》就这样瞬间出现，用时 80 毫秒。

两种绘画方式，展示了串行与并行的巨大差异。

18 年后，并行计算早已成为人工智能发展的重要基础，英伟达的 GPU 支撑起了今天的大模型训练和推理。但有意思的是，绝大多数主流大语言模型仍然沿用着一种相当「串行」的文本生成方式。

它们像当年那台绘画机器人一样，从左到右，一个 Token 接着一个 Token 地生成答案。即使拥有再强大的计算硬件，后一个 Token 的生成也通常需要等待前一个 Token 完成。

那么，有没有可能让语言模型也像那台彩弹装置一样，同时生成多个 Token

扩散语言模型（dLLM）正在探索这样的可能性，而且这个方向在近两年变得备受关注，相关模型的表现也是一再刷新大家的认知。

最近，这一方向的实力玩家、创下全球扩散语言模型最大规模融资纪录的公司 ——扩散智能（DiffuSpace）公布了一项新进展，发布了开源扩散语言模型 Clover-35B-A3B-Preview。官方数据显示，这一新模型在多项能力评测中达到或超过同规模自回归模型，同时实现了更快的生成速度，而且是在智能体编程和工具使用这类较难的任务上

之前，大家总是调侃这类模型「别管对不对，你就说快不快吧」，也就是速度和质量总是顾此失彼。但这次，Clover 35B-A3B 在它的尺度上证明了：高速生成与高性能，可以共存于同一模型。

看来，扩散语言模型这个赛道的前沿，又被往前推了一步。

这次，dLLM 和自回归模型

站上了同一起跑线

在深入细节之前，我们先感受一下 Clover 35B-A3B 是怎么工作的：

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

在这个 demo 里，模型被要求用单个 HTML 文件模拟一个桌面环境，支持窗口拖动，并能打开多个小应用。Clover 根据这条需求，生成了包含程序坞、窗口系统以及记事本、计算器、时钟、天气和设置等应用的模拟桌面。过程中，Clover 在多个位置同时、快速生成，不慢放都看不清楚。

实测数据显示，Clover 在单张 GB300 上整体生成速度达 680 tokens/s，在 H200 上为 515 tokens/s，高于同规模 Qwen 模型加 DFlash2 加速方案的 365 tokens/s。

这一速度优势在多个场景中都得到了验证：

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

模型被要求查询「从 CMU 到最近的 Wendy's 要开多久」。地图搜索不带位置信号，直接搜店名会跳到缅因州，Clover 识别出结果跑偏，逐步加入城市和邮编改写检索，页面卡住后两次重置重来，最终用 28 步、169.9 秒找到正确门店；对照的 Qwen3.6 Flash 用满 30 步、耗时 578.3 秒，仍停留在 347 公里外的一家店，未通过任务评判。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

一条复合空管报文，需要并行解析出禁飞区解除、航点修改、任务分配等五项任务。Clover 用 0.97 秒同时给出五项正确结果，Qwen 用了 3.78 秒，还把其中一项测绘任务误解析为医疗任务。

而且，它不仅是快，在智能体编程和工具使用等任务上也是真能打。

在六项 Agent 评测上，Clover 全部拿到所列模型中的最高分，其中 SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7、τ³ Overall 65.3，同时超过了同为扩散路线的前沿模型 LLaDA 2.2 flash、闭源的 Mercury 2.5，以及同尺寸的自回归模型 Qwen3.6-35B-A3B。要知道，拿到对比的这些模型本来就是很能打的，用来测试的 benchmark 在各家模型发布时也被广泛引用，含金量没有争议。

这组数字的意义还在于：此前 dLLM 一直在自回归身后追赶，之前一些比较知名的模型要么跑不了 Agent 任务，要么根本不开源。Clover 是开源阵营里第一个在 Agent 这个「自回归主场」正面取胜的扩散模型

要知道，这类能力直接对应真实场景 —— 客服机器人查数据库、车载系统控制车窗，背后都是模型发出工具调用指令；而智能体编程拥有最庞大、也最愿意付费的用户群体，已经是实打实的生产力工具。能在这类任务上取胜，说明 dLLM 的并行生成不再只是「纸面特性」，而是有希望转化成能落地、能付费的生产力。

这一点，已经在真实的产品场景里得到了验证。

DiffuSpace 的生态伙伴 SigmaZ 做的是实时交互式科普：用户问「线粒体是怎么工作的」「日月食为什么不每月发生」，模型在背后实时生成一个可点击、可交互的 3D 网页来讲解 —— 可以点开细胞器看细节，也可以拖动时间轴看日地月三者的相对运动。用户还能随时追问，页面随即重新生成。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

这个场景把 Clover「快」的价值放得最大：一轮交互要生成几万 Token 的网页代码，用自回归模型的 API（几十 TPS）要等上一段时间，而 Clover 的几百 TPS 能在几秒内完成。速度在这里不是锦上添花，而是产品成立的前提，因为每个用户卡住的点都不一样，追问和重新生成必须是实时的，否则等待的过程一久，学习者刚建立起来的思路和注意力就断掉了。

值得一提的是，这不是一次性的演示合作。据 DiffuSpace 联合创始人龚珊三介绍，SigmaZ 在 demo 上线前就已试用 Clover 的 API 一段时间，而且在速度和交互体验上给予了很多正面反馈。换句话说，dLLM 的速度优势，已经有人愿意用它来做产品了。

又快又准，怎么做到的？

Clover 同时做到了更快的速度和更高的质量，在二者通常只能取舍的关系里，这是一次帕累托改进。但同时大家也很好奇：既然 dLLM 能够同时生成多个 Token，为什么它没有更早地在速度和能力上占据优势？

因为，能并行生成，不等于实际运行起来就一定更快。从生成方式到执行效率，中间还隔着缓存复用、注意力计算和生成质量等问题。

自回归模型虽然逐个生成 Token，但有一套成熟的加速机制：KV Cache。已经处理过的历史内容可以缓存下来，生成后续 Token 时直接复用。早期扩散语言模型则需要对序列反复去噪，多个位置的内容不断变化，中间结果难以直接复用。一次能预测多个 Token，却可能要反复计算整段内容，并行的收益就被抵消了。

为了解决这一问题，团队引入了块扩散（Block Diffusion）这种块级的去噪技术。它提供了一条折中路径：块与块之间依次推进，当前块内部通过双向注意力并行去噪。已经完成的历史块可以复用计算结果，当前块内的多个 Token 又能相互参照、共同生成。

来源：刘聪NLP

因此，Clover 的并行并不是整篇答案一次生成，而是将块内并行与历史计算复用结合起来。

但解决重复计算之后，还有一个问题：上下文越来越长，历史信息该怎样高效处理？

这也是自回归模型走过的路。传统全注意力处理长序列时，计算开销随序列长度呈平方级增长。为降低成本，行业发展出了滑动窗口、稀疏注意力、线性注意力等路线。门控 Delta 网络（Gated DeltaNet，GDN）就是其中一种高效结构，通过递归状态汇集历史信息，降低处理长上下文的开销。

Clover 同样需要支持长上下文，但不能直接照搬自回归的设计。自回归预测下一个 Token，只需要读取左侧已经确定的内容；扩散模型则需要让当前块内的不同位置相互参照，一个位置如何生成，也可能受到右侧内容的约束。

龚珊三在采访中提到，一些方案会保留 GDN 的单向结构，只把混合架构中的 Softmax Attention 层改成双向。团队最初也尝试过类似改造，但实验发现，进一步引入双向 GDN 的信息和参数，能够提升模型能力

所以，Clover 的核心问题是：既保留高效处理历史的能力，又让当前块获得充分的双向交互

根据团队公布的技术说明，Clover 首先让两部分信息采用不同的处理方式：已经生成的历史，通过 GDN 的递归状态高效压缩；当前块内的 Token，则通过双向 Softmax Attention 做细粒度交互。

随后，模型将历史记忆的读出作为一个独立的信息单元，与块内 Token 放进同一次 Softmax 中参与信息选择，学习什么时候依赖历史，什么时候参考当前块。

这里还有一个细节：块越大，参与信息选择的 Token 越多，历史信息的权重就可能被稀释。为此，团队引入可学习的块大小校准，对这种变化进行补偿。

局部特征提取也做了相应调整。原来的因果卷积只能读取左侧内容，Clover 为右侧上下文增加了独立、零初始化的卷积分支，让模型从预训练的因果卷积行为出发，学习利用左右两侧的特征。

这些改造共同指向一个目标：让历史记忆保持紧凑，让块内交互足够充分，同时使信息选择和局部特征提取适应并行去噪。

由此也能看出自回归、扩散两条路线的共同与不同：走向规模化，都要解决长上下文成本、缓存和推理效率；扩散模型还需要额外处理好双向交互，以及并行度与生成质量之间的关系。

当然，块内双向交互并不等于整条长序列上的全局规划。龚珊三也提到，将这种能力扩展到更长序列，仍是后续要探索的问题。Clover 此次验证的，是如何借助自回归积累的架构与工程基础，再围绕扩散的生成方式进行改造，让并行潜力更充分地转化为实际能力和速度。

双向注意力换来的不只是分数。前段时间，TypeSafe 的决策模型 Jev意外走红 —— 它不做生成，专做快速、结构化的判断，让行业重新意识到 System 1 式快速决策的价值。与 Clover 同步，DiffuSpace 也公布了自己的决策模型，将在后续正式发布。

和 Jev 一次一个、互不相干的判断不同，借助双向注意力，这个模型能把最多 8 个关联判断放进同一次去噪中并行回答，判断之间互相参照、互相约束，团队称之为「联合决策」。

在 500 组、2420 道关联问题的内部验证中，联合模式整组全对率 80.4%，逐题独立作答只有 62.4%，Jev 只有 15.8%。它也是 DiffuSpace 为具身智能准备的 System 1 底座。

视频链接：https://mp.weixin.qq.com/s/PBX0vRCCna17qT1sshAAFg

同一份合同中的两个条件存在规则上的依赖。联合模式让这两个判断一起生成，有助于减少前后矛盾，也减少了重复读取材料和逐题调用的开销。

2022～2026，

一个死磕「非主流」路线的团队

虽然公司成立于 2026 年，但 DiffuSpace 在 dLLM 这条路上的探索，早在 2022 年就开始了。

当时，ChatGPT 还没有走红，公司创始人、香港大学教授孔令鹏带领龚珊三等人就开始研究用扩散模型生成文本。那会儿的出发点很朴素：一是出于研究好奇心，二是隐隐觉得，新的架构可能带来自回归范式之外的新能力。当时，这是一个少有人想、更少有人做的方向。

回头看这四年的轨迹，会发现这个团队每一步都走得很踏实，一个问题接着一个问题去解决。

第一个问题：扩散模型能不能做文本生成？2022 年，他们用 DiffuSeq 回答了它，这也是最早把扩散模型用于序列到序列文本生成的工作之一，发表于 ICLR 2023。

第二个问题：能不能做推理？2023 到 2024 年，团队发表了 DoT（Diffusion-of-Thought）相关研究，把思维链引入扩散生成，在数学和逻辑任务中验证这条路线的推理能力。它和自回归 CoT 最大的不同在于，中间的推理过程是可以「改」的，错了能回头修。这个「可修正」的特质和他们后来强调的迭代优化能力一脉相承。

第三个问题，也是最难的一个：能不能 Scaling？想跟自回归模型公平较量，参数规模必须拉平。2024 年中，团队找到了关键突破口 —— 从连续空间转向离散空间的扩散建模。文本天然是离散的，这条路的学习和优化难度都低得多。障碍扫清之后，2025 年上半年，Dream 7B 发布，首次在同参数规模上全面超越自回归模型，规划能力甚至比肩 671B 参数的 DeepSeek V3。这个模型至今下载量超过 270 万次，也是它让「扩散语言模型」这个说法真正立了起来。在此之前，大家只说「用扩散模型做文本生成」，很难把它当成一种合格的语言模型。

第四个问题，也是离实用最近的一个：能不能做 Agent？今年是 Agent 大年，自回归模型在这类任务上突飞猛进，扩散模型行不行？Clover 回答的就是这个问题：终端操作、工具调用、智能体编程，这些自回归的「主场」任务，它不仅都能做，而且做到了所有扩散语言模型中的最强。

四年之间，这条路并非没有人劝退过。龚珊三在采访中坦言，2023 年前后，关注这个方向的人很少，「很多人并不看好」，也有外界声音劝他们去做别的。

那为什么不走？她的回答是从第一性原理出发的：自回归模型逐字生成的顺序，本质上是人类为了简化训练复杂度而强加给模型的先验，它符合人类书写语料的习惯，但并不意味着这就是智能的最优解。而按照「苦涩的教训」的逻辑，加给模型的先验越少、让模型自己从数据中学到的自由度越高，天花板就越高。换句话说，自回归今天做到的一切，扩散模型在原理上都能复刻，而且理论上限更高。靠着这一底层认知，他们一步一步坚持到了现在。

最近两年，随着更多团队入局，龚珊三说「现在的情况比当时好很多了」，谷歌、英伟达、Inception Labs、蚂蚁集团以及国内外的很多知名学者都已是他们的同路人。大家在各个方向上补齐 dLLM 的短板，比如蚂蚁的 LLaDA 率先把扩散语言模型做到 100B 规模；英伟达在开源模型的同时，围绕推理效率发表了大量研究；谷歌则把生成速度推到了新的极致；Inception Labs 的 Mercury 虽然闭源，却第一次证明了 dLLM 可以做成商业产品、靠卖 API 活下来。

龚珊三表示，这些同行者的出现，本身就是一种互相确认。

曙光初现，

接下来怎么走？

同行者多了，接下来的问题也更具体了：这些模型，先在哪里用起来？

DiffuSpace 给出的一个答案是端侧。这里通常只需服务一个用户，更容易发挥扩散模型在低批量条件下的速度优势。目前，Clover 已在 16GB 显存的 RTX 5070 Ti 上实现 INT4 量化部署，在 MATH-500 测试中达到 101.8 tokens/s，高于对照模型的 48.5 tokens/s。

车机也是团队重点推进的方向。导航、聊天、设备控制，都需要及时响应。据公开信息，华为和地平线是 DiffuSpace 的产业战略投资方，具体落地已在探索之中。

当然，整个 dLLM 方向的发展目前还面临很多障碍。龚珊三认为，目前行业的一大挑战，是把理论上的并行优势真正转化为实际效率。这不仅涉及推理框架、缓存和算子优化，还涉及芯片设计：现有软硬件生态长期围绕自回归模型发展，而扩散模型对算力、存储及其比例的需求有所不同。单个用户感受到的生成速度更快，并不意味着一台机器的总吞吐量也更高。这些问题，需要模型团队、硬件厂商和开源社区一起解决。

能力上的边界也还在。怎样进一步提高并行度，同时保证多个 Token 的一致性？怎样把块内的双向交互扩展为更长序列上的规划能力？这些问题都亟待解决。

未来一段时间，DiffuSpace 准备同时推进几件事。模型侧，下一步是 200 到 300B 规模，多卡通讯和 infra 可以从自回归阵营借鉴，真正的硬骨头是大规模强化学习。再往后，是补上多模态、原生训练具身数据。产品侧，他们与 SigmaZ 的联合后训练瞄准 2000 tokens/s 的吞吐目标，自研的 Agent 框架和桌面客户端也将在近期上线。

相比四年前，相信扩散语言模型能够跑起来的人已经越来越多。至于它能不能成为自回归的那个替代方案，答案或许不用等太久。这本身，就是这条路线最让人期待的地方。