网易首页 > 网易号 > 正文 申请入驻

深圳跑出大模型黑马

0
分享至

记者丨林典驰

编辑丨包芳鸣,魏雯静

大模型的回答,一定要一个字接一个字地生成吗?一家落地深圳的创业公司,正尝试给出另一种答案。

10月28日,扩散智能DiffuSpace(下称“DiffuSpace”)发布并开源最新模型Clover-35B-A3B-Preview。该模型采用混合专家架构(MoE),总参数350亿,每个Token激活约30亿参数,面向智能体编程与工具使用等任务。这也是公司将扩散语言模型从实验室研究推向应用的一次新进展。

与ChatGPT所代表的主流自回归生成路线不同,DiffuSpace选择了扩散语言模型(dLLM)。前者通常依次预测下一个Token,即模型处理文本的基本单元;后者尝试在多个位置并行补全内容,通过迭代逐步形成答案。

新模型发布之前,资本已率先入场。DiffuSpace近期连续完成两轮融资,总金额数亿元人民币,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。这家今年5月创立的企业,由香港大学NLP实验室联合主管孔令鹏教授与龚珊三、叶佳成等成员联合创办。

早在2022年,公司核心团队便开始研究扩散语言模型,是全球最早系统探索这一技术路线的团队之一。选择差异化的生成路线并不轻松,团队需要找到适合扩散语言模型的领域,而且需要保证生成速度在模型规模扩大后保持优势,测试成绩在任务中的表现也很重要。


不再只按顺序生成

理解DiffuSpace的选择,要从大模型如何生成内容说起。

自回归模型的工作方式近似于按顺序续写:根据已有内容,预测接下来最合适的Token,再将它加入上下文,继续预测下一个。这种方法支撑了主流大语言模型的发展,但生成过程中的先后依赖,也约束了并行处理的空间。

扩散语言模型则采用另一种思路。它可以从存在大量空缺的文本出发,同时预测多个位置的内容,再通过多轮处理逐步减少不确定性。对于需要兼顾多处约束的代码和结构化输出,这种生成方式提供了新的探索方向。

不过,“并行生成”并不等于一次写完全文,更不意味着模型天然拥有更强的推理能力。并行处理多少内容、需要多少轮迭代,以及如何兼顾速度与准确率,仍取决于具体模型和推理系统的设计。

Clover采用的便是分块扩散。根据其官方模型卡,模型在当前文本块内并行补全内容,完成后再将这一块纳入后续生成所参考的上下文。也就是说,它在块内引入双向信息交互,同时保留块与块之间的先后关系。

据团队介绍,Clover对门控Delta网络(GDN)进行了重构:一方面压缩和保存历史上下文,另一方面让当前文本块中的内容充分交互,并由模型学习如何选择两类信息。其目标是在扩大模型规模时,同时控制计算开销和保持生成质量。

根据官方模型卡,Clover总参数350亿,每个Token激活约30亿参数,通过调用部分专家参与计算。激活参数较少,并不意味着只需存储30亿参数;其BF16精度模型权重约为69GB,运行时还需额外的推理空间。

因此,Clover此次发布的看点,并非单纯将参数规模从Dream 7B的70亿扩大至350亿,而是团队试图证明:扩散语言模型在走向更大规模后,仍能兼顾能力与效率。


速度优势,先从智能体寻找价值

DiffuSpace此次将智能体编程和工具使用放在突出位置,背后有明确的应用逻辑。

与一次问答不同,智能体完成任务往往要反复经历理解需求、调用工具、读取结果和调整方案。一次生成节省的时间,可能沿着多步任务持续累积;相反,即使模型输出很快,如果频繁调用错误工具、反复返工,完整任务仍可能耗时较长。

据团队公布的结果,Clover在本次对比的六项智能体评测中,均取得所列模型的最高分。其中,SWE-bench Verified、Terminal-Bench 2.1和τ³ Overall的得分分别为73.6、51.7和65.3,超过对比中的Mercury 2.5及同尺寸Qwen3.6-35B-A3B等模型的得分。

在生成效率上,团队披露,Clover在单张英伟达GB300 GPU、BF16精度、单请求批量的条件下,使用内部智能体场景数据测得整体生成速度为每秒680个Token。

在官方展示的网页操作案例中,模型需要根据一条指令创建私有项目,并添加两名指定成员。在相同的智能体框架、提示词、工具和浏览器配置下,团队披露,Clover用13步、169.9秒完成任务,对照的Qwen3.6 Flash用21步、392.3秒完成。

不过,能否进一步降低成本,还要结合硬件利用率、并发能力与任务成功率判断。

DiffuSpace还计划推出基于Clover的决策模型,并拓展多模态能力。其中,决策模型拟在一次生成中联合处理最多8个关联问题,让不同判断相互参照,减少前后冲突。对于同一份材料中存在关联条件的判断任务,这提供了一个值得验证的方向。


深圳团队,从研究走向市场

尽管DiffuSpace于2026年5月才在深圳创立,但核心团队对扩散语言模型的探索却已持续数年。

公开资料显示,团队在2022年便开始相关研究,随后推出DiffuSeq、Dream 7B等成果。孔令鹏与龚珊三、叶佳成等人的合作,也从科研逐步延伸至创业。

孔令鹏教授是香港大学NLP实验室联合主管,曾在DeepMind工作过。龚珊三是孔令鹏的学生,目前在香港大学最后一年读博。

目前,DiffuSpace的核心成员主要来自香港大学、北京大学、清华大学等知名高校及一线模型公司,这支团队已打造覆盖“算法-数据-训练-推理”的完整扩散语言模型系统。

从研究成果走向产品,所需解决的问题也随之变化。论文和基准测试回答的是某种方法是否有效,商业交付则要求模型在不同输入、不同设备与持续运行中,保持可预期的表现。

此次开源,是DiffuSpace扩大外部验证范围的一步。目前,Clover模型权重及相关代码已在Hugging Face和GitHub发布,支持SGLang和llama.cpp推理。开发者可以自行部署、构建应用或开展研究。相较于仅提供演示,开放权重和推理代码,也让更多使用者有条件检验其能力边界。

深圳鲜有大模型公司,扩散智能愿意落户深圳难能可贵。在深圳,这家源于高校研究的企业与智能终端、汽车、机器人等产业场景产生了更直接的连接。对于强调响应速度和本地部署潜力的模型路线,这些产业提供了应用验证的空间。

扩散语言模型也并非只有这一家参与者。Google已推出Gemini Diffusion,Inception、蚂蚁集团等企业也在持续探索相关路线。Google DeepMind将Gemini Diffusion定位为实验性文本扩散模型,强调通过迭代修正实现文本生成。

参与者增加,说明这条路线获得了更多关注,DiffuSpace需要同时面对自回归模型与其他扩散模型的竞争。更快的生成方式能否抵消新路线在工程适配、生态和产品成熟度上的投入,将在真实市场中接受检验。

Clover发布后,DiffuSpace获得了一个比融资金额更具体的检验机会,让开发者把模型放进实际任务,观察速度、准确率和使用成本能否同时满足需求。

SFC

出品丨21财经客户端 21世纪经济报道

编辑丨江佩霞

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
张雪拉黑母亲!抵押房子借他55万的那个妈,是他戒掉的第一个人

张雪拉黑母亲!抵押房子借他55万的那个妈,是他戒掉的第一个人

娱乐的硬糖吖
2026-10-31 02:10:02
回来了!前申花主帅现身云南,明年将接替乔迪执掌玉昆队教鞭?

回来了!前申花主帅现身云南,明年将接替乔迪执掌玉昆队教鞭?

体坛鉴春秋
2026-10-30 09:33:47
黄金彻底变了!世界黄金协会预警:真正的大行情,可能还没开始!

黄金彻底变了!世界黄金协会预警:真正的大行情,可能还没开始!

掉了颗大白兔糖
2026-10-30 22:43:37
五连胜的掌声还没散,北京首钢更衣室里的空气已经悄悄变了味儿。

五连胜的掌声还没散,北京首钢更衣室里的空气已经悄悄变了味儿。

夕落秋山
2026-10-31 00:45:50
杨利伟退休待遇揭秘:没有巨额奖金,只有 “终身金钟罩”。

杨利伟退休待遇揭秘:没有巨额奖金,只有 “终身金钟罩”。

莫地方
2026-10-29 12:43:42
西班牙高铁相撞致68死 调度录音曝光还原事发经过

西班牙高铁相撞致68死 调度录音曝光还原事发经过

极目新闻
2026-10-29 06:54:46
刘涛风波再升级,男方被扒底朝天,原来陈都灵、谷爱凌都是受害者

刘涛风波再升级,男方被扒底朝天,原来陈都灵、谷爱凌都是受害者

老沮系戏精北鼻
2026-10-29 11:15:44
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
男子在星巴克不消费占座,被店员提醒后竟然报警!警察赶到后……知情人:他连续多日占座不消费

男子在星巴克不消费占座,被店员提醒后竟然报警!警察赶到后……知情人:他连续多日占座不消费

新浪财经
2026-10-30 19:32:30
事发飞往上海航班!一乘客突然昏迷!72岁退休医生被摇醒紧急施救,家人后怕

事发飞往上海航班!一乘客突然昏迷!72岁退休医生被摇醒紧急施救,家人后怕

上观新闻
2026-10-30 11:08:59
李子祺后续,导师论文被撤,考研厦大外科学初试349,成绩倒数,复试92.5分逆袭

李子祺后续,导师论文被撤,考研厦大外科学初试349,成绩倒数,复试92.5分逆袭

东东趣谈
2026-10-29 18:41:00
特朗普取消周末两场造势活动

特朗普取消周末两场造势活动

参考消息
2026-10-30 21:42:20
乌克兰总统泽连斯基公开表示:乌军对俄罗斯军事设施发动两次导弹袭击,击毁两架俄军苏-34战机损毁、击中一套“伊斯坎德尔”导弹发射器

乌克兰总统泽连斯基公开表示:乌军对俄罗斯军事设施发动两次导弹袭击,击毁两架俄军苏-34战机损毁、击中一套“伊斯坎德尔”导弹发射器

吉刻新闻
2026-10-30 10:52:29
虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

虽说阿姨有30多岁了,但是这样打扮一下反而比年轻的女生更有魅力

美女穿搭分享
2026-09-06 09:40:17
“杭州2岁女童坠亡案”当事妈妈生下第三胎:对我们家来说是个特别的节点,希望借三宝的出生让更多人看见,失去之后,爱依然可以延续

“杭州2岁女童坠亡案”当事妈妈生下第三胎:对我们家来说是个特别的节点,希望借三宝的出生让更多人看见,失去之后,爱依然可以延续

极目新闻
2026-10-30 07:58:58
“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

“你敢把手术刀,交给这种人吗?”李子祺第一学历被扒:393分的民办三本

妍妍教育日记
2026-10-29 17:24:39
演员明道发视频全网寻人!开车从上海到杭州途中丢失名牌包,被好心人捡到,“全世界几乎不可能发生这样的事,只有在我们中国,很了不起”

演员明道发视频全网寻人!开车从上海到杭州途中丢失名牌包,被好心人捡到,“全世界几乎不可能发生这样的事,只有在我们中国,很了不起”

都市快报橙柿互动
2026-10-30 22:43:15
33岁水亦诗找工作,清华硕士毕业应聘高校老师,找俩月都没心仪的

33岁水亦诗找工作,清华硕士毕业应聘高校老师,找俩月都没心仪的

柒佰娱
2026-10-30 10:10:46
《铁证》来袭!孙红雷再演黑老大,央视扫黑大剧要爆

《铁证》来袭!孙红雷再演黑老大,央视扫黑大剧要爆

可乐谈情感
2026-10-31 04:49:14
CBA最新消息:山东出现内讧,辽宁后卫被网爆,上海或买断洛夫顿

CBA最新消息:山东出现内讧,辽宁后卫被网爆,上海或买断洛夫顿

云隐南山
2026-10-30 15:22:45
2026-10-31 06:40:49
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
282302文章数 745414关注度
往期回顾 全部

科技要闻

谷歌一天跌没5000亿美元!AI烧钱吓傻华尔街

头条要闻

车费将近80块订单只送半瓶矿泉水 司机直接开到派出所

头条要闻

车费将近80块订单只送半瓶矿泉水 司机直接开到派出所

体育要闻

第三年合同获保障 杨瀚森在垃圾时间抢饭碗

娱乐要闻

李冰冰任泉亲密照流出,情谊胜过夫妻

财经要闻

直播退烧,品牌迎来梦醒时分

汽车要闻

问界新M8公布Max、Max+、Ultra三款配置,即日起开放选择

态度原创

本地
教育
亲子
房产
军事航空

本地新闻

秋假去哪玩,4 站打卡京郊限定秋色

教育要闻

炸了,教育的瓜突然爆了!!!

亲子要闻

深度长文:你以为是精子跑得快赢的?卵子不选,跑得再快没用!

房产要闻

3栋楼推倒重建!两个新盘集体“哑火”,长实陷入质量危机

军事要闻

10架美国军机飞抵以色列空军基地

无障碍浏览 进入关怀版