网易首页 > 网易号 > 正文 申请入驻

深圳跑出大模型黑马

0
分享至

记者丨林典驰

编辑丨包芳鸣,魏雯静

大模型的回答,一定要一个字接一个字地生成吗?一家落地深圳的创业公司,正尝试给出另一种答案。

10月28日,扩散智能DiffuSpace(下称“DiffuSpace”)发布并开源最新模型Clover-35B-A3B-Preview。该模型采用混合专家架构(MoE),总参数350亿,每个Token激活约30亿参数,面向智能体编程与工具使用等任务。这也是公司将扩散语言模型从实验室研究推向应用的一次新进展。

与ChatGPT所代表的主流自回归生成路线不同,DiffuSpace选择了扩散语言模型(dLLM)。前者通常依次预测下一个Token,即模型处理文本的基本单元;后者尝试在多个位置并行补全内容,通过迭代逐步形成答案。

新模型发布之前,资本已率先入场。DiffuSpace近期连续完成两轮融资,总金额数亿元人民币,由经纬创投、顺为资本、君联资本联合领投,中科创星、华为哈勃、地平线等跟投。这家今年5月创立的企业,由香港大学NLP实验室联合主管孔令鹏教授与龚珊三、叶佳成等成员联合创办。

早在2022年,公司核心团队便开始研究扩散语言模型,是全球最早系统探索这一技术路线的团队之一。选择差异化的生成路线并不轻松,团队需要找到适合扩散语言模型的领域,而且需要保证生成速度在模型规模扩大后保持优势,测试成绩在任务中的表现也很重要。


不再只按顺序生成

理解DiffuSpace的选择,要从大模型如何生成内容说起。

自回归模型的工作方式近似于按顺序续写:根据已有内容,预测接下来最合适的Token,再将它加入上下文,继续预测下一个。这种方法支撑了主流大语言模型的发展,但生成过程中的先后依赖,也约束了并行处理的空间。

扩散语言模型则采用另一种思路。它可以从存在大量空缺的文本出发,同时预测多个位置的内容,再通过多轮处理逐步减少不确定性。对于需要兼顾多处约束的代码和结构化输出,这种生成方式提供了新的探索方向。

不过,“并行生成”并不等于一次写完全文,更不意味着模型天然拥有更强的推理能力。并行处理多少内容、需要多少轮迭代,以及如何兼顾速度与准确率,仍取决于具体模型和推理系统的设计。

Clover采用的便是分块扩散。根据其官方模型卡,模型在当前文本块内并行补全内容,完成后再将这一块纳入后续生成所参考的上下文。也就是说,它在块内引入双向信息交互,同时保留块与块之间的先后关系。

据团队介绍,Clover对门控Delta网络(GDN)进行了重构:一方面压缩和保存历史上下文,另一方面让当前文本块中的内容充分交互,并由模型学习如何选择两类信息。其目标是在扩大模型规模时,同时控制计算开销和保持生成质量。

根据官方模型卡,Clover总参数350亿,每个Token激活约30亿参数,通过调用部分专家参与计算。激活参数较少,并不意味着只需存储30亿参数;其BF16精度模型权重约为69GB,运行时还需额外的推理空间。

因此,Clover此次发布的看点,并非单纯将参数规模从Dream 7B的70亿扩大至350亿,而是团队试图证明:扩散语言模型在走向更大规模后,仍能兼顾能力与效率。


速度优势,先从智能体寻找价值

DiffuSpace此次将智能体编程和工具使用放在突出位置,背后有明确的应用逻辑。

与一次问答不同,智能体完成任务往往要反复经历理解需求、调用工具、读取结果和调整方案。一次生成节省的时间,可能沿着多步任务持续累积;相反,即使模型输出很快,如果频繁调用错误工具、反复返工,完整任务仍可能耗时较长。

据团队公布的结果,Clover在本次对比的六项智能体评测中,均取得所列模型的最高分。其中,SWE-bench Verified、Terminal-Bench 2.1和τ³ Overall的得分分别为73.6、51.7和65.3,超过对比中的Mercury 2.5及同尺寸Qwen3.6-35B-A3B等模型的得分。

在生成效率上,团队披露,Clover在单张英伟达GB300 GPU、BF16精度、单请求批量的条件下,使用内部智能体场景数据测得整体生成速度为每秒680个Token。

在官方展示的网页操作案例中,模型需要根据一条指令创建私有项目,并添加两名指定成员。在相同的智能体框架、提示词、工具和浏览器配置下,团队披露,Clover用13步、169.9秒完成任务,对照的Qwen3.6 Flash用21步、392.3秒完成。

不过,能否进一步降低成本,还要结合硬件利用率、并发能力与任务成功率判断。

DiffuSpace还计划推出基于Clover的决策模型,并拓展多模态能力。其中,决策模型拟在一次生成中联合处理最多8个关联问题,让不同判断相互参照,减少前后冲突。对于同一份材料中存在关联条件的判断任务,这提供了一个值得验证的方向。


深圳团队,从研究走向市场

尽管DiffuSpace于2026年5月才在深圳创立,但核心团队对扩散语言模型的探索却已持续数年。

公开资料显示,团队在2022年便开始相关研究,随后推出DiffuSeq、Dream 7B等成果。孔令鹏与龚珊三、叶佳成等人的合作,也从科研逐步延伸至创业。

孔令鹏教授是香港大学NLP实验室联合主管,曾在DeepMind工作过。龚珊三是孔令鹏的学生,目前在香港大学最后一年读博。

目前,DiffuSpace的核心成员主要来自香港大学、北京大学、清华大学等知名高校及一线模型公司,这支团队已打造覆盖“算法-数据-训练-推理”的完整扩散语言模型系统。

从研究成果走向产品,所需解决的问题也随之变化。论文和基准测试回答的是某种方法是否有效,商业交付则要求模型在不同输入、不同设备与持续运行中,保持可预期的表现。

此次开源,是DiffuSpace扩大外部验证范围的一步。目前,Clover模型权重及相关代码已在Hugging Face和GitHub发布,支持SGLang和llama.cpp推理。开发者可以自行部署、构建应用或开展研究。相较于仅提供演示,开放权重和推理代码,也让更多使用者有条件检验其能力边界。

深圳鲜有大模型公司,扩散智能愿意落户深圳难能可贵。在深圳,这家源于高校研究的企业与智能终端、汽车、机器人等产业场景产生了更直接的连接。对于强调响应速度和本地部署潜力的模型路线,这些产业提供了应用验证的空间。

扩散语言模型也并非只有这一家参与者。Google已推出Gemini Diffusion,Inception、蚂蚁集团等企业也在持续探索相关路线。Google DeepMind将Gemini Diffusion定位为实验性文本扩散模型,强调通过迭代修正实现文本生成。

参与者增加,说明这条路线获得了更多关注,DiffuSpace需要同时面对自回归模型与其他扩散模型的竞争。更快的生成方式能否抵消新路线在工程适配、生态和产品成熟度上的投入,将在真实市场中接受检验。

Clover发布后,DiffuSpace获得了一个比融资金额更具体的检验机会,让开发者把模型放进实际任务,观察速度、准确率和使用成本能否同时满足需求。

SFC

出品丨21财经客户端 21世纪经济报道

编辑丨江佩霞

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人民日报痛批“拒接陌生电话”:不是冷漠,是时代病了

人民日报痛批“拒接陌生电话”:不是冷漠,是时代病了

小影的娱乐
2026-10-27 14:26:21
今天才知道,这6种蔬菜最适合冷冻,冻1年不坏,营养还不流失

今天才知道,这6种蔬菜最适合冷冻,冻1年不坏,营养还不流失

阿龙美食记
2026-10-27 14:31:50
我想成为你的小棉袄,贴心的小宝贝

我想成为你的小棉袄,贴心的小宝贝

疾跑的小蜗牛
2026-10-30 20:53:19
离谱!辽宁一中学筛查肺结核时,多名学生共用一个针头,当地通报:涉及78名学生

离谱!辽宁一中学筛查肺结核时,多名学生共用一个针头,当地通报:涉及78名学生

聊斋新志
2026-10-29 19:02:48
吃饭决定寿命?医生发现:活过85岁的老人,吃饭一般都有4特点

吃饭决定寿命?医生发现:活过85岁的老人,吃饭一般都有4特点

医学原创故事会
2026-10-11 23:26:04
出狱后的朴槿惠生活状态曝光:入住1676平别墅,与小10岁律师相伴

出狱后的朴槿惠生活状态曝光:入住1676平别墅,与小10岁律师相伴

磊子讲史
2026-10-26 15:55:19
常规时间6胜2平2负,中国U15男足获得U15世界杯第50名

常规时间6胜2平2负,中国U15男足获得U15世界杯第50名

懂球帝
2026-10-30 19:51:00
他捐74万日元助日本购40架战机,获天皇接见,86岁终被枪决

他捐74万日元助日本购40架战机,获天皇接见,86岁终被枪决

凉州辞
2026-10-30 15:30:05
家长用“微商女强人”形象,接送女儿放学,被嘲:好紧绷的松弛感

家长用“微商女强人”形象,接送女儿放学,被嘲:好紧绷的松弛感

妍妍教育日记
2026-10-27 14:32:19
主播丁老五爆料!辛巴滞留美国回不来,保守估计赚了200亿

主播丁老五爆料!辛巴滞留美国回不来,保守估计赚了200亿

动物奇奇怪怪
2026-10-31 03:49:52
再爆大冷周启豪3-1逆转世界第2,东道主男单团灭,8强出炉国乒3席

再爆大冷周启豪3-1逆转世界第2,东道主男单团灭,8强出炉国乒3席

求球不落谛
2026-10-31 05:09:22
WTT冠军赛最新战报:国乒4胜1负!王曼昱惨败,孙颖莎梁靖崑绝杀

WTT冠军赛最新战报:国乒4胜1负!王曼昱惨败,孙颖莎梁靖崑绝杀

漫川舟船
2026-10-31 03:16:36
波罗申科的预言7年后成真:选泽连斯基当总统,千万乌克兰人将付出代价

波罗申科的预言7年后成真:选泽连斯基当总统,千万乌克兰人将付出代价

磊子讲史
2026-10-27 14:51:43
辣眼睛!江苏“扒灰”婚闹,新娘被哄写下侮辱字眼,喜公公嗨翻了

辣眼睛!江苏“扒灰”婚闹,新娘被哄写下侮辱字眼,喜公公嗨翻了

凡知
2026-10-01 14:25:59
大衣哥风波愈演愈烈,警方现已介入,其邻居早就爆料他私下人品

大衣哥风波愈演愈烈,警方现已介入,其邻居早就爆料他私下人品

寒士之言本尊
2026-10-29 13:07:02
闹大了,小小徐婚礼来了上万人,恐超呆呆杀猪宴,文旅消防全出动

闹大了,小小徐婚礼来了上万人,恐超呆呆杀猪宴,文旅消防全出动

一个小豹子
2026-10-30 03:27:10
八年前,爸爸借了姑姑10万。还钱时姑姑说:“弟,金额不对。”爸爸泣不成声

八年前,爸爸借了姑姑10万。还钱时姑姑说:“弟,金额不对。”爸爸泣不成声

小影的娱乐
2026-10-29 18:39:11
特朗普自我辩护引来骂声一片!泽连斯基:不要站在历史错误的一边

特朗普自我辩护引来骂声一片!泽连斯基:不要站在历史错误的一边

鹰眼Defence
2026-10-19 17:50:28
“原告失去资格”,匈牙利地方法院驳回针对宁德时代工厂的诉讼

“原告失去资格”,匈牙利地方法院驳回针对宁德时代工厂的诉讼

观察者网
2026-10-30 19:19:07
争议!福原爱穿轻薄浴衣湿身,被指色情擦边

争议!福原爱穿轻薄浴衣湿身,被指色情擦边

乒乓乐园
2026-10-30 02:59:16
2026-10-31 05:51:00
21世纪经济报道 incentive-icons
21世纪经济报道
中国商业新闻领导者
282302文章数 745414关注度
往期回顾 全部

科技要闻

谷歌一天跌没5000亿美元!AI烧钱吓傻华尔街

头条要闻

车费将近80块订单只送半瓶矿泉水 司机直接开到派出所

头条要闻

车费将近80块订单只送半瓶矿泉水 司机直接开到派出所

体育要闻

第三年合同获保障 杨瀚森在垃圾时间抢饭碗

娱乐要闻

李冰冰任泉亲密照流出,情谊胜过夫妻

财经要闻

直播退烧,品牌迎来梦醒时分

汽车要闻

问界新M8公布Max、Max+、Ultra三款配置,即日起开放选择

态度原创

时尚
艺术
家居
亲子
公开课

让人一眼惊艳的绝美配色,谁穿谁高级

艺术要闻

美到窒息!英国古典主义画家亚瑟·哈克的传世名画,第一眼就让人沦陷

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

深度长文:你以为是精子跑得快赢的?卵子不选,跑得再快没用!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版