网易首页 > 网易号 > 正文 申请入驻

MiniMax 计划推出2.7万亿参数模型,追赶全球头部前三水平

0
分享至

昨天柒哥在社群刷到一则消息说中国 MiniMax 计划推出 2.7 万亿参数模型,有助于加速中国开源 AI 模型在全球范围内的扩张。

2.7万亿参数什么概念?跟之前比提升了很多倍,也会超过国内大部分的模型,怕不是要直接跻身全球第一梯队了。专家说最快Q3推出,真是悬念拉满,一起去扒一下这个访谈有哪些干货。以下新模型简称M3.1,旧模型简称M3。


新模型技术提升在哪些方面?

从训练反馈看,新模型 loss 收敛速度和 benchmark 中间表现均超出预期,内部信心充足,目标是做到"国内最好"并追赶全球头部三家

M3.1 相比 M3 的核心改进在于补足了后训练阶段的短板

M3 因开发时间紧张缺乏充分的后训练,导致预训练基础虽好、benchmark 表现漂亮,却出现"复杂任务优异、简单任务易错"的反差问题; M3.1 通过充分的后续训练(包括 SFT 和强化学习)基本解决了M3的遗留问题,使模型在简单任务和复杂任务上的表现更加均衡。在数据层面,M3.1 显著提升了数据质量和数量,在长程任务数据支持下实现倍数级能力提升,同时通过优化数据筛选机制和增强训练约束,显著降低了幻觉率

整体而言,M3.1 是基于 M3 经验、用更充分的训练时间和更优质的数据,把预训练阶段埋下的好底子真正释放出来,并为后续版本更大规模数据和更长训练时间的优化积累了经验。

核心创新是什么?

核心创新在于将 MSA 架构升级至MSA 2.0,从而实现训练效率和成本的双重优化。

MSA 架构的技术优势在于支持超长序列任务,成量级降低 Attention 开销,极致提高硬件利用效率并缩短训练时间,其强扩展性可支撑2.5 万亿参数扩展,具备复杂任务处理能力,是模型公司的核心竞争力所在。

选择自研 MSA 而非沿用现有架构,是MiniMax 基于实际训练和推理任务特性、综合考量性能与计算资源后的决策——在数据规模巨大、模型需持续学习而非快速收敛,以及显卡算力、显存等硬件受限的多重约束下,自主创新架构能最大化硬件利用效率,同时保障模型稳定提升,避免简单套用其他模型带来的效率瓶颈。


关于算力基础设施

MiniMax 认为模型竞争的关键除算法和数据外,还在于 Infra 端算力与集群能力,因此持续布局以确保技术生态优势。

具体而言,竞争体现在数据资源积累与算力集群优势两方面,集群部署优化直接影响训练效率和业务应用——公司训练端集群建设与系统部门协同仅数月,便实现了高稳定性和性能提升,达到大云集群水平,自主组网不仅节省成本和时间,其高稳定性还超过预期,体现了强大的技术实力。

在海外算力方面,公司合规获得优质海外算力,已全面升级至最新一代显卡,领先多数仍停留在 Hopper 代的同行。国产算力方面,验证结果显示基本可用,但产能有限,预计2026 年 Q3 末搭建首个国产集群,采取推理先行、训练随后的策略,符合当前生态培养阶段。

专家表示我们整体在算力硬件上处于相对领先状态。训练端几乎全面迁移到了最新硬件,坦言"给我多少卡我都能用得完",算力永远不嫌多,但战略层面配置已足够合理。

关于Coding格局的判断

在 Coding 竞争格局方面,MiniMax的 M3 系列预训练效果优异,但 M3 因后期强化不足存在缺陷,M3.1 通过提升数据质量和数量显著改善了这一问题。

在 Coding 方面的改进主要体现在三个层面:一是长程复杂任务能力显著提升,数据量和质量均有倍数级增长;二是前端审美表现优异且将持续保持;三是在复杂设计、代码扩展等难题上的攻克能力将比简单问题更突出,因为简单 Coding 各家已拉不开差距。

关于 Coding 数据飞轮,市场上存在两派观点:一派主张领先模型通过自循环数据持续领先,另一派主张依赖高质量专业代码数据。

专家偏向后者,认为数据质量和训练方案更为关键

理由是 GitHub Copilot 作为最早大规模做 Coding 的项目并未长期领先,说明先发优势有限;Coding 领域的数据获取相对容易(团队本身就是程序员,专家支持直接),不依赖难以替代的专业知识(如医药)。因此 Coding 壁垒不在先发,而在数据质量、数量及训练方案,这是相对确定且可控的。

从市场竞争格局看,当前国内外 Coding 领域混战,无明显领跑者,M3 及 2.7 版本已显著提升,更大参数版本预计将达到市场最佳水平。整体对 Coding 能力持续提升持乐观态度。

新模型在商业化上会带来什么变化?

采用MSA降低计算开销,毛利率预计超过M2。专家从技术和需求判断使用使用反馈良好,销售市场也会稳定增长。

专家反馈M3使用量增长较快,内部也一直在上优化和加卡,即使这样,目前高峰期负载偶尔会过载,表明市场需求和销量保持活跃状态。整体来看,销售和优化仍然保持良性循环,没有明显瓶颈。M3模型输出速度国内领先,用户体验好。

而新模型M3.1在数据量和质量上有很大提升,从内部视角看,coding能力的提升和体验方面目前都稳妥,后续也会继续保持优势。

柒哥整理完这个访谈,只能说每一条都非常硬气! 参数实实在在上去了,创新架构构成核心竞争力,coding能力解决了最关键的数量和质量问题直接去解决复杂问题, 算力还是领先于同行,这一把真的是要去冲击全球前三了!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
贾国龙疯了?解决不了问题,就解决发现问题的人,他和罗永浩谁才是西贝的掘墓人

贾国龙疯了?解决不了问题,就解决发现问题的人,他和罗永浩谁才是西贝的掘墓人

江山挥笔
2026-09-21 17:41:09
成都一律师称因EMS“假签收”耽误了诉讼时效 邮政提供的通话记录运营商查不到 外包公司:可赔2000元

成都一律师称因EMS“假签收”耽误了诉讼时效 邮政提供的通话记录运营商查不到 外包公司:可赔2000元

信网
2026-09-21 19:26:06
纪委倒查持续升级!在职、退休一视同仁,这5类红线切莫心存侥幸

纪委倒查持续升级!在职、退休一视同仁,这5类红线切莫心存侥幸

职场资深秘书
2026-09-21 21:31:52
超级大国最后遗产!美媒曾言:中国获三架顶级战机,成就超俄赶美

超级大国最后遗产!美媒曾言:中国获三架顶级战机,成就超俄赶美

向阳热谈
2026-09-18 19:10:16
河南一男子享受“皇帝”待遇,养几十个女人,还说有钱就要这样干

河南一男子享受“皇帝”待遇,养几十个女人,还说有钱就要这样干

江山挥笔
2026-03-15 18:13:59
乌克兰妻子趁我睡着把我存款转空,转账备注写着替前夫还债,连声招呼都没打

乌克兰妻子趁我睡着把我存款转空,转账备注写着替前夫还债,连声招呼都没打

真实人物采访
2026-09-20 14:00:09
连体姐妹怀孕了,孩子爹是同一个人,是顺产还是刨腹产?

连体姐妹怀孕了,孩子爹是同一个人,是顺产还是刨腹产?

民生故事会
2026-09-14 22:33:08
浙江召开扫黑除恶第一次推进会,战果公布!

浙江召开扫黑除恶第一次推进会,战果公布!

阿离家居
2026-09-21 14:40:01
在上海,越来越多的人开始变得节约。

在上海,越来越多的人开始变得节约。

老陆不老
2026-09-21 21:10:45
第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

第二个许家印!又一首富栽了!世界500强竟是假的,千亿帝国清零

蜉蝣说
2026-07-17 09:47:08
濑户环奈21岁下海「爸妈得知真相崩溃哭」掀风波,苍井空认了:父母当年也落泪

濑户环奈21岁下海「爸妈得知真相崩溃哭」掀风波,苍井空认了:父母当年也落泪

日本物语
2026-09-20 21:52:21
中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

健康快乐丁
2025-08-05 16:01:39
宁德时代高管谈车企自研电池:不是泼冷水,是提醒你别拿安全赌

宁德时代高管谈车企自研电池:不是泼冷水,是提醒你别拿安全赌

阿芒娱乐说
2026-09-20 02:49:43
争论英语是否退出主科时,高校思政教师12年暴涨216%!网友:思政课应该成为第一大课

争论英语是否退出主科时,高校思政教师12年暴涨216%!网友:思政课应该成为第一大课

火山詩话
2026-09-20 05:25:07
定居美国13年,回国捞金惨遭"驱逐",53岁活成了笑话

定居美国13年,回国捞金惨遭"驱逐",53岁活成了笑话

锅锅爱历史
2026-09-02 14:28:57
章子怡湾区升明月脸肿上热搜,47岁女演员的代价太沉重

章子怡湾区升明月脸肿上热搜,47岁女演员的代价太沉重

南万说娱26
2026-09-21 09:06:04
痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

痛心!38岁江苏美女教师梁娇去世,丈夫去世不到百天,女儿才7岁

云舟史策
2025-06-23 09:35:09
骑士的这两笔签约,耐看!对标尼克斯,助力哈登完成首冠

骑士的这两笔签约,耐看!对标尼克斯,助力哈登完成首冠

空谷幽幽蓝
2026-09-21 19:17:41
毛太子火了,杨铭锐给机会也不怂!小朱全力突破瓶颈,马里奥帮大连夺冠进国足

毛太子火了,杨铭锐给机会也不怂!小朱全力突破瓶颈,马里奥帮大连夺冠进国足

刀锋体育
2026-09-21 20:12:47
足球报:19岁广州豹后腰黄晟豪被补招进入中国男足国家队

足球报:19岁广州豹后腰黄晟豪被补招进入中国男足国家队

懂球帝
2026-09-21 10:32:59
2026-09-22 05:00:49
天天开柒 incentive-icons
天天开柒
天天开柒是有前瞻、有判断的科技行业观察者。这里有关于行业深度分析和热辣小道。
149文章数 80关注度
往期回顾 全部

科技要闻

吃AI红利的凡人,年薪10万美元,每天3万步

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

头条要闻

iPhone18第一批受害者来了 网友:24小时死机5次

体育要闻

跟着华裔天才重仓AI,勇士旧将成资本大佬

娱乐要闻

张佳宁穿搭宽松小腹微凸 引发怀孕猜测

财经要闻

酒鬼酒经销商半年跑了40%

汽车要闻

全系800V/红旗司南智驾 红旗天工07预售权益价16.99万起

态度原创

家居
数码
艺术
游戏
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

华硕商用破晓系列亮相,用Agent PC为办公降本增效

艺术要闻

一生难得一见!国宝级书画全卷展开,看到就是赚到!

走过15年,《英雄联盟》还在变好

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版