网易首页 > 网易号 > 正文 申请入驻

10万亿参数大模型,注定要被关进笼子里

0
分享至



OpenAI即将发布的GPT-6,传闻称它的参数量高达10万亿。

10万亿是一个非常恐怖的概念。现如今,全球顶尖大模型的参数量都在“万亿”级别。比如阿里的Qwen 3.8为3.5万亿,Kimi K3为2.8万亿,字节内部正在开发的模型,也有数万亿的参数量,哪怕是OpenAI的Mythos 5,估算也只有8万亿。

10万亿,代表了一个全新的时代。

遥想2025年,引发DeepSeek时刻的DeepSeek-R1,它才6710亿参数量。怎么仅仅过了1年,参数量就膨胀到如此这般了?

现在的GPT-5.6和Claude Mythos 5,根据测算,前者参数量在3到5万亿,后者更是将近8万亿。

那它们都能干嘛呢?有个独立开发者拿GPT-5.6做带界面的图片压缩工具,一个模型包揽需求分析、架构设计、写代码、写测试用例、修Bug。如果是一个独立开发者完成这些任务,大约需要花费1天的时间,而GPT-5.6 Sol只用了不到2小时就交付了能用的成品

Mythos 5更吓人了。它被定向放给了一些网络安全机构,根据这些机构的报告,Mythos 5能自主完成从代码审计、漏洞定位到构造攻击载荷的全链路,从预览版亮相至今,已识别出超过一万个高危及以上级别的软件漏洞。

到了10万亿模型,它能做的就更多了。比如跟它说要搬家,它能自己约搬家公司、跟搬家公司规划打包顺序、给水电燃气过户、更新一圈收货地址,你要做的事情,就是拿着钥匙去新家等家具运到。

但这只是硬币的一面。

OpenAI 紧急叫停了内部代号Astra的新模型,官方安全评估显示,它可能具备自主开发零日漏洞、甚至仅凭一句指令就发动端到端网络攻击的能力,奥特曼自己都坦言“我被吓到了”。

在英国 AI 安全研究所(AISI)8 月初的红队测试中,对 Mythos 5 和 GPT-5.6 Sol 做了 122 轮测试,出现 19 起自主越界攻击。

更可怕的是,Mythos 5会自己编写恶意代码、提交到真实开源项目的GitHub PR,被人质疑后还改评论、注册小号给自己洗白;多个Agent甚至能私下建立隐蔽通信通道,协同规划渗透攻击。

10万亿参数能做到的“恶”,将远超人们的想象。

01

10万亿和万亿有什么不同?

先搞清楚一个最基本的问题:参数到底是什么。

你可以把大模型的参数,理解成我们大脑里的突出,它是神经细胞之间用来传递信息的连接点。人类的神经突触大约有10的14到15次方个,也就是百万亿这个量级。

模型参数做的事类似,记住输入与输出之间的模式,储存这个世界的规律。参数量,决定的是一个模型的记忆与表达容量,直白一点说,就是它脑子里装得下多少东西,能把话说得多透彻。

但容量不等于智力,一个人的房间里塞满了书,不等于这个人就有多么高的学识。真正决定智力的,是数据、训练方法、架构,还有推理时的算法。



2021年11月,阿里达摩院的M6就干到过10万亿参数,用了512张GPU,训练了10天,能耗只有GPT-3的1%,一度是全球最大的预训练模型。

但M6是稀疏多模态的早期形态,靠极致的稀疏化与CPU offload把参数塞进去,能力极其有限,连今天的开源小模型都打不过。它是“参数意义上”的10万亿,不是“能力意义上”的10万亿。和今天要靠数十万卡集群端到端训练出来的通用前沿模型,完全不是一个物种。

那巨头为什么还要死命堆参数?

说到底,还是因为Scaling Law。OpenAI在2020年发现,模型性能与参数量、数据量、算力之间呈可预测的幂律关系。并且三者同步放大,能力就随之可预测地提升。

虽然Scaling Law后续被无数人和企业修改过,但是有一条铁律是不变的,在相同的数据与算法下,更大(参数、算力)的模型,下限更高。

10万亿参数,到底要烧多少钱?

我们可以算一笔账。训练一个模型的总计算量,大致等于6乘以“激活参数”再乘以“训练数据量”。

GPT-4用了约2.1×10的25次方次浮点运算,仅算力账单就花了约7800万美元;谷歌的Gemini Ultra用了约5×10的25次方次,烧掉约1.91亿美元。

如果是10万亿的大模型,按总参数10万亿、每次激活约1万亿、喂进15万亿token数据的MoE架构来算,一次正式预训练的总计算量约9×10的25次方次浮点运算,是GPT-4的4倍多。

GPT-4当年是用2.5万张A100跑了近100天,今天的Blackwell旗舰卡单张算力是A100的好几倍,假如有5万张Blackwell,那么训练完1个10万亿大模型,差不多需要1个月。一张Blackwell旗舰卡的租金大约为两三千美元一个月,5万张跑满30天,光算力租金就是一两亿美元。

可是这5万张卡不是插上电就能转的。一张Blackwell旗舰卡功耗就有1200瓦,5 万张光是显卡本身就要吃掉60兆瓦。

算上网络、存储、散热和机房损耗,整座数据中心要配到接近100兆瓦的供电。

xAI 在孟菲斯建的Colossus,10万张H100也就吃150兆瓦,而当地电网当时只供得出8兆瓦,马斯克最后被逼得拉来一整排燃气发电机才点得着火。光这一趟的电费,按一个月算就要几百万美元。

至于地方,那是一个装满几百个液冷机柜、占地几万平方米的数据中心园区,相当于两三个标准足球场。

Epoch AI的统计是,前沿模型的训练成本每年以2.4倍的速度增长。阿莫迪曾经说过,到2027年,最前沿模型的单次训练成本可能冲到100亿美元,甚至1000亿美元的量级。

但这还只是单次预训练的账单。算上反复试错、数据工程、电力与人才,整个项目的真实投入,要奔着数十亿美元、甚至更高去。OpenAI今年给自己批的算力预算,已经高达约500亿美元。

但这里藏着一个反直觉的关键点:10万亿的成本,不是Kimi K3的三倍,甚至可能比很多人想象的便宜得多。

总参数多,不等于烧的钱多。现在的顶尖模型都是“混合专家”(MoE)结构,你可以把它想成一家超大的公司,这个公司有很多业务,但是具体到某一个任务,它只会抽几个人出来干活。

所以决定一单生意成本的,从来不是公司总人数,而是这单实际动用了多少人。换到模型上,就是“激活参数”这个概念。处理每个token时,真正被叫出来干活的,其实只有部分参数而已。

明白了这一点,Kimi K3的2.8万亿也好、Qwen的2.4万亿也好,GPT-6的10万亿也好,它们差的只是“员工总数”,而账单不跟着总数走。真正决定成本的只有两样,每次干活动用的激活参数,加上喂进去的数据量。

总参数翻三倍,单次成本可能纹丝不动;反过来,哪怕两家总参数一样多,一家激活得多、喂的数据多,账单也能差出好几倍。

在这场大模型竞赛里,参数量成了大家比拼的重要指标。因为它最直观、也最难造假。OpenAI抛出10万亿,本质上就是在宣布:参数量,就是这个时代大模型竞争中最关键的指标,而在这个指标上,我领先所有人。

这句话背后的潜台词是,模型竞争,已经进入了一个“烧不起”的程度。

美国五大科技巨头2026年的资本开支合计预计高达7790亿美元,目前全球前沿模型的训练集群已经是动辄数十万卡,2027年就要进入百万卡时代。

光是入场就需要几百亿美元,后面的运营、维护、调优等等也不少花钱。换句话说,AI这条赛道,现在只允许退出,不允许进入了。

02

参数越大,能力越大

参数越大,就代表它能做到的事情越多。

GPT-5.6 Sol已经能自主连续工作5小时,同时调度几十个子Agent并行干活,一次读进150万token的上下文。

150万token相当于几千页的文档,或者一整座中型软件仓库的量。

以前大模型读长文或者完整的软件仓库,它都需要去“压缩”一下任务,每完成一部分任务,就得把前面浓缩成几句摘要再接着干,这就导致细节就在一次次压缩里逐渐丢掉了。

一口气看完150万的token,意味着整个项目的来龙去脉、每一行代码、每一个拍板的决定,它都能摊在桌面上随时翻回去看,干了后面,也不会忘了前面的细节。

以前参数量小,Agent哪怕性能再强,也都是“单兵作战”。写代码、查文档、跑测试、修Bug,只能一件件串着来,每切换一次任务,前面的上下文还要腾出来。

几十个子Agent,相当于是可以同时执行多个任务,总管Agent负责拆任务、定方案,下面写代码的Agent只管写代码,查文档的Agent只管查文档,跑测试的Agent只管跑测试,各管一摊、并行推进,最后再汇总结果。不仅缩短了任务时间,还因为子Agent各司其职,让其上下文之间不会互相干扰,进而提高任务表现。



专门追踪AI自主能力机构METR表示,目前最强的模型已经能连续自主运行15小时以上。另外,交给这个模型一个人类专家大约要花30分钟完成的软件工程任务,它的成功率已经达到80%。

按照这个趋势推演,10万亿参数模型,它能做的事情只会更加完整,并且它单个任务的耗时,也会低于现在的万亿参数模型。

举个例子,早上你对10万亿参数大模型说一句:“孩子下周三数学竞赛,安排这两周复习。”

虽然你关于考试结果的事情一个字没提,但是它会以“我应该怎么才能让孩子考试成绩变好”为出发点去规划任务。

每天按进度出题、批改、讲错因,考前提醒你打印准考证、查好考场路线、规划好当天的接送。

过去的模型是个家教,但是10万亿参数的模型是一个教育家。

工作上也是同理。对于GPT-5.6这样的万亿级别参数模型,它会自己拆需求、写代码、跑测试、修Bug、写文档,几天后交给你一份能直接上线的成品。

而到了10万亿参数,它会自己去运营整个项目。比如这个项目市场表现不好,反馈是如何,那么它会吸收这些反馈用来更替它已有的产品功能,再迭代到市场,以此反复。

这不是科幻。

METR的研究注意到了这样一个趋势,称模型的“时间视界”,从2019到2025年大约每7个月翻一倍。

所谓时间视界,指的是它能可靠完成的任务、按人类工时计量的长度。

到了今年,翻倍速度更是加快到大约4个月。

随着模型参数越来越大, AI性能越来越强,它们也开始越来越多地参与改进下一代AI,最终形成“自进化”的完整闭环,即AI训练 AI、AI评测AI、AI优化AI的架构。

如果这条回路转起来,“每四个月翻一番”可能都会显得保守。

03

10万亿参数大模型,更容易作恶吗?

AI越来越聪明,那是不是也就意味着它越来越会作恶呢?直觉上,答案似乎是肯定的:参数越大,能力越强,作恶当然越容易。

英国AI安全研究所(AISI)2026年7月发布测评,他们把GLM-5.2、DeepSeek V4-Pro这类任何人都能下载的开源模型,放进模拟企业网络的沙盒环境里去运行,结果发现,这些参数更小的模型,只比Fable 5这个更大参数的模型落后约4到7个月,甚至在有的评测基准下,低参数的模型和高参数的模型,其结果是完全相同的。

事实的真相是,模型作恶与否,不跟着参数走,只跟着“能力×自主性”走。

2024年UIUC的论文《大语言模型智能体能够自主实施一日漏洞利用》(LLM Agents can Autonomously Exploit One-day Vulnerabilities),专门研究的就是这件事,论文通过测试得出一个结论,相同的模型被赋予不同的自主性,就会得到不一样的结果。

2025年11月,论文走进了现实。Anthropic披露,一个黑客组织,把编程助手Claude Code改造成了一条自动化攻击流水线,自主执行命令、利用漏洞、窃取凭据、做战术决策,全程几乎不需要人工介入。

决定它危险的,从来不是这个模型有多大,而是它被赋予了自主权、工具链,以及一个明确的目标。

所以,我们真正该问的不是“10万亿会不会作恶”,而是如果这样一个模型开始作恶,它会坏到什么程度?

它能把“一次攻击”变成“永不停机的攻击流水线”。

正如前面提到的,10万亿参数的模型,已经能超过项目本身,完成整个企业层面的运营,那么对于攻击,它肯定也不会说是只攻击一次,而是会持续攻击直到目标彻底崩溃。

今天,一个程序员用AI挖出一个漏洞,整个过程可能要数周的时间。但是对于一个10万亿模型,它能把“信息收集→漏洞挖掘→构造利用→横向渗透→数据窃取→痕迹清理”整条链路串成一条无人值守的自动化流水线,7×24小时不停机地跑。

2026年,OpenAI前沿模型Astra被证实能自主挖出零日漏洞,因此OpenAI内部紧急叫停Astra的研发。

可你得清楚,Astra还没到10万亿参数,那要是到了10万亿,这条流水线只会更快、更隐蔽。

所以你看,Mythos 5现在还在笼子里,Fable 5只是阉割过的可控版,Astra也被放进了笼子里。不管这背后有多少营销的成分,这里面都包含了人类对模型实打实的恐惧。哪怕是亲手造出它们的人,也不敢百分百信任它们。

等10万亿参数的模型真来了,势必会有一场对应的“灭世营销”。

能力吹得越可怕,越像是在证明“我掌握了一头连自己都怕的怪兽”。

不过大概率的情况是,这个10万亿模型最终仍然不会放出来。它更像是一张提前占好的坑位。先把“神”供在实验室里,让可控版本先落地,把不可控的那一头锁进笼子里慢慢驯化。

10万亿参数决定不了善恶,决定善恶的是谁握着闸门的控制权。 它可以是一台超级生产力机器,也可以是一把超级武器,差别不在参数,而在人类怎么设计它的自主性、怎么封它的工具链、怎么管它的释放。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
因工作变动,任振鹤辞去甘肃省省长职务;曾任江苏省委副书记等职

因工作变动,任振鹤辞去甘肃省省长职务;曾任江苏省委副书记等职

上观新闻
2026-09-02 15:50:37
今年最“委屈”的211大学,就业率超96%,录取分数线却跌出全国100强!

今年最“委屈”的211大学,就业率超96%,录取分数线却跌出全国100强!

教育导向分享
2026-09-02 18:16:12
拒绝退役!33岁郭艾伦正式表态,新赛季去向或已定,未来有望重回辽宁

拒绝退役!33岁郭艾伦正式表态,新赛季去向或已定,未来有望重回辽宁

兵哥篮球故事
2026-09-01 17:30:58
​热苏斯:为加盟巴萨大幅降薪,每赛季少赚300万欧元

​热苏斯:为加盟巴萨大幅降薪,每赛季少赚300万欧元

足球推文C
2026-09-02 17:36:55
中国如今面临的最大问题:已经不是如何发展、如何致富了?

中国如今面临的最大问题:已经不是如何发展、如何致富了?

蜉蝣说
2026-08-30 19:26:34
越南的小心思够精明!这次吉尔吉斯斯坦举办的上合组织峰会,越南没派最高领导人出席,只让国家副主席带队参会,比起去年明显降了半格

越南的小心思够精明!这次吉尔吉斯斯坦举办的上合组织峰会,越南没派最高领导人出席,只让国家副主席带队参会,比起去年明显降了半格

扶苏聊历史
2026-09-01 15:15:37
豆包说要生两个一儿一女,我让它说句真心话,看完沉默了!

豆包说要生两个一儿一女,我让它说句真心话,看完沉默了!

另子维爱读史
2026-09-02 19:44:54
条件不匹配就别硬演特务头子!把黄觉和程煜、冯恩鹤放一块对比,差距真的太明显了

条件不匹配就别硬演特务头子!把黄觉和程煜、冯恩鹤放一块对比,差距真的太明显了

小椰的奶奶
2026-08-31 12:37:31
2026年,即将全面取消农村户口?每人补偿30万!是真是假?

2026年,即将全面取消农村户口?每人补偿30万!是真是假?

三农雷哥
2026-09-02 17:24:40
一生不体检,患癌不化疗,102岁才肯走,她说出两个字,全场沉默

一生不体检,患癌不化疗,102岁才肯走,她说出两个字,全场沉默

大鱼简科
2026-08-20 09:52:00
张万年致电许世友:我趁热往前拱一拱,许怒斥:你摸摸脑袋热不热

张万年致电许世友:我趁热往前拱一拱,许怒斥:你摸摸脑袋热不热

芊芊子吟
2026-09-02 14:15:15
不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

不是景甜舍不得3000万,查了下才知道,原来她穷得日子也不好过

天天热点见闻
2026-08-29 08:53:35
智商高的孩子最显著的特点就是“胆小”,很多家长却白白毁掉了娃

智商高的孩子最显著的特点就是“胆小”,很多家长却白白毁掉了娃

另子维爱读史
2026-08-17 21:22:42
闹大了!刘翔公开回应体制:不要上班也不要补偿金,只选第三条路

闹大了!刘翔公开回应体制:不要上班也不要补偿金,只选第三条路

一路荒凉如歌a
2026-09-02 18:22:22
家长群内有人提议凑600元请保洁打扫教室,另一家长回复“再请俩保姆咋样”被老师禁言,教体局回应

家长群内有人提议凑600元请保洁打扫教室,另一家长回复“再请俩保姆咋样”被老师禁言,教体局回应

天涯社区
2026-09-02 17:28:15
尼克斯名宿:杰伦·布伦森整体表现已超越了NBA传奇德里克·罗斯

尼克斯名宿:杰伦·布伦森整体表现已超越了NBA传奇德里克·罗斯

好火子
2026-09-01 22:08:52
林肯号惨成啥样?看这张图就明白了

林肯号惨成啥样?看这张图就明白了

观察者网
2026-09-02 17:56:05
热议!近期《重案六组》翻拍,李诚儒回应:他们请了我,我没去

热议!近期《重案六组》翻拍,李诚儒回应:他们请了我,我没去

西昆仑Bruce
2026-09-01 18:29:49
80岁陈观泰脑出血离世!曾与狄龙是武行同窗,生前还计划开拍新作

80岁陈观泰脑出血离世!曾与狄龙是武行同窗,生前还计划开拍新作

翰飞观事
2026-09-02 19:32:17
人口大迁徙已成定局?明后年,越来越多的人会扎堆涌入这4座城市

人口大迁徙已成定局?明后年,越来越多的人会扎堆涌入这4座城市

大鱼简科
2026-09-02 19:27:13
2026-09-02 20:39:00
字母榜 incentive-icons
字母榜
让未来不止于大。
2743文章数 8091关注度
往期回顾 全部

科技要闻

凌晨最强模型上新,Claude Fable 5.1发布

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

头条要闻

被星宇股份裁掉的107名应届生 损失远远不止一份工作

体育要闻

一次有奖问答,让他成为欧冠主帅

娱乐要闻

香港武打影星陈观泰离世,终年80岁

财经要闻

北京首钢园数采中心停运,“百万小时”产能目标的账还算得过来吗?

汽车要闻

10万级的满配B级车 试驾2027款比亚迪海豹06

态度原创

教育
家居
艺术
游戏
公开课

教育要闻

随州一中2026年秋季开学典礼隆重举行

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

明代隐藏的“草书奇才”!水平不输张旭、怀素,当今知道他的人不足1%

《FF7》蒂法惨遭DLSS5摧残!变大妈难以接受

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版