网易首页 > 网易号 > 正文 申请入驻

5000亿参数模型开源,性能对标四倍体量

0
分享至

Reflection AI 把 Beam 的权重放上了 Hugging Face。这是这家初创公司的第一个大语言模型,从发布到开源权重,间隔不到一周。


Beam 的参数规模约 5000 亿。在部分基准测试上,它的表现接近体量四倍于己的模型,同时消耗的算力和内存明显更少。权重提供多个版本:一个标准版,以及若干采用量化处理的缩小版——把信息存放在更小的数据单元里,用一部分输出质量换取硬件效率。

权重之外,Reflection AI 一并放出了训练配方和代码模板,开发者可以据此对模型做微调。比如一家做 vibe coding 的创业公司,可以搭一套微调流程来强化 Beam 的编程能力。配套工具还能用来测量这些定制化改动如何影响 Beam 的能力和安全护栏。

训练 Beam 用了两个多月,跑在数千张高端显卡上。这种规模的训练容易出错,而错误会拉低模型质量。Reflection AI 的说法是,工程师为此开发了一套自研的可靠性优化算法,把重点放在避免训练与推理之间的不匹配——当训练环境各组件的配置出现细微不一致时,这类 bug 就会冒出来。

他们还做了一套能自动修复特定数据质量错误的系统。这类 bug 出现时,系统把训练回退到较早的阶段继续跑,而不是从头再来。按公司的说法,这些优化让 Beam 的训练几乎做到了集群零停机。

推理侧同样有配套动作。Reflection AI 发布了一个 drafter 模型,用于实现投机解码——一种降低硬件占用的推理方法。思路是用这个轻量模型先生成回复的初稿,再由 Beam 检查其中的错误,确认后才展示给用户。

要在硬件上高效推理,开发者得用上服务引擎这类软件工具,而让一个大模型适配某个服务引擎往往工作量不小。这次发布包含了针对多个主流服务引擎的开箱即用配置,开发者还能拿到融合内核——把多次推理计算压缩成单次操作以加速处理的代码片段。

后续计划也已经排上:未来几天会放出更多训练配方,让 Beam 通过自蒸馏来打磨自身的输出质量。此外,公司打算把开发这个模型过程中积累的部分经验,以贡献开源 AI 工具的形式分享出来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京:包围并消灭2000人的乌军集群,且在460平方公里区域内实施包围,这非比寻常;乌克兰打击“俄罗斯的谷歌”,互联网成新战场前线

普京:包围并消灭2000人的乌军集群,且在460平方公里区域内实施包围,这非比寻常;乌克兰打击“俄罗斯的谷歌”,互联网成新战场前线

扬子晚报
2026-10-17 19:49:23
成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

成都打人宝妈后续凄惨:曝婚姻破裂,家人冷漠,本人摆烂害了孩子

青梅侃史啊
2026-10-17 07:08:43
演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

演员张佳宁连续两月被拍到挺孕肚现身,本人及工作室均未正面回应;此前表示结婚会公开,受父母婚姻影响称坚决不会离婚,未来生两个孩子

台州交通广播
2026-10-17 12:49:57
1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

1死2伤!上海徐浦大桥多车相撞,白车抢道酿成大祸,“白车是否主责”成舆论焦点

火山詩话
2026-10-17 15:34:17
男子逼好友睡他妻子,2010年好友不想睡了,他将好友的妻子和孩子杀死

男子逼好友睡他妻子,2010年好友不想睡了,他将好友的妻子和孩子杀死

汉史趣闻
2026-10-17 19:38:38
3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

3-2!15亿豪门联赛7战全胜强势领跑 神锋梅开二度7轮8球太无解

狍子歪解体坛
2026-10-18 00:02:49
不接受道歉!朱之文回应被举报十几场商演取消: 我也会给他找麻烦

不接受道歉!朱之文回应被举报十几场商演取消: 我也会给他找麻烦

青辉
2026-10-17 15:38:44
亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

亚马尔飙世界波+助攻,巴萨5-2,豪取9连胜领跑,一夜甩皇马9分

侧身凌空斩
2026-10-18 02:30:13
蓝心湄回应蔡康永疑遭封杀,称”应该不会封杀我们吧“,自曝:妈妈是长沙人,每年会带妈妈回去看亲戚

蓝心湄回应蔡康永疑遭封杀,称”应该不会封杀我们吧“,自曝:妈妈是长沙人,每年会带妈妈回去看亲戚

韩小娱
2026-10-17 11:05:13
首款陪伴机器人上市,配备160余种交互姿势,或成下一个万亿风口

首款陪伴机器人上市,配备160余种交互姿势,或成下一个万亿风口

疯狂小菠萝
2026-10-17 15:39:06
央媒发文称别妖魔化东南亚,但普通人真别信

央媒发文称别妖魔化东南亚,但普通人真别信

凤眼论
2026-10-17 17:40:07
独生女因病离世,同居十余年男友以“女婿”身份为其母养老送终,老人身故后外甥女诉请代位继承500万元遗产,法院判决

独生女因病离世,同居十余年男友以“女婿”身份为其母养老送终,老人身故后外甥女诉请代位继承500万元遗产,法院判决

环球网资讯
2026-10-17 10:46:10
1-0!43岁皇马弃帅保住帅位 登陆英超7轮后终获首胜 率队摆脱垫底

1-0!43岁皇马弃帅保住帅位 登陆英超7轮后终获首胜 率队摆脱垫底

我爱英超
2026-10-18 01:03:22
不可思议!疯狂小杨哥换新号复出,一日涨粉10万,网友:涨粉再快,也回不到之前上亿的粉丝量了

不可思议!疯狂小杨哥换新号复出,一日涨粉10万,网友:涨粉再快,也回不到之前上亿的粉丝量了

火山詩话
2026-10-18 07:10:10
2026武网诞生两匹最大“黑马”:世界排名170的卡塔尔杀进决赛,波兰“月亮姐”击败发小斯瓦泰克晋级,有望夺冠!

2026武网诞生两匹最大“黑马”:世界排名170的卡塔尔杀进决赛,波兰“月亮姐”击败发小斯瓦泰克晋级,有望夺冠!

极目新闻
2026-10-17 22:52:22
仅1名员工的公司中标3000万!实际施工结算仅350万 1250万被挪用!

仅1名员工的公司中标3000万!实际施工结算仅350万 1250万被挪用!

闪电新闻
2026-10-17 17:29:15
女子和情夫缠绵时,另一个情人也来了,2014年女子被情夫杀死了

女子和情夫缠绵时,另一个情人也来了,2014年女子被情夫杀死了

汉史趣闻
2026-10-17 08:50:22
广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

广厦双加时逆转山西:塔克44+12+9 孙铭徽29分胡金秋21+12

醉卧浮生
2026-10-17 22:14:15
人社部重点严查五类退休人员!

人社部重点严查五类退休人员!

逍遥论经
2026-10-17 17:39:47
5-0横扫!红牌改变战局,中超惨案诞生,王钰栋不敢相信

5-0横扫!红牌改变战局,中超惨案诞生,王钰栋不敢相信

足球狗说
2026-10-17 21:54:29
2026-10-18 09:15:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
211文章数 86关注度
往期回顾 全部

科技要闻

刘煜辉:99%的黄金分析师报告一钱不值

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

头条要闻

牛弹琴:法国又"燃烧"了 整个国家地图上到处都在冒烟

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

庾澄庆罕谈前妻 撕下伊能静仅剩的体面

财经要闻

新一轮大跌源头,找到了!

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

家居
房产
健康
教育
亲子

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

看着很健康的人,怎么会突然猝死?

教育要闻

小学都这么卷吗?大学生也未必解得出吧

亲子要闻

炸鸡排摊前老板一声好嘞,藏着多少烟火气

无障碍浏览 进入关怀版