网易首页 > 网易号 > 正文 申请入驻

5000亿参数模型开源,性能对标四倍体量

0
分享至

Reflection AI 把 Beam 的权重放上了 Hugging Face。这是这家初创公司的第一个大语言模型,从发布到开源权重,间隔不到一周。


Beam 的参数规模约 5000 亿。在部分基准测试上,它的表现接近体量四倍于己的模型,同时消耗的算力和内存明显更少。权重提供多个版本:一个标准版,以及若干采用量化处理的缩小版——把信息存放在更小的数据单元里,用一部分输出质量换取硬件效率。

权重之外,Reflection AI 一并放出了训练配方和代码模板,开发者可以据此对模型做微调。比如一家做 vibe coding 的创业公司,可以搭一套微调流程来强化 Beam 的编程能力。配套工具还能用来测量这些定制化改动如何影响 Beam 的能力和安全护栏。

训练 Beam 用了两个多月,跑在数千张高端显卡上。这种规模的训练容易出错,而错误会拉低模型质量。Reflection AI 的说法是,工程师为此开发了一套自研的可靠性优化算法,把重点放在避免训练与推理之间的不匹配——当训练环境各组件的配置出现细微不一致时,这类 bug 就会冒出来。

他们还做了一套能自动修复特定数据质量错误的系统。这类 bug 出现时,系统把训练回退到较早的阶段继续跑,而不是从头再来。按公司的说法,这些优化让 Beam 的训练几乎做到了集群零停机。

推理侧同样有配套动作。Reflection AI 发布了一个 drafter 模型,用于实现投机解码——一种降低硬件占用的推理方法。思路是用这个轻量模型先生成回复的初稿,再由 Beam 检查其中的错误,确认后才展示给用户。

要在硬件上高效推理,开发者得用上服务引擎这类软件工具,而让一个大模型适配某个服务引擎往往工作量不小。这次发布包含了针对多个主流服务引擎的开箱即用配置,开发者还能拿到融合内核——把多次推理计算压缩成单次操作以加速处理的代码片段。

后续计划也已经排上:未来几天会放出更多训练配方,让 Beam 通过自蒸馏来打磨自身的输出质量。此外,公司打算把开发这个模型过程中积累的部分经验,以贡献开源 AI 工具的形式分享出来。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
别被“某音”前凸后翘的网红骗了

别被“某音”前凸后翘的网红骗了

健身厨屋
2026-06-17 18:56:01
两任总指挥临阵脱逃,一线主将集体阵亡,塔伊兹联军群龙无首!

两任总指挥临阵脱逃,一线主将集体阵亡,塔伊兹联军群龙无首!

胜研集
2026-10-18 00:07:35
黄奇帆和唐宁有什么关系?

黄奇帆和唐宁有什么关系?

西虹市闲话
2026-10-15 13:28:15
1年352万美金!14分8板7助!30岁状元炮轰NBA名帅

1年352万美金!14分8板7助!30岁状元炮轰NBA名帅

微评体育圈
2026-10-18 12:47:36
上海徐浦大桥清晨突发严重车祸:白车强行超车酿祸 平板货车失控冲过隔离栏冲入对向车道致1死2伤

上海徐浦大桥清晨突发严重车祸:白车强行超车酿祸 平板货车失控冲过隔离栏冲入对向车道致1死2伤

老猫观点
2026-10-18 07:30:54
雅思停考风波背后:巅峰时内地一天7万人次考试,主办方近5财年累计净亏损1.84亿英镑,欲以藏品抵债!

雅思停考风波背后:巅峰时内地一天7万人次考试,主办方近5财年累计净亏损1.84亿英镑,欲以藏品抵债!

每日经济新闻
2026-10-15 14:59:23
“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

蝴蝶花雨话教育
2026-10-06 11:47:56
高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

草莓解说体育
2026-10-17 05:06:46
跌过那么多轮,为什么偏偏这次最痛?

跌过那么多轮,为什么偏偏这次最痛?

资本时差
2026-10-17 23:53:48
佩莱格里尼:无法理解裁判的判罚;红牌让比赛失去平衡

佩莱格里尼:无法理解裁判的判罚;红牌让比赛失去平衡

懂球帝
2026-10-18 03:31:05
10月养老金陆续发放!北京退休人员3项自查,保障待遇正常领取

10月养老金陆续发放!北京退休人员3项自查,保障待遇正常领取

老孙说
2026-10-18 09:25:17
印度姑娘在中国生活20年,重回印度故乡后,却说不愿再回来

印度姑娘在中国生活20年,重回印度故乡后,却说不愿再回来

麦子情感故事
2026-10-17 23:00:05
成都宝妈打伤人最新后续!曝受害者缝18针,鼻骨骨折,吓坏俩孩子

成都宝妈打伤人最新后续!曝受害者缝18针,鼻骨骨折,吓坏俩孩子

甜菊汽水
2026-10-17 14:16:06
泽连斯基亲口确认:每倒下1名乌军,就会有7到10名俄军跟着陪葬!

泽连斯基亲口确认:每倒下1名乌军,就会有7到10名俄军跟着陪葬!

小莜读史
2026-10-16 16:44:36
人民日报:机关事业单位工作隐性收入减少,引人共鸣!

人民日报:机关事业单位工作隐性收入减少,引人共鸣!

职场资深秘书
2026-10-15 20:51:13
林丹43岁生日全家福曝光!儿子亲手煮面,谢杏芳状态惊艳,当年风波真翻篇了?

林丹43岁生日全家福曝光!儿子亲手煮面,谢杏芳状态惊艳,当年风波真翻篇了?

陈意小可爱
2026-10-18 12:48:13
多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

多名院士提倡:超过65岁的老人,宁可在家做家务,也别出去做这些

健康之光
2026-10-18 04:45:05
下周(10.19-10.23)持有这些个股的要小心了!(附个股)

下周(10.19-10.23)持有这些个股的要小心了!(附个股)

股侠指北针
2026-10-18 09:04:46
卫生大会定调“先让医院活下来”,医保控费要踩刹车了

卫生大会定调“先让医院活下来”,医保控费要踩刹车了

娱乐洞察点点
2026-10-18 12:24:17
2026-10-18 13:40:49
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
221文章数 86关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

头条要闻

特斯拉飞行汽车在美国引发疑问:从哪起飞 是否真能飞

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

曝郭麒麟与25岁知名女星已经结婚,女方回应关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

房产
旅游
艺术
亲子
军事航空

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

旅游要闻

推出四大康养旅游体系 四川会东县2026年首届大型文旅推介会启幕

艺术要闻

14位国外画家的风景油画

亲子要闻

孩子拇指与众不同会敏感自卑,术后锻炼与心理疏导缺一不可

军事要闻

乌克兰全国超15处重要能源设施遭俄袭击 泽连斯基发声

无障碍浏览 进入关怀版