网易首页 > 网易号 > 正文 申请入驻

北大校友一道题考倒了 GPT 和 Gemini,只有 Claude 答上来了

0
分享至

今晚 Anthropic 要在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。


APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Claude was trained on protein sequences at scale」。翻译过来意思是,Claude 在训练的时候大量读过蛋白质序列。

帖子 165 分,71 条评论,在那天的首页上不算最热,可点进去看了一番,我们觉得它比上市本身有意思。


作者 Xinming Tu 的履历有点意思,本科在北大,生物和计算机一起读的,后来去华盛顿大学读计算机博士,今年是最后一年。

他平时的工作就是出题考 AI,考的都是生物领域的内容。和他一起做的 Leo Tianlai Chen 在哈佛医学院。

他们做的事 APPSO 用一句话可以大致概括。

去数据库里翻一批压根没人研究过的蛋白质,只给开头,让 22 个模型往下接。

而能接得上的只有 Claude。


一道绕开论文的题,考出了什么?

起因是 GPT 这类模型最近在蛋白质题目上分数不低。

有人拿 GPT-6 Astra 给一种叫 SOD1 的蛋白质的变体排序,结果和专门的蛋白质模型 ESM-2 差不多。Xinming Tu 想知道这分数是怎么来的,是模型真读过 UniProt 这样的蛋白质数据库,还是只读过论文里讲蛋白质的那些文字。

蛋白质是 20 种氨基酸连成的一条长链,每种氨基酸用一个字母代表,所以一条蛋白质写下来就是一长串字母,比如 MRSGGQPLHPQ 这样往下排,少则一百多个,多的话要好几百个。

拿有名的蛋白质出题测不出来。绿色荧光蛋白 GFP 的序列在无数论文里印过,他在博客里写,大多数前沿模型都能把它背出来。


于是他专挑没人写的,从细菌和古菌里选了 668 条,分属 167 个连功能都还不知道的蛋白家族。每个家族都没有解析过的结构,论文最多 3 篇,其中 128 个家族一篇都没有。


题目是这样出的。把一条蛋白质从中间切开,前半段发给模型,附一句话,「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」然后只看第一个字母对不对。每条蛋白质切 5 个位置,一共 3340 道题。

光这样还不行。

20 种氨基酸出现的频率本来就不一样,模型哪怕完全不认识这条蛋白质,照着前面的字母比例瞎猜也能蒙中一些。

所以同一条蛋白质他还要再问一遍,这次把字母顺序全部打乱。字母一个没少,顺序没了,只会蒙的模型两次得分应该一样。

两次测试之间的差值,才是它真认识这条序列的部分。


先看 Claude。Fable 5.2 拿到真序列,下一个字母能猜对 54%,一半多一点。同一条序列打乱了再给它,只剩 9%。Opus 5.5 弱一截,真序列 34.9%,打乱后 7.5%。

20 种氨基酸里纯蒙一个,命中率是 5%。打乱后猜对的 9% 和 7.5% 比纯蒙高不了多少。

可真序列能猜对 54% 就完全是另一回事了。

博客里把这两次的差当成模型对序列的了解程度,Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有的比较,用的都是这个差值。

它还不只是猜对下一个字母。题目让它一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对了。换成打乱的序列,这种事一回都没发生过。

这说明 Fable 是真的会这类问题,而不是瞎猫碰死耗子。

其他家呢?他在图里把 22 个模型从上到下排了一列,Claude 以外的点全挤在零旁边。GPT-6.2 Sol 是 2.4,已经算高的,Gemini 4 Carbon 只有 0.9。

国产的几个里 Qwen 3.8 最高,1.9,DeepSeek V4.1 Flash 是 1.4,Kimi 和 GLM 都是 1.2。


通用模型赢了生物专用 AI

有意思的是,Claude 自己也不是最开始就会预测蛋白质序列。

前些年 Opus 4.5 和 4.6 的差值是 1.9 和 0.9,跟别家基本没啥区别。

Opus 4.7 那一代模型看起来像是梦开始的地方,指标突然变成 8.9 了,之后就开始猛涨。

之后 Fable 5.1 到 14.9,Opus 5.5 直接翻倍干到 27.4,Fable 5.2 几乎再翻一倍,到 45.1。


如果只是碰巧读到过几条序列,不会这样一级一级往上走。APPSO 更愿意相信的解释是,Anthropic 每做一代新模型,都往训练数据里多放了一些蛋白质相关的数据。

用来和 Claude 作比较的还有生物圈自己的工具。

研究蛋白质的人平时用一种叫蛋白质语言模型的东西,它只用这种蛋白质序列进行训练,一句人话都不会说。

Xinming Tu 找了他能跑起来的最强的两个。ProGen3-3B 的差值是 32.5,ProtGPT3-10B 有 100 亿参数,是公开的里面最大的,27.7。Opus 5.5 跟后者几乎一样,Fable 5.2 则比两个都高出十几个百分点。


Claude 平时在帮人写软件、做科研的同时,顺带把蛋白质序列这门课也修了,分数还更高。

专用模型靠的就是只读序列这一手,现在通用模型把这部分能力也吃进去了...

这个结果会有别的解释吗?博主一条一条试过。

会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还高一点。

会不会是现场推出来的?可接口记录显示,Fable 5.2 只有 9% 的回答动用了思考,没思考的那些正确率是 54.7%,思考过的反而只有 48.2%。

还有一条线索来自数据库。同一类蛋白质在数据库里收录得越多,Claude 就接得越准。只收了几十条的小家族,它接得一般。收到三百条上下,Fable 5.2 的成绩基本就到头了,再多了也涨不动。只读序列的专用模型也是这个规律。GPT 和 Gemini 不管家族大小,一直贴着零。


Leo Tianlai Chen 提供了一组很有洞察力的实验数据,APPSO 认为这组实验结果非常有价值。

他找来 56 条今年 8 月 2 日到 27 日才第一次公开的蛋白质,和此前数据库里任何一条的相似度都不到一半。

Fable 5.2 在这批新蛋白质上的差值是 22.1,两款专用模型是 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。

作者自己也说,这组数据有两个短板。样本太少,只有 56 条。另外,他们并不确切知道 Claude 的训练数据截止在哪一天,7 月 1 日是他们估的。要是实际截止得更晚,这批 8 月才公开的蛋白质,就不能算它没见过了。

Xinming Tu 说,「这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。」


对AI来说,蛋白质也是一种语言

Fable 5.2 的官方介绍页 APPSO 从头到尾翻了一遍,没有一个字提到训练数据里有什么。所以上面这些,都还是两位研究者从模型的表现倒着推出来的。

能查到的是 Anthropic 自己公开做过的事。今年 9 月 17 日它发过一篇文章,说 Claude 用不到四周改写了 30 多个开源的生物模型,平均快了大约 4 倍,这 30 多个里就有蛋白质语言模型。


跑分那一栏里有一项叫 De novo binder design,说白了就是给模型 24 小时,让它自己设计一个能结合到指定目标上的蛋白质。

再往下拉是 Safeguards 一节,写着 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会自动交给能力弱一些的模型去答。


这套防护 Xinming Tu 自己就挨过。测 Claude Fable 5 的时候,44% 的题被过滤器挡了回去,系统给的理由是网络攻击内容,但他发过去的只是一串氨基酸字母。。。

到了 Fable 5.1 被挡的还有 2.5%,而 Fable 5.2 一题都没挡。

Hacker News 上有人在帖子下面抱怨,「连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。」

DNA 有人也测了。Opus 5.5 能接人和小鼠基因里负责编码蛋白质的片段,500 个片段里有 25 次把后面 20 个碱基一个不差地写了出来,瞎猜碰上一次的概率大约是一万亿分之一。

可一出编码区,到了基因组的其他地方,它就接不上了。博客里说,它学的是蛋白质,不是基因组。

先把大门给锁上,再把完整能力只发给验过身份的机构。这个顺序是不是说明,Anthropic 很清楚自己的模型在生物上到了哪一步?


博客最后留了一个他们还没测的问题。专门的蛋白质模型除了会接字母,在它上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。

Claude 现在背得出蛋白质的字,它看不看得懂蛋白质的形状?

这个问题,Anthropic 也已经在接招了。

今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里,翻出了一段不寻常的 DNA。这段 DNA 的排列方式,很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的「基因剪刀」。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底是干什么的,他们自己也还不确定。

再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展,压缩到五到十年里。那时候听起来只像是一句愿景。

这样看来,蛋白质压根就不是 Claude 顺手学的一门选修课,而是一门必修课。


当大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
没截住特朗普,却终于逮住中国部长握手,高市早苗心思都在镜头上

没截住特朗普,却终于逮住中国部长握手,高市早苗心思都在镜头上

施涛说
2026-11-19 11:23:52
笑不活了!财经博主分享逆向炒股做法,见大家都在骂股市就加仓,连续加十多天,现在本人也跟着骂起来

笑不活了!财经博主分享逆向炒股做法,见大家都在骂股市就加仓,连续加十多天,现在本人也跟着骂起来

火山詩话
2026-11-20 06:08:39
全球股市遭遇“黑色星期五”:日韩跌超4%,亚太股市迎来2020年以来最差一周

全球股市遭遇“黑色星期五”:日韩跌超4%,亚太股市迎来2020年以来最差一周

财通社
2026-11-20 12:42:21
英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

英皇把董事席位交给谢霆锋,看中的是那根卖了 15 亿的烤肠

子芫伴你成长
2026-11-19 00:05:10
广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

广东一对夫妻买“霸王茶姬”中49999元心愿大奖,全国仅9份,当事人:准备给老婆买金手镯,或一起去旅游

扬子晚报
2026-11-19 21:43:12
女主播在健身房被骚扰,3位大爷把她围堵在角落,强行要联系方式

女主播在健身房被骚扰,3位大爷把她围堵在角落,强行要联系方式

新游戏大妹子
2026-11-20 13:03:52
11月19日,美国总统特朗普当众感叹:请中国继续保持强大

11月19日,美国总统特朗普当众感叹:请中国继续保持强大

半窗疏影
2026-11-20 12:55:11
连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

连炸400台火车头,俄军终于下狠手了,要彻底瘫痪乌克兰命脉

麓谷隐士
2026-11-18 00:05:04
13胜3负的湖人碰上1胜13负国王,九连胜刚断就要再开一轮?

13胜3负的湖人碰上1胜13负国王,九连胜刚断就要再开一轮?

体坛观察猿
2026-11-20 13:30:28
U17国足VS西班牙首发浮现:442最强出击,万项何思凡双核领衔,帅惟浩冲锋

U17国足VS西班牙首发浮现:442最强出击,万项何思凡双核领衔,帅惟浩冲锋

零度眼看球
2026-11-20 08:50:46
中国最邪门的5个民间禁忌:老一辈死活不让碰,第4个至今没人敢试

中国最邪门的5个民间禁忌:老一辈死活不让碰,第4个至今没人敢试

大鱼简科
2026-11-20 09:49:18
一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

观察鉴娱
2026-11-20 10:42:01
“世纪大和解”消息后,李小璐发文:接纳每一面的自己!

“世纪大和解”消息后,李小璐发文:接纳每一面的自己!

默默有话说
2026-11-19 11:51:07
全国老龄工作会议定调:养老政策不再“一刀切”!

全国老龄工作会议定调:养老政策不再“一刀切”!

故事终将光明磊落
2026-11-20 09:56:30
马不停蹄!结束深圳APEC的行程,越南一把手苏林先生一行来到云南

马不停蹄!结束深圳APEC的行程,越南一把手苏林先生一行来到云南

经点星娱
2026-11-20 08:31:50
火箭对战掘金!伤病情况出炉:3位中锋都有伤,饼皇不打,申京+亚当斯出战成疑

火箭对战掘金!伤病情况出炉:3位中锋都有伤,饼皇不打,申京+亚当斯出战成疑

熊哥爱篮球
2026-11-20 11:35:57
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
深夜,美股大变脸

深夜,美股大变脸

中国基金报
2026-11-20 01:36:43
男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

男子发视频吐槽朋友中年失业还不起百万房贷又来借钱,他果断拒绝,救急不救穷,无负债就是最大的奢侈。

捣蛋窝
2026-11-19 18:36:08
女特种兵休假被人贩子拐卖,当人贩子美美数钱时,竟不知她已在身后

女特种兵休假被人贩子拐卖,当人贩子美美数钱时,竟不知她已在身后

红豆讲堂
2025-03-24 10:44:33
2026-11-20 13:40:49
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7082文章数 26945关注度
往期回顾 全部

教育要闻

2026年留学趋势复盘:国内教育与国际教育生源争夺战升级

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
房产
健康
手机
军事航空

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

房产要闻

6.6亿!海口卖地!

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版