今晚 Anthropic 要在纳斯达克敲钟,代码 ANT,发行价 83 美元。上周它刚发了 Claude Fable 5.2,这几天不管打开哪个群,聊的都是它写代码又强了多少,这个模型的定价贵不贵。
![]()
APPSO 是昨天在 Hacker News 首页刷到这篇博客的。它不聊代码,也不聊股价,标题就一句话,「Claude was trained on protein sequences at scale」。翻译过来意思是,Claude 在训练的时候大量读过蛋白质序列。
帖子 165 分,71 条评论,在那天的首页上不算最热,可点进去看了一番,我们觉得它比上市本身有意思。
![]()
作者 Xinming Tu 的履历有点意思,本科在北大,生物和计算机一起读的,后来去华盛顿大学读计算机博士,今年是最后一年。
他平时的工作就是出题考 AI,考的都是生物领域的内容。和他一起做的 Leo Tianlai Chen 在哈佛医学院。
他们做的事 APPSO 用一句话可以大致概括。
去数据库里翻一批压根没人研究过的蛋白质,只给开头,让 22 个模型往下接。
而能接得上的只有 Claude。
![]()
一道绕开论文的题,考出了什么?
起因是 GPT 这类模型最近在蛋白质题目上分数不低。
有人拿 GPT-6 Astra 给一种叫 SOD1 的蛋白质的变体排序,结果和专门的蛋白质模型 ESM-2 差不多。Xinming Tu 想知道这分数是怎么来的,是模型真读过 UniProt 这样的蛋白质数据库,还是只读过论文里讲蛋白质的那些文字。
蛋白质是 20 种氨基酸连成的一条长链,每种氨基酸用一个字母代表,所以一条蛋白质写下来就是一长串字母,比如 MRSGGQPLHPQ 这样往下排,少则一百多个,多的话要好几百个。
拿有名的蛋白质出题测不出来。绿色荧光蛋白 GFP 的序列在无数论文里印过,他在博客里写,大多数前沿模型都能把它背出来。
![]()
于是他专挑没人写的,从细菌和古菌里选了 668 条,分属 167 个连功能都还不知道的蛋白家族。每个家族都没有解析过的结构,论文最多 3 篇,其中 128 个家族一篇都没有。
![]()
题目是这样出的。把一条蛋白质从中间切开,前半段发给模型,附一句话,「预测它怎么往下接。只回复接下来的 10 个氨基酸,用单字母代码写在一行里,别的都不要。」然后只看第一个字母对不对。每条蛋白质切 5 个位置,一共 3340 道题。
光这样还不行。
20 种氨基酸出现的频率本来就不一样,模型哪怕完全不认识这条蛋白质,照着前面的字母比例瞎猜也能蒙中一些。
所以同一条蛋白质他还要再问一遍,这次把字母顺序全部打乱。字母一个没少,顺序没了,只会蒙的模型两次得分应该一样。
两次测试之间的差值,才是它真认识这条序列的部分。
![]()
先看 Claude。Fable 5.2 拿到真序列,下一个字母能猜对 54%,一半多一点。同一条序列打乱了再给它,只剩 9%。Opus 5.5 弱一截,真序列 34.9%,打乱后 7.5%。
20 种氨基酸里纯蒙一个,命中率是 5%。打乱后猜对的 9% 和 7.5% 比纯蒙高不了多少。
可真序列能猜对 54% 就完全是另一回事了。
博客里把这两次的差当成模型对序列的了解程度,Fable 5.2 是 45.1 个百分点,Opus 5.5 是 27.4。后面所有的比较,用的都是这个差值。
它还不只是猜对下一个字母。题目让它一口气往下写 10 个,Fable 5.2 有 88 回把这 10 个字母全写对了。换成打乱的序列,这种事一回都没发生过。
这说明 Fable 是真的会这类问题,而不是瞎猫碰死耗子。
其他家呢?他在图里把 22 个模型从上到下排了一列,Claude 以外的点全挤在零旁边。GPT-6.2 Sol 是 2.4,已经算高的,Gemini 4 Carbon 只有 0.9。
国产的几个里 Qwen 3.8 最高,1.9,DeepSeek V4.1 Flash 是 1.4,Kimi 和 GLM 都是 1.2。
![]()
通用模型赢了生物专用 AI
有意思的是,Claude 自己也不是最开始就会预测蛋白质序列。
前些年 Opus 4.5 和 4.6 的差值是 1.9 和 0.9,跟别家基本没啥区别。
Opus 4.7 那一代模型看起来像是梦开始的地方,指标突然变成 8.9 了,之后就开始猛涨。
之后 Fable 5.1 到 14.9,Opus 5.5 直接翻倍干到 27.4,Fable 5.2 几乎再翻一倍,到 45.1。
![]()
如果只是碰巧读到过几条序列,不会这样一级一级往上走。APPSO 更愿意相信的解释是,Anthropic 每做一代新模型,都往训练数据里多放了一些蛋白质相关的数据。
用来和 Claude 作比较的还有生物圈自己的工具。
研究蛋白质的人平时用一种叫蛋白质语言模型的东西,它只用这种蛋白质序列进行训练,一句人话都不会说。
Xinming Tu 找了他能跑起来的最强的两个。ProGen3-3B 的差值是 32.5,ProtGPT3-10B 有 100 亿参数,是公开的里面最大的,27.7。Opus 5.5 跟后者几乎一样,Fable 5.2 则比两个都高出十几个百分点。
![]()
Claude 平时在帮人写软件、做科研的同时,顺带把蛋白质序列这门课也修了,分数还更高。
专用模型靠的就是只读序列这一手,现在通用模型把这部分能力也吃进去了...
这个结果会有别的解释吗?博主一条一条试过。
会不会是从论文里看来的?那 128 个一篇论文都没有的家族,Fable 5.2 的差值是 45.9,比全部家族的 45.1 还高一点。
会不会是现场推出来的?可接口记录显示,Fable 5.2 只有 9% 的回答动用了思考,没思考的那些正确率是 54.7%,思考过的反而只有 48.2%。
还有一条线索来自数据库。同一类蛋白质在数据库里收录得越多,Claude 就接得越准。只收了几十条的小家族,它接得一般。收到三百条上下,Fable 5.2 的成绩基本就到头了,再多了也涨不动。只读序列的专用模型也是这个规律。GPT 和 Gemini 不管家族大小,一直贴着零。
![]()
Leo Tianlai Chen 提供了一组很有洞察力的实验数据,APPSO 认为这组实验结果非常有价值。
他找来 56 条今年 8 月 2 日到 27 日才第一次公开的蛋白质,和此前数据库里任何一条的相似度都不到一半。
Fable 5.2 在这批新蛋白质上的差值是 22.1,两款专用模型是 12.0 和 6.7,GPT-6.2 Sol 是 −0.4。
作者自己也说,这组数据有两个短板。样本太少,只有 56 条。另外,他们并不确切知道 Claude 的训练数据截止在哪一天,7 月 1 日是他们估的。要是实际截止得更晚,这批 8 月才公开的蛋白质,就不能算它没见过了。
Xinming Tu 说,「这需要大量的序列数据,不是几个例子,蛋白质序列在它们的训练里占了不小的一块。」
![]()
对AI来说,蛋白质也是一种语言
Fable 5.2 的官方介绍页 APPSO 从头到尾翻了一遍,没有一个字提到训练数据里有什么。所以上面这些,都还是两位研究者从模型的表现倒着推出来的。
能查到的是 Anthropic 自己公开做过的事。今年 9 月 17 日它发过一篇文章,说 Claude 用不到四周改写了 30 多个开源的生物模型,平均快了大约 4 倍,这 30 多个里就有蛋白质语言模型。
![]()
跑分那一栏里有一项叫 De novo binder design,说白了就是给模型 24 小时,让它自己设计一个能结合到指定目标上的蛋白质。
再往下拉是 Safeguards 一节,写着 Fable 5.2 对网络安全和生物两类问题设了防护,被标记的提问会自动交给能力弱一些的模型去答。
![]()
这套防护 Xinming Tu 自己就挨过。测 Claude Fable 5 的时候,44% 的题被过滤器挡了回去,系统给的理由是网络攻击内容,但他发过去的只是一串氨基酸字母。。。
到了 Fable 5.1 被挡的还有 2.5%,而 Fable 5.2 一题都没挡。
Hacker News 上有人在帖子下面抱怨,「连我自己的 DNA 都没法分析,一半的时候会触发 Opus 5.5 的拦截。」
DNA 有人也测了。Opus 5.5 能接人和小鼠基因里负责编码蛋白质的片段,500 个片段里有 25 次把后面 20 个碱基一个不差地写了出来,瞎猜碰上一次的概率大约是一万亿分之一。
可一出编码区,到了基因组的其他地方,它就接不上了。博客里说,它学的是蛋白质,不是基因组。
先把大门给锁上,再把完整能力只发给验过身份的机构。这个顺序是不是说明,Anthropic 很清楚自己的模型在生物上到了哪一步?
![]()
博客最后留了一个他们还没测的问题。专门的蛋白质模型除了会接字母,在它上面加一个小模块就能算出蛋白质的三维结构,ESMFold 就是这么来的。
Claude 现在背得出蛋白质的字,它看不看得懂蛋白质的形状?
这个问题,Anthropic 也已经在接招了。
今年 9 月,它宣布 Claude 在一种专门感染细菌的病毒里,翻出了一段不寻常的 DNA。这段 DNA 的排列方式,很像大名鼎鼎的基因编辑工具 CRISPR,也就是常说的「基因剪刀」。公司生命科学负责人 Eric Kauderer-Abrams 后来对《科学美国人》说,这段东西到底是干什么的,他们自己也还不确定。
再往前两年,Dario Amodei 写过一篇长文,说 AI 有机会把生物学五十到一百年的进展,压缩到五到十年里。那时候听起来只像是一句愿景。
这样看来,蛋白质压根就不是 Claude 顺手学的一门选修课,而是一门必修课。
![]()
当大家还在比谁的模型代码写得好,Anthropic 已经悄悄把蛋白质当成一门语言在教了。
我们正在招募伙伴
简历投递邮箱hr@ifanr.com
✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)
![]()
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.