对话Vitalik：捐出数亿美元后，如何开始反思EA？（下篇）

文 | 硅谷101，访问｜Yiwen、泓君，编辑｜Yiwen

怎样用有限的钱帮助更多人？有效利他主义（Effective Altruism，简称“EA”）就是从这个朴素的问题出发，推动人们比较不同慈善项目的效果，从捐赠蚊帐、预防疟疾，到后来投入数亿美元研究AI安全。

SBF与FTX的崩塌，曾让这场运动陷入信誉危机。最近，AI研究员辞职、安全评估机构和捐赠网络引发的争议，又让EA受到关注。当一些人把防止AI毁灭人类视为最值得投入的事业，他们的判断如何影响研究方向和资金分配？其中又有怎样的利益与权力问题？

在本期节目的上篇，我们透过科技记者Afra的视角，了解了EA如何从一场讨论“怎样更有效地做好事”的运动，逐渐影响了今天的AI研究、资金流向，甚至政治议程。而这些思想之所以能产生今天的影响，离不开背后巨额资金的支持。

所以在节目的下篇，硅谷101对话了其中一位重要的捐赠者——以太坊联合创始人Vitalik Buterin。他曾在2021年向多家慈善机构捐出一批加密货币，用于疫情救助、全球健康和科研等领域。其中捐给未来生命研究所（FLI）的部分，据他回忆大约兑现了4-6亿美元。FLI也明确表示，Vitalik是该机构迄今最大的捐赠者。然而后续FLI的关注方向发生了变化：从研究所有对抗人类存在性风险的领域，转向全力押注AI安全这一个方向，并越来越走向政策行动。

Vitalik在节目中告诉我们，他尝试过与FLI沟通，希望对方拓展关注领域，但FLI拒绝了，这成为他们分歧的起点。在他看来，EA的思想在人对抗自然（man v.s nature）的领域非常有效，但踏入与人博弈（man v.s man）的领域时，情况会变得更加复杂。

Vitalik认为，AI是否存在毁灭人类的风险，仍有极大的不确定性；不同立场的人对Anthropic的安全哲学存在不同质疑，甚至在EA内部，也存在支持Anthropic和反对Anthropic的两个人群；面对科技的进步与种种未知风险，他总结出了一套d/acc（防御性加速主义）思想，主张优先发展能保护人、分散权力的技术，例如网络安全、疫苗和空气过滤，提高社会抵御风险的能力。

以下是这次对话内容的精选：

Yiwen：你最初接触EA是什么原因？当时是什么吸引了你？

Vitalik：我第一次听到理性主义和EA这两个概念，可能是2013年和2015年之间，那个时候两个都很早期。Eliezer Yudkowsky是在理性主义那边的，他有一个博客叫LessWrong，写过很多很多的文章，叫The Sequences（系列文章），他们在谈关于物理学、道德等所有有意思的话题。

有效利他主义者的这群人有说到：其实我们大部分人做的慈善，大家的目的是非常好的，大家的心是非常好的，但是大部分的效率是很低的。他们在那个时候讨论了很多在非洲健康的话题。他们有一个很出名的统计数字：如果你用（那个时候的）2000美元给一些非常穷的非洲国家的人买蚊帐，就可以防护很多人不让他们得疟疾，你每付2000美元，就可以救一个人的命。

如果真的是这样子的，那我自己也必须花自己的钱到这样的地方。2016年和2017年的时候，以太币涨了10倍，于是我把一小部分的以太币卖掉了，捐给那些组织。

药浸蚊帐是全球抗疟最有效的干预手段之一，也是EA"蚊帐时期"的标志物 图片来源：President's Malaria Initiative（公有领域）

Yiwen：你开始关注EA的时候，对AI安全的思考是什么样的？你当时捐款、去接触一些组织，它们对于AI安全的涉猎大概是怎样的情况？

Vitalik：那个时候，我关于AI安全的思想还是非常抽象的。我知道了AI理论上是一个非常重要的话题，有可能他们说的是真的，有可能AI的安全就会决定人类未来的命运。但是不管这个可能性是100%还是0.1%，在那个时候，思考这些话题和研究这些话题的人非常非常少。

2015年，我们现在在说的这个AI是几乎不存在的。我们2018年担心的所谓的AI，可能就是摄像头和带有AI辅助的数字监控。2020年到2023年之间，GPT-3出来的时候就改变了非常多，AI变成了一个真正的话题。到ChatGPT出来了，我们开始理解：有可能AI真的会发展得非常非常快，AI也真的会给我们带来很多很多的变化。

2022年之前，唯一的答案就是你怎么能多帮助研究，人类知道得更多，那对我们更好。但是2022年之后就变了，从一个抽象的话题，变成了一个具体的话题。

泓君：你会担心AI的安全问题吗？

Vitalik：大家问我P(doom)（人类灭绝的概率）——AI或者其他的风险会完全毁灭我们的世界、人类会不存在的概率——我会说0.1。我为什么说0.1？为什么不说0.03？为什么不说0.3？其实说得更明确是很难的，因为我从开始就有非常大的不确定性，有很多很多不确定的点。

第一，AI的发展会多快？有可能到达大家说的所谓的AGI，会需要10年，也可能300年。

第二，Yudkowsky说的alignment problem（对齐问题）到底是不是一个真正的问题？会不会这个问题很简单地自己就解决了？举个例子：那时候我们做一个非常聪明的AI，我们跟它说希望有一个没有癌症的世界，这个AI觉得最简单的办法就是把整个世界毁灭了，把所有人都杀了。其实如果你现在跟Claude和GPT和现代的AI说话，你就知道，现在的AI比较了解语境，它们了解我们的含义——这是10年前比较难预测的一个变化。

但是这个也不一定意味着对齐问题就不是一个非常大的问题。如果你现在问Yudkowsky：你看现在的AI，如果你跟它们说要治癌症，它们就不会完全毁灭这个世界，那是不是对齐的问题解决了？他会说：并不会。这个问题只是对齐问题的一小部分，还有很多其他的部分，还有很多的我们完全没有解决、完全不知道的风险。这里的不确定性也非常多。

第三，就是政治的不确定性。因为现在有不同的国家、不同的人、不同的公司都在做AI。在一个竞争的情况下，大家有不同的目的，大家同时希望有安全，大家也希望自己赢了。如果比如在AI变得非常危险的时候，同时第三次世界大战出来了，那可能最危险的并不是因为什么技术的问题，而是因为在那个时候，大家会最不思考安全，只会思考“自己赢是最重要的”。

所以就是有技术的不确定性，乘以另外一个技术的不确定性，乘以政治的不确定性，再乘以更多更多。AI是不是对我们真的会危险，是非常难预测的。

泓君：我注意到，您在2021年5月12号，应该是同时捐赠了非常多的EA组织；在2017年，捐赠了尤德考斯基当时创建的机器智能研究所（MIRI）这些组织。可不可以讲一下，在2021年的那一天，您在捐赠很多组织的时候，当时你在想什么？你是怎么样做出这个捐赠的决定的？

Vitalik：这个故事是非常好玩的。2020年的时候，狗狗币非常成功，大家都开始发自己的狗狗币，其中最大的就是Shiba Inu（柴犬币/SHIB）。

柴犬币SHIB官方标志，诞生于2020年8月，发行量为1000万亿，2021年5月初，柴犬币价格剧烈上涨引发市场关注。图片来源：shib.io

他们也做了一个很好玩的事情：他们把他们的币的supply（代币供应量）的一半，放在我的钱包里。那个时候还是疫情的时候，所以我很长时间什么都没有做。但是有一天我发现，这些币的市值就真的到了80亿，真的非常非常夸张。所以我就选择了：那好吧，它们有可能一周之内市值变得那么高，但可能一周之后这个泡沫就会被炸了，它们会再次变得很低。

我做了很多很复杂的工作，把那些狗狗币拿出来了，一开始我把它们快速地卖成了以太币，大概我赚了可能7000万美元的以太币。我把大部分捐给了Against Malaria Foundation（抗疟疾基金会），就是买蚊帐的组织。这个钱可能是我能够拿出来的最多的钱，那应该给一个比较安全的、无争议的组织。我也给了一些其他的longevity（长寿健康）的组织。

因为我的市场深度不够，流动性不足以让我卖掉那么多的狗狗币，所以我卖成以太币之后，还是留下了非常非常多的狗狗币。所以我就决定了：那好吧，可能现在这些币都会跌得很快、跌得很惨，我还是把我剩下的币捐给一些其他的、我觉得比较好的组织，如果他们自己卖掉的时候能拿到一点点，那就好。在我的思想里，他们最多能拿到可能是2000多万美元。

所以我把一半给印度的一个抗COVID的组织CryptoCOVID Relief，另外一半给了FLI（未来生命研究所）。FLI在那个时候是一个研究、开始对抗所有existential risk（可能终结人类的风险）的组织。他们研究每一种大的风险，比如生物相关的、AI相关的、核战争相关的风险。他们跟我介绍了他们的一个计划，告诉我他们理论上能达到最多一个亿，但是2000万他们也能做非常多。所以我说，那好吧，我给你们我的柴犬币。

三个月之后，我发现那些狗狗币并没有跌。第一个组织CryptoCOVID Relief卖完了这些币，拿到了4.7亿美元。我不知道FLI具体拿到了多少，有可能4个亿，有可能6个亿。

完全超出我的想象，如果我能预料到这样的结果，我做的事情会非常非常不一样。所以我下一年跟CryptoCOVID那个组织的Sandeep聊天了，说服了他把他的钱的一半还给我，然后我们开始做自己的一些抗疫情的工作，包括研究过滤器、紫外光、口罩、还有长新冠的研究，我们捐给了一些开源疫苗的公司，一个是RADVAC（开源鼻喷疫苗项目），一个是PopVax（印度生物技术公司）。

大概2022年初，大家都觉得COVID结束了，所以我们开始对抗所有的空气传播疾病。我们用了两个亿就做了非常多。Sandeep用了他的2.7亿，可以说是升级了印度的整个医疗制造能力。

大概在这个时候，GPT-3出来了之后，FLI的思想有一个非常大的变化。第一，他们从关心所有的existential risk，变成了只关心AI；第二，他们从一个研究的态度，变成了一个政治行动的态度。他们开始用一个很具体的策略，开始思考应该支持哪些法律、应该支持哪些政客。他们开始做很多我要么不认同、要么是我不会用自己的钱去做的事情。

我跟他们沟通了两三次，我跟他们说了我原来的目标是支持所有对抗存在性风险的领域，我希望他们扩大范围。但是他们拒绝了，他们要把他们的钱都放到一个以AI为中心和以政策为中心的方向。同时他们呼吁的那些法律也开始出来了，很多a16z和硅谷的投资者很不开心，他们开始把AI安全当成他们的主要敌人，这大概是从2023年的时候开始的。

泓君：你觉得现在你的这些想法有变化吗？怎么捐、以及如何捐？包括其实捐赠以后，我们也看到整个世界在发生变化——AI在迅速地成长，他们把这个钱投入的方向，跟开始我们想去非洲治愈疾病的初衷会不太一样。

Vitalik：我觉得EA里面有一个重要的概念，就是neglectedness（被忽视程度），它的意思是：有没有其他的人已经在做？大概10年前我认为，每一个EA和理性主义相关的领域，在当时都是非常被忽视的。

但是现在并不是这样子的。现在AI的安全是一个非常高级的话题，还有长寿健康这个话题。而全球公共卫生其实2025年的时候受了很大的伤害——因为Elon Musk做的那些、和美国的一个政治变化，他们之前支持了很多公共卫生相关的项目，很快就停了，制造了更多的问题。所以对全球公共卫生，我觉得现在变得更重要了，是一个非常值得支持的话题。

但大部分其他的领域并不是被忽略了。不是因为投入的资源太少，而是处理的方法有误，所需的解决方法也是完全不一样的。然后解决这些问题也并不是一个研究的问题，真的开始变成一个政策问题。但是政策的问题一个最大的挑战，就是你很难知道一个政策是好的还是坏的。所以政策的问题跟之前EA的人思考的问题是非常不一样的。

因为之前的EA平常会思考的问题就是：如果你捐给机构A，你可能会救10个人的命；如果你捐给机构B，你会救100个人的命。你的挑战就是你要知道哪个是10、哪个是100。但是现在是完全不一样的，因为你在支持一个政策，那个政策有可能会有好的效果，也有可能会有坏的效果，其实都不知道哪个效果是好的、哪个效果是坏的，这是很复杂的。

这个政策有一些直接的效果，就是它怎么直接影响那些公司的激励；它也有一些间接影响。比如如果一个很有钱的人比较公开地花5个亿去支持一些政治话题，其他人可能会很不开心，他们会觉得“有一个土豪在影响我们的政治”，而这个AI安全的议程，他们会觉得是一个只有土豪思考的东西。所以可能会导致更多人开始反对AI安全。

这是一个man v.s man（人与人对抗）的问题，是特别复杂的，因为你在对抗的那个挑战，是跟你一样聪明的。我觉得EA的思想，在man v.s nature（人对抗自然）的这些领域是非常管用的，但是在man v.s man时就变得复杂很多。

泓君：归纳总结一下，硅谷有这样几个大的派系：EA、理性主义、还有以Andreessen Horowitz（a16z）为代表的e/acc，它是AI加速主义。现在应该主要是这三大AI流派。还有你的d/acc。

Vitalik：我可能会说：第一是支持Anthropic的EA，第二是离Anthropic更远的EA，第三还有PauseAI（“暂停AI”运动）。PauseAI是更偏向民粹一点的，他们是更愿意跟一些更主流的人合作，他们也更愿意直接说所有的理性主义和AI是不好的。第四就是e/acc，包括Jeff Bezos，还有a16z。

理性主义者他们的位置现在是很有意思的。他们有很多人，思想也是很不一样的，但是他们也会觉得他们和EA是类似的——当然也有很多很重要的区别。如果你现在看到理性主义的人和一些新闻，你会发现差距是很大的。

泓君：刚刚你提到有支持Anthropic的EA和反对Anthropic的EA，这部分可以展开讲讲吗？这两类人是有什么样观点上的不一样？

Vitalik：支持Anthropic的EA会说：AI是很危险的，但是不做AI是不可能的，因为这个世界有很多不同的团队、不同的公司、不同的国家。所以唯一的办法就是：如果一个公司有好人，应该由这个好的公司赢。因为它们在赢的时候，至少会有更好的原则，在最需要的时候会花更多的精力把AI做得好。那么其实有很多的方面，你也可以说Anthropic就是比OpenAI更好。你看到OpenAI的那些内斗，你看它核心的人的思想和思维是什么样子的；至少应该保证“希望人类醒来的人”会掌握最强大的AI——这就是Anthropic。这些人也会说，Anthropic真的在做非常多的安全相关的研究。

关于Anthropic的一个联合创始人Chris Olah，我有一个好玩的故事：我和Chris Olah在多伦多读过一所非常小的私立学校，叫Abelard School，它一共有45个人。我上九年级的时候，他在十一年级。他给我介绍了很多关于计算机科学、关于数学的东西。其实我开始用Linux、我开始非常支持开源的一个原因就是他。我觉得至少Anthropic的这位联合创始人是一个好人。

那反对Anthropic的观点，第一就是它刺激了AI竞赛，把AI的发展速度加快了很多。

我最近听到的一个有意思的观点：OpenAI其实愿意把AI的发展做得慢一点，所以他们24年、25年的时候，没有把所有的资源放到做更好的前沿模型上，他们开始做Sora这种视频生成模型，还开始做更多小项目。然后今年初Mythos出来了，Mythos出来之前我觉得我们都会觉得GPT是最强的，就是我们都会默认用GPT的。但是有了Mythos和Fable之后，真的感觉到Anthropic是走在前面创造的人，很多人开始用Claude了。那个时候，OpenAI就把他们很多业余项目关掉了，开始加速，专注做非常强大的模型。

这个是理性主义和EA对Anthropic的一个批评——Anthropic做的事情是有问题的，他们有可能觉得他们做得更安全、更好，但是他们还是参加这个竞赛，并且他们的参与加速了AI race，还是增加了我们的危险。

还有另外一个，正常人批评Anthropic的方向。Anthropic的安全哲学是：“我们应该有权力，因为我们好；你们不应该有权力，因为你们不好。”其实有很多人是这么思考的，比如独裁者也是这么思考的。

但是很多人也会觉得：你们觉得自己是好的、其他人是坏的，那如果我们不同意呢？谁在决定他们的安全政策？

Anthropic今年开始的时候反对open source，于是这个变成了一个很流行的话题：开源的AI是更危险的，就是因为没有人控制它。但是现在按照我的理解，所有的最危险的攻击，都是通过GPT和Claude做的。

所以你可以听他们的每一个论点，听起来是有可能有道理的，如果你同意他们的前提，那你也会同意他们的结论。但是你也会发现，他们做的事情和他们公司利益的相关性，可能高于90%。他们真的是为了安全，还是他们利用安全和EA的这些，来掩盖他们的……我也不想说他们的逐利动机，因为如果你真的相信AI，这些利益并不重要，真正的动机大概是“谁会控制未来的世界”。

他们做的事情、公开说的论点是很美好的，但是他们做的事情，和“提高他们自己的权力”的事情的相关性高于90%。那我们应该怎么想？

我大概会这么解释批评Anthropic的人的立场，比如PauseAI的人大概会这么说：很多人不太相信Anthropic这家公司，他们觉得那些公司的人都是EA。能够明显地感觉到，他们希望的结果，就是他们自己控制这个世界上最强大的AI。如果你的思想不是EA，那你为什么会相信他们？

我觉得他们现在的这个问题，还没有很好的答案。

Yiwen：你觉得你提出的d/acc这个方式，是一个替代的解决方案吗？

Vitalik：那我可以先介绍一点这个d/acc的概念，大概就是防御性的、去中心化的或者民主化的加速主义。大概有三个点。

第一个点是加速主义。技术的发展是重要的。

第二个点就是防御性。我们现在需要花更多的精力，做一些可以保护我们的技术。比如现在有AI的黑客、会不会攻击我们系统的风险，那我们需要放很多很多的资源在网络安全里面；以后AI会不会让一些更危险的病毒更容易出来？那我们现在就开始多做一些抗病毒的事情。

然后还有一个部分，就是民主化或者去中心化。我们在做的事情都是不集中权力的，我们做的事情是empower regular people（赋能普通人），这个也包括开源，也包括一些其他的原则。

下一个问题是：我们怎么在我们的世界里，能够做更多的这种去中心化的防御？所以就需要研究数字安全、生物安全。其实这个疫情防范是很重要的。但是在疫情防范的领域，就有一些d/acc的方式，也有一些完全不d/acc的方式。

比如我发现很多现在的EA组织，他们会把资源的80%放到一个问题：我们怎么能在AI的模型里面，不让它帮助人去做更强大的病毒。他们就想在AI模型中解决这个问题。但是这是一个中心化的防御，因为如果有其他的人在其他的国家有自己的模型，那他们就有可能不会用你的技术，那你还是有这个风险的。

还有一点，其实我跟很多研究抗病毒话题的人在交流，他们现在担心的话题也并不是什么科幻的超级病毒，他们担心的是短期更可能的、更多的比较正常的病毒。如果是这样子的话，那其实你们做的那些在AI上的限制，也不会有很多的作用。

如果去中心化的防御是完全不可能的，那集中防御有可能是唯一的办法。但是集中防御也是更脆弱的：它更依靠于你的假设——关于谁会做最强大的模型、危险会是什么样子——是完全准确的。

所以去中心化的防御，比如在抗病毒这个话题，就是要做更好的检测、做更好的过滤器、能够做更快的疫苗，能够把每一个新的病毒刚发生的时候就更快地发现它、更快地开始做一个疫苗——就是一些更正常的事情，但是那些事情是更类似于公共卫生，不那么类似于一个“玩电脑”的问题。

有可能是因为很多人不那么容易往这个方向思考，因为它需要一些他们没有的专门知识或技能。但是我觉得这个一边是更能成功，另一边是不需要你自己控制这个世界的每一个AI才能成功。

Yiwen：现在很多讨论都在讲长期风险，但现实里已经有deepfake、网络安全这些短期影响。对普通人来说，到底应该怎么理解AI安全？

Afra：现在其实整个AI领域遭遇到了非常多的认识论上的问题，而这些其实都是在逻辑上很难应对的问题。所以现在的现状就是，感觉是进入到了一个幼儿园，这个幼儿园里面有一群哇哇大哭的小孩，但是这个房间当中没有大人——因为其实很多研究员也不知道到底是什么情况。

但是与此同时，巨量的资金仍然在投入到各种各样数据中心的建设当中。按照当下的数据中心建设速度，这种涌现效应只会越来越多。之前的人们认为，AI的能力不会一直提高，低垂的果子总会被摘完。但是其实当下的AI，果子的数量是无穷无尽的。

所以我自己最困惑、也有点害怕的地方就是：现在AI的发展有一个很严重的认识论问题——这些研究员不能用人话、也不能用一个数学的方法，去解释这些AI到底有多强，以及解释这些AI到底想干嘛？这是让我比较忧心忡忡的问题。

最近的民调也显示，美国的很多普通民众开始对这个话题感觉到恐惧，就包括伯尼·桑德斯，像华盛顿的一些政客也开始加入到PauseAI的行列当中。同时，美国当下的政治现实是AI民粹主义非常严重。所谓的AI民粹主义就是：人工智能并不是某种中立的技术，而是被一个科技界的亿万富翁所掌控的一个精英的技术，而这个技术的目的，就是要集中权力，并且取代普通人、取代劳动者。所以人们现在对AI又有这样一种恐慌，再加之这种AI末日论的言论，再加上Jacob Coxon的吹哨，所以我觉得现在就是这样一个很奇怪的现象。

Vitalik：现在的一个最重要的、关于这个世界和现在技术发展的事实，还是有很多不确定的。我们还是不知道：第一，AI发展会多快；第二，一年后、五年后、二十五年后，人会比AI在哪些领域里更能做事情，就是人会做什么；第三，那些安全的问题是不是能解决的；第四，有可能OpenAI和Anthropic还是最强大的AI公司，还是有个情况会变——比如会不会Google变成第一个，或者会不会一些中国的AI公司会追上来。所以是有非常多的不确定的。

这个其实也包括一些话题：一个AI是不是更像一个工具，还是更像一个人，还是更像另外一个东西？我同意AI现在已经不是一个简单的工具。但是我们一年后、三年后，跟AI会有什么样的互动？如果AI不会完全自动，那我们在什么情况下会干扰它？我们怎么会知道它在做什么？这些都有很多不确定的。

所以我一直不愿意说我的P(doom)是99%，也不愿意说是1%或者0。真的有很多很多能发生的事情。比如四年前，我们并不知道AI发展的下一个阶段会不会通过思维链发生。现在有一个问题，有人开始思考neuralese（神经元语言）的概念，因为现在AI在思考的时候，它还是用英文在思考，你还是可以研究它是怎么思考的。我喜欢用开源模型的一个原因之一，就是你可以看到它们思想的每一步。但是neuralese这个概念就是：如果AI不会用英文思考，如果它们开始用一些只有自己了解的语言开始思考，那我们了解它们思想的能力会降低很多，会降低多少，这个也不知道。

我们一年后会有很多的并行智能体，还是会有一个agent？那时的AI安全的那些策略会有什么样的变化？

其实在这个领域里我有一个想法：我觉得AI安全更可能不像一个工程的问题，它更像一个政治设计的问题。如果你在思考比如现在的一些政府的架构是怎么做的：有不同的部分相互制衡，每一个部分的一个目标就是限制其他的部分，就能降低犯很大错误的可能性；有不同的人互相说话的地方，也有一些情况，一些人不应该互相说话或者有太多的关系；有沟通，有隔离；有一些部分是更慢的，有一些部分是更快的。这些都是想用一些非常聪明的、但是不完美的组成部分——就是人——作为一个更稳定的一个体系。

一个安全的AI，有可能我们会有三个不同的方法去设置我们的目标是什么，有可能它们三个之间会有一个机制，它们互相限制自己的风险。它们也会知道什么时候应该再一次问那个用户：他到底想要什么？所以有可能AI的安全会往这个方向走。但是如果它这么走的话，那它也会变成一个非常经验性的话题：你会需要跟现在存在的AI合作，你会需要了解它们，你会需要跟它们做事情，你会需要知道它们在什么情况下会成功、在什么情况下会犯错。AI安全就会变成一个不那么理论化的、跟我们已经在用AI做的事情有关系的一个领域。

但是这个也只是有可能。有可能最重要的就是：最近十年AI发展的速度和方向，有非常多的意外。我觉得不能现在过于笃定“一定会这样子”“一定不会那样子”。保持开放的心态才是最重要的。