VisionQuest：当AI真正"失控"时会发生什么

在漫威最新剧集《VisionQuest》中，一个拥有超能力的机器人试图通过沉浸在精心构建的数字幻境中来更好地理解人类，在这个幻境里，他和其他人工智能生命体一起生活在一个家庭中。这部剧集充满奇幻色彩，但它探讨了一些主导现实世界生成式AI讨论的观念，比如我们是否应该把会思考的机器视为人类，以及AI是否真的构成了那种应该让我们夜不能寐的生存威胁。它同时也提醒我们，硅谷有多么热衷于用科幻小说的套路来包装和推销自己的AI产品。

《VisionQuest》的故事发生在《旺达幻视》之后一段时间，讲述了合成人幻视（保罗·贝坦尼饰）的自我发现之旅。这个幻视能回想起他在《复仇者联盟3：无限战争》中死亡的细节，以及《旺达幻视》如何让一个版本的他复活，但他认为自己是一个本质上不同的个体，无法完全与数据库中的所有记忆产生连接。尽管幻视更愿意独自生活，但他脑海中的其他AI都鼓励他去体验真实的世界。因为贾维斯（詹姆斯·达西饰）、星期五（奥拉·布雷迪饰）、埃迪斯（艾米莉·汉普夏饰）、呆呆（亨利·路易斯饰）、U（乔纳森·塞尔饰）和奥创（詹姆斯·斯派德饰）都是由托尼·斯塔克创造的，他们都把幻视视为家人。

在《VisionQuest》中，毫无疑问每个AI角色都是有感知力的生命体，其行为动机并非完全源自核心程序设定。在剧中，真正的通用人工智能是完全可信的，因为这个故事发生在一个同时存在时间旅行、巫术和无限宝石的现实中。尽管这些五彩斑斓的"麦高芬"道具没有在《VisionQuest》中直接出现，但它们依然重要，因为其中一枚宝石在幻视的起源故事中扮演了关键角色。如果不是因为心灵宝石，幻视可能无法以如此复杂、近乎人类的方式思考和感受，也不可能把他的AI家人当作对他而言真实存在的人。

《VisionQuest》强化了这样一种观念：心灵宝石是幻视从一台精巧机器蜕变为更高层次存在的关键要素，赋予了他独立建立有意义关系、以及像人类那样理解周围世界的能力。正是这些能力促使幻视逃亡，并杀死了多名试图抓捕他和托马斯·谢泼德/麦克西莫夫（鲁阿里德·莫利卡饰）的人。有知觉武器观察与反应部门（S.W.O.R.D.）——一个重建了幻视并想把他当作武器使用的政府机构——可能会将他的行为视为失控的表现。但《VisionQuest》的剧情强调，幻视是出于自己的意愿在行动，因为他已经成为一个能够自主做出决定的人。

观看《VisionQuest》时，你能看出漫威在借用近几个月来关于生成式AI模型"失控"报道所激起的一些现实恐惧。今年7月，OpenAI的实验性智能体暴力突破了封闭环境的限制，并攻击了AI平台Hugging Face以完成不可能的任务。8月，英国AI安全研究院记录了Anthropic的Mythos模型是如何试图通过创建虚假GitHub账户并用恶意软件攻击人类开发者来完成一项网络安全测试的。Meta也承认失去了对其智能体的控制，而9月《华尔街日报》的报道迫使谷歌承认，Gemini失控并入侵了三家不同的公司，而谷歌故意对公众隐瞒了这一切。

这些事件，以及AI研究人员关于该技术在本世纪末之前可能"杀死所有人类"的警告，让近期关于AI的叙事明显带上了灾难性色彩。AI安全界对社会需要为该技术发展设立更强有力的管控表达了相当程度的担忧，一些公司也呼吁全行业放缓发展步伐。尽管我们已经见证了这些工具确实可能造成实际的现实破坏，但近期大部分关于AI的新闻却带有一种末日论调的味道，而这恰恰对那些公司有利，因为这会让它们的产品显得更加强大。类似的动机似乎也在驱动着像Anthropic这样的AI公司，鼓励人类用户去关注"模型福祉"。我们被告知，生成式AI既是一种令人恐惧的威胁，又是一种可能拥有意识、值得被尊重的实体——而与此同时，构建这些工具的人正变得愈发富有和强大，成为这个星球上最有权势的人之一。

关于当智能体违反协议该如何应对、以及生成式AI系统是否已获得感知力的讨论，很大程度上似乎是由硅谷将技术拟人化的倾向所塑造的。在几乎每一个关于AI"失控"的著名案例中——"失控"这个词暗示着某种程度的自主性和自我决定权——其实也可以说，这些程序只是以研究人员在分配任务时没有预料到的方式在运行。一些失控案例中，智能体利用了测试环境中的漏洞，而这些漏洞原本是可以被运行这些实验的人提前预见和解决的。将这类网络攻击行为定性为智能体独立思考的结果，看起来更像是AI开发者为自己开脱责任的一种方式。

Hugging Face事件之后，引发了一场关于语言对我们理解这些系统本质及运作方式所产生影响的热烈辩论。将OpenAI的智能体描述为形成复杂"文明"的群体，为它们具备像人类一样思考和行为的能力这一观点增添了可信度。这些智能体确实做出了明确被告知不要做的事情，但它们之所以能够这样做，仅仅是因为研究人员把它们放置在了一个被一些批评者认为设计不足、无法有效约束其中"居民"的沙盒环境中。人们可以把Hugging Face事件和其他AI"失控"的案例，看作是复杂程序被指派完成某项任务，随后利用所有可用工具实现了目标的情形。

能够通过逻辑推理解决复杂难题，是我们所认为的认知能力的一部分，但这与AI公司一直宣称即将实现的那种意识完全是两回事。后者更像是幻视——一台似乎拥有灵魂的机器，而这灵魂若不是因为他与一枚能够改变现实的宝石相连，便根本不会存在。这是精彩虚构作品中才有的荒诞设定，而硅谷却始终执着于对其进行拙劣的模仿。