Generative AI Is an Engineering Disaster
一项令人震惊的低效万亿美元项目
作者:亚历克斯·赖斯纳
![]()
加利福尼亚州弗农市正在建设中的三层数据中心。(马里奥·塔马/盖蒂)
2026年7月14日
在争相确保自身系统持续在线之际,人工智能公司正让其他人的生活成本大幅上升。像ChatGPT和Claude这样的大型语言模型对资源的消耗极为巨大,以至于科技公司可能已买下了全球高端电脑内存供应量的70%,从而引发短缺。结果,电脑内存和存储设备的价格飞涨:两年前我为报道购买的硬盘,当时每块仅350美元,两周前我查看时价格已涨至800美元,如今更是已经断货。一些笔记本电脑的价格涨幅甚至高达50%,而低价位电脑受到的冲击尤为严重。据一项预测称,价格实惠的入门级电脑可能“到2028年就会彻底消失”。预计内存短缺的局面还将持续多年。
这些内存正被部署到数据中心,而科技公司正以惊人的速度扩建数据中心。它们计划在未来几年内将美国数据中心的总容量扩大八倍。这些数据中心的电力需求已十分巨大,以至于一些公司甚至开始改造喷气发动机为它们提供动力。
问题并不只是在于人工智能的部署如此广泛或迅速。其他计算机技术也曾经历同样迅猛的增长,却并未引发如此巨大的电力消耗激增或计算机零部件短缺:如今,视频和音乐在全球范围内进行流媒体播放,每天产生的互联网流量高达数太字节;智能手机的热潮促使数十亿台设备投入生产,这些设备正源源不断地传输着海量数据;数十亿个家用设备也已接入物联网;甚至整个行业都已将其业务迁移到云端软件——而这些云端软件并非“漂浮”在空中,而是实实在在地托管于数据中心之中。
按照业内术语,生成式人工智能的问题在于它无法实现规模化。从一千名用户增长到一百万名用户所涉及的成本,是风险投资家在评估初创企业时重点考察的一个关键因素。他们希望看到,随着新用户的不断增加,每新增一名用户的成本能够逐步降低,从而确保公司能够支撑数百万用户并持续提升盈利水平。这一目标的实现,部分得益于对计算机系统的精心设计,使这些系统能高效地应对越来越多希望发布照片、叫车或在线听音乐的用户需求。
借助生成式人工智能,构建高效、可扩展系统的任务尚未完成。而这一问题因生成式AI模型规模日益庞大而愈发严重:据独立估算,这些模型的参数量已从2020年的1750亿个增长到如今超过1万亿个(实际用于Claude和ChatGPT等产品的模型规模则属商业机密)。大模型本身本不该成为卖点。然而,业界普遍认为,更大的模型往往能取得更好的效果,这种认知催生了一种近乎图腾般的“缩放定律”信仰——仿佛只要把模型做得更大,就能解决任何问题。“或许,只需10吉瓦的算力,人工智能就能找到治愈癌症的方法,”OpenAI首席执行官山姆·阿尔特曼9月在其博客中写道。
然而,回报正在递减。人工智能模型越大,每增加一个参数所带来的改进就越少,因此为了维持稳步进展,必须以更快的速度将模型做得更大。我问了几位人工智能研究人员,能否举出其他任何一种现实世界软件的规模扩展表现得如此糟糕。他们无一例外都答不上来。即使放眼软件领域之外,也很难找到类似的例子——毕竟,规模经济正是让灯泡、汽车和服装变得如此廉价的根本原因。从经济和工程的角度来看,生成式人工智能或许是有史以来部署过的最糟糕的技术。
然而,由于当前这种过度膨胀的模式背后有着巨额投资,人们可能并不太愿意做出改变。OpenAI联合创始人兼前首席科学家伊利亚·苏茨克弗在11月的一次采访中表示,企业之所以采取这种“蛮力”方法,是因为它能以极低的风险投入资源。他指出,要投资于那些能够彻底改造现有、市值已达数万亿美元产品的研究,难度要大得多。那些怀疑我们正身处一场由人工智能驱动的泡沫经济中的人士指出,这些公司的盈利能力仍是个悬而未决的问题,这在很大程度上归因于该技术成本高昂且效率低下。
效率是计算机科学的核心原则之一。本科生最早学到的一点就是:编写一个能对50个单词的列表进行排序的程序很容易。但如果你给这个程序处理5000万个单词,它很可能会耗尽内存,或者需要数小时才能完成。计算机科学的很大一部分内容,就是学习那些巧妙的编码技巧,以避免上述情况的发生。许多这类技巧都利用了数据中反复出现的模式,这样一来,随着程序接收越来越多的输入,处理每个额外数据所需的时间和内存都会越来越少。正是这种高效性,使得现代智能手机和电脑既功能强大又价格亲民。这种现象被称为logarithmic scaling,当你将其绘制成图表时,会呈现出如下形状:
![]()
大型语言模型并非呈对数级扩展。当它们需要处理的词量增加时,速度会变慢,内存占用也会增多——随着输入规模增大,所需时间和资源的增长速度远快于线性增长。从技术角度来说,大型语言模型的扩展呈二次方增长。任何计算机科学专业的学生都知道,这种扩展方式非常糟糕。
Epoch AI是一家致力于评估人工智能模型运行成本的机构,去年发布了一张图表,经授权在此转载。该图表展示了使用多个公开人工智能模型时,为服务更多“标记”——即用户输入给聊天机器人的文字——所导致的成本呈指数级增长的情况。
![]()
人工智能并不一定要以这种方式构建。传统上,人工智能的目标是通过模拟人类的思维过程来解决问题。研究人员观察自身的思考方式,并试图将这些思维习惯转化为代码。这种方法如今已基本被摒弃,部分原因在于难以准确识别并清晰表述人类思维的规律;不过,这种做法确实具有一个优势——它所消耗的资源和数据要少得多。
当今的人工智能方法并不试图描述人类思维的规律;相反,它向计算机提供数以百万计的示例,让计算机加以模仿。正是由于示例数量庞大,大型模型在生成语言、图像和音乐时才能表现得优于小型模型——它们拥有更丰富的素材可供借鉴。一些研究人员希望回归那种更高效的传统方法,并将其与现代方法相结合,但迄今为止,这些项目获得的关注和资金远不及驱动聊天机器人的那些模型。
聊天机器人公司深知其产品效率低下。一些公司已找到提升性能的技巧,但这些技巧并未带来显著成效。偶尔,有公司声称取得了突破——Anthropic首席执行官达里奥·阿莫迪将其称为“计算倍增器”——但这些突破通常描述得含糊不清,且并无证据表明根本性的二次扩展问题和模型规模爆炸性增长的难题已被攻克。(当我联系Anthropic询问此事时,该公司拒绝公开置评。)
一些研究人员正在研发极其小型的模型,这类模型所需的数据量更少,计算能力也更低。我与微软的AI研究员阿莱克西娅·若利科-马蒂诺交谈,她独立设计了其中一种小型模型,并就业界这种“蛮力”式的研究方法向她请教。“这有点疯狂,”她告诉我,“到了某个阶段,你总得学会更高效一点。”
去年,若利克-马蒂诺凭借一篇关于“微型递归模型”的论文赢得了5万美元奖金。这种模型无需消耗大量计算资源。“认为要想在困难任务上取得成功,就必须依赖于某些大型企业耗资数百万美元训练而成的巨型基础模型,这是一种误区,”她写道。她的模型并非大型语言模型的替代品——它旨在解决生物学和电气工程等领域中的逻辑问题,而非生成语言——但它却能完成目前许多超大规模人工智能模型所承担的部分任务。
然而,我们似乎已被LLM所困,或许正因它们的营销攻势过于猛烈。如今,无论你是否需要,这些大语言模型都被一股脑地塞进了各种产品中。2024年和2025年,它们甚至被整合进了Windows和macOS系统,这意味着运行一台基本个人电脑所需的计算能力如今更高了。此外,智能手机也纷纷搭载了升级后的硬件,因为各大厂商正期待着新的人工智能功能的推出。就连Adobe Photoshop和Microsoft Word等常用软件,也开始引入效率低下的AI功能,这使得电脑必须具备更强的处理能力才能顺畅运行这些软件。
这一切尤其糟糕,因为计算机的性能提升速度已不再像过去那样迅猛。自20世纪50年代以来,制造商们不断研发出速度更快、体积更小、成本更低的微芯片,这一趋势俗称“摩尔定律”。然而,近几年来,元件已经小到极限,制造商们在进一步缩小元件尺寸时遇到了分子层面的物理限制,这使得技术进步明显放缓。
与缩小元件尺寸不同,制造商们一直致力于开发专为人工智能量身定制的新硬件。这带来了一些偶尔的性能小幅提升,但没有任何一项技术能真正跟上人工智能需求呈指数级增长的步伐。
归根结底,对于那些坚信自己正在复制智能本身的科技从业者而言,效率低下或许根本无关紧要。在硅谷的许多人中,甚至有种近乎宗教般的信念:大语言模型——本质上不过是一套统计型的语言生成软件——终将催生出某种类似心智的东西。尽管这些软件连最基本的事实都记不住,缺乏常识,与生物大脑更是毫无相似之处。就连人工智能界的“教父”之一Yann LeCun最近也对《纽约时报》表示:“大语言模型并非通向超级智能乃至人类水平智能的路径。” 然而,人工智能所具有的神话般吸引力太过强大,以至于许多工程师坚信,没有任何障碍能够阻挡他们前进的脚步——甚至连编写高效软件这一基本任务也不例外。
本文作者:Alex Reisner是《大西洋月刊》的特约撰稿人。
说明:本号刊发来自各方的文章,是为了获得更全面的信息,不代表本号支持文章中的观点。由于微信公众号每天只能推送一次,本站目前在腾讯新闻发布最新的文章,每天24小时不间断更新,请在腾讯新闻中搜索“邸钞”,或在浏览器中点击:
https://news.qq.com/omn/author/8QIf3nxc64AYuDfe4wc%3D
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.