网易首页 > 网易号 > 正文 申请入驻

刚亮相就传被英伟达收购:Gemini 老兵团队凭什么还敢押注 Coding Agent?

0
分享至


翻译|林绮蓓

编辑|蔡芳芳

前不久,Reflection AI 发布首个开放权重模型 Beam,声称对标中国开源模型。之后不到一周,这家被网友戏称为“美国版 DeepSeek”的公司,就传出了拟被英伟达收购的消息。

据《金融时报》报道,双方正在洽谈进一步投资或收购事宜,可能的交易形式还包括聘用团队并获得技术授权。目前,谈判仍处于早期阶段,尚未达成协议,双方也未就该报道公开回应。

作为 Reflection AI 的重要投资方,英伟达此次寻求深化合作,让这家专注于开放模型的创业公司及其技术路线受到更多关注。

Reflection AI 是一家致力于构建前沿开放模型的初创公司,由前 Google DeepMind 研究人员 Misha Laskin 和 Ioannis Antonoglou 于 2024 年创立。公司在 10 月初公布的首个开放权重模型 Beam,直接对标中国模型在开放生态中的领先水平。

Beam 采用稀疏混合专家(MoE)架构,总参数量为 5010 亿,激活参数量为 230 亿,重点面向编程、推理和智能体任务。根据 Reflection AI 公布的评测,Beam 在部分高级推理基准上达到与 GLM-5.2 相近的表现,所需推理计算量约为后者的三分之一至四分之一;面对 Kimi K3 等能力更强的开放模型,其主要竞争点则是推理效率。按照公布时的计划,模型权重及配套技术资料将于 10 月内开放,当前提供早期访问申请。

10 月 10 日,Reflection AI 联合创始人兼 CEO Misha Laskin 做客科技播客《NO PRIORS》。他提出,开放模型会成为重要的 AI 基础设施,而强化学习、企业定制和开放生态将共同推动下一阶段的发展。

谈到中国开放模型的领先,Misha 将其称为给全球开发者的一份“礼物”。Reflection AI 决定自己做预训练,部分原因正是团队需要一个强大的开放底座,却发现优秀的选择主要来自中国。他认为,中国模型会继续保持竞争力,但开放模型应该保持多元竞争的生态。此外,竞争也不止于模型能力:当企业和国家围绕某个模型构建应用,后续可能逐步采用与之配套的芯片、软件和基础设施。

有竞争力的开放模型,可能影响未来的算力部署和软硬件选择。沿着这一逻辑,英伟达对 Reflection AI 的兴趣就多了一层值得关注的思考维度。

太长不看版:

Q:Reflection AI 为什么从强化学习转向自己训练完整的开放模型?

A:我们最初想在已有开放模型上,通过强化学习让系统具备智能体能力。但后来发现,优秀的开放模型主要来自中国,而我们需要一个强大的模型底座。与此同时,研究也表明,要让大规模强化学习取得好效果,就需要自己做预训练,两者联系非常紧密。

Q:从零建立前沿模型实验室,最难的是什么?

A:所有事情都很难。你得把事情都做对:招人、留人、拿到数据和算力,还要搭好基础设施,让团队朝同一个方向努力。在 DeepMind,很多工具已经成熟到让研究人员觉得理所当然;创业之后,这些都得从头建设。我们大约一年内从 30 人发展到 300 人,才逐步具备完整的模型研发能力。

Q:追赶前沿模型,是不是必须拥有与大实验室一样多的资源?

A:追赶时不一定。研究可以分为探索新想法和落实已知有效的方法,优秀人才可以减少不必要的探索,提高资金使用效率。但真正走到最前沿,就需要相应规模的资源。资本投入终究有上限,好在算力效率也在提高,模型本身正在帮助我们构建更好的模型。

Q:你们看好哪些能创造经济价值的应用方向?

A:编程和智能体能力是基础,但模型的能力并不均匀,换一个任务或运行框架,未必能顺畅适应。有了合适的数据,它又能很快改善。因此,关键是找到有价值的业务,建立好的评估,再通过合成数据和定制,让模型在成本与效果之间取得更好的平衡,不一定要直接使用客户数据训练。

Q:开放模型怎么商业化?

A:开放模型和闭源模型都希望扩大推理业务。模型许可宽松,不代表部署它不需要成本:客户还需要推理软件、集群管理、运行框架和算力。我们帮助企业把这些配套搭起来,做成有价值的应用,再由应用带动持续的推理需求。服务的价值就在于帮助客户真正用起来。

Q:企业会怎样从闭源模型转向开放模型?

A:通常先“租用智能”,再考虑“拥有智能”。企业往往已经在闭源模型上跑起了一定规模的业务,才会因为成本和控制权考虑自主部署。但我认为,多数企业首先会定制系统,比如围绕模型搭建适合业务的智能体工作流,等应用和数据积累成熟后,再逐步进行模型微调。

Q:你怎么看中国开放模型的领先?

A:这是对全球有益的事,可以说是一份礼物。许多西方公司因此能建立更可持续的业务,减少对闭源供应商的依赖。我认为中国模型会继续保持优秀,但开放模型应该保持多元的竞争生态。西方也需要建立起有竞争力的生态,让市场拥有更多选择和竞争。

Q:为什么开放模型的竞争会涉及地缘政治?

A:只有模型还不够,使用者还需要配套的软件和基础设施。一个国家采用某个模型之后,可能逐渐采用与之配套的整套技术,并与供应方的供应链深度绑定。因此,模型带来的影响会延伸到芯片和数据中心。任何国家都希望其他国家在自己的技术之上构建产品,这会带来商业和地缘政治优势。

Q:开放模型会不会更不安全?

A:这种担忧是合理的,但不能只从封闭的角度理解安全。少数实验室里的几百名研究人员,很难覆盖所有潜在漏洞。我相信,让更多研究者参与发现和修补问题,有助于改善安全。尤其在网络安全中,攻击和防御能力很难分开,移除攻击能力,也可能让愿意参与防御的人失去工具。

Q:你认为 AI 安全最应该关注什么?

A:要区分已经发生、近期可以预见的风险,以及更理论化的情景。我倾向于优先处理现实问题。对齐没有一个神奇方程,很多工作就是发现缺陷,再用数据和算法逐一修补。随着系统变强,我们当然要关注意外后果,但这也意味着需要更多人参与实际的检测和修复。

Q:AI 能加速科研,未来还需要这么多研究人员和工程师吗?

A:完成同样的工作,可能需要更少的人,但我们想做的事情也在扩大,所以仍然觉得人手不足。模型能加快计算、实验和基础设施工作,人类还需要判断哪些环节可以交给它,哪些需要创造力。更大的需求会出现在应用端:企业需要懂模型、懂评估、能到现场解决实际问题的工程师,而这类人才还需要大量培养。

1追赶前沿模型,要投入多少算力、做对多少事?

主持人:今天来到我们节目的,是 Reflection AI 联合创始人兼 CEO Misha Laskin。Reflection 致力于提供开放权重模型,希望以此推动智能的未来发展。Misha 此前曾在 Google DeepMind 担任研究员,并取得了物理学博士学位。Misha,能否先向我们介绍一下你们的最新进展?你们一直在开放权重模型和开源模型上开展很有意思的探索,尤其关注在美国推动这些工作。能否谈谈你们最近在忙什么,又在构建怎样的东西?

Misha Laskin:过去 12 个月里,我们把公司的使命确立为:构建前沿开放智能,让尽可能多的人能够使用它。实际上,这段时间我们一直在全力冲刺,建立一个真正有能力做成这件事的实验室。

这让我想起里德·霍夫曼可能说过的一句话:一边开飞机,一边换轮胎。我们的经历确实如此。大约一年前,我们可能只有 30 人左右,但要做出这样的模型,确实需要一百多、甚至几百名研究人员和工程师。这真是一项堪比造火箭的项目。现在我们大约有 300 人,预训练、中期训练和强化学习各个方向的团队都已组建起来,也已经端到端地训练出了第一批模型。我们刚刚发布了一个名为 Beam 的模型,它是 Reflection 的第一个开放模型。

主持人:这个过程中,最有挑战的是什么?谈到扩大模型规模,或者从头开始构建这些模型,人们通常会提到几个问题。首先是算力,如何获得足够多的算力,尤其是搭建一个能真正协同运作、有效使用的训练集群。其次是人才,显然,各家公司为了争夺研究人员,已经在薪酬上展开了激烈竞争。然后是数据规模。这几项之中,哪一项对你们的限制最大,或者最难解决?

Misha Laskin:有意思的是,在公司的一次全员会上,也有人问过我同样的问题:“过去一年,最难的事情是什么?”实际情况是,每一件事都极其困难。有人可能会问:“到底是什么,让你们的模型比其他模型表现得更好?”答案同样是所有环节。你实际上得把 30 件事都做对。这也正是困难所在:这 30 件事,你必须样样都做好。你得招到优秀的人才,还得留住他们;你得有足够强的使命感和团队文化,让大家能够协同工作,同舟共济,朝着同一个方向努力。

你得拿到数据,得拿到算力,还得搭好基础设施,确保这些算力真正用得起来。在成熟的大型实验室里,很多东西已经建设了多年,才形成了相对稳定的基础。我此前在 DeepMind 工作,那些我们平时觉得理所当然的工具,或者说,我作为研究员,因为它们一直都能正常运作而觉得理所当然的工具,到了这里,都得自己从头搭建。所以我的回答是,每一件事情都很难;但能亲手把它们做成,会带来非常大的成就感。

主持人:你刚才说,大约一年前,你们才真正下定决心做这件事。能否谈谈你们的目标和投入决心发生了怎样的变化,又是什么促成了这种转变?

Misha Laskin:谈论这个转变的促成之前,我想先交代一下两年前创办公司的背景。我和联合创始人 Ioannis 一直在参与第一批 Gemini 模型的研发。我们都在强化学习团队,团队由 Ioannis 负责。当时,我们先后发布了 Gemini 1 和 Gemini 1.5。那个早期阶段的模型,体验跟最初的 ChatGPT 很像,主要就是聊天。基本上没有真正的编程能力,也没有智能体能力,这些模型只是比较擅长聊天。它们主要还是预训练模型,95% 的算力都花在了预训练上。我们则一直做强化学习,这是我们做研究的来时路。我的联合创始人 Ioannis 是 DeepMind 最早的一批创始工程师之一,参与了实验室所有重要的强化学习项目,包括 AlphaGo,并作出了关键贡献。

我们当时的判断是,既然我们在强化学习团队里已经看到,强化学习能够有效地对聊天模型进行对齐,那么就可以把同样的方法应用到数学、编程等领域,让这些系统具备智能体能力。这就是我们最核心的押注。

我们认为,独立实验室也能做成这件事,而且资金使用效率可以高得多,因为当时开源模型已经开始涌现。Mistral 发布了一个小模型,Llama 2 刚刚发布,我们也看到了 Llama 3 即将到来。我想那应该是两年前的事情。

公司成立后的第一年,首先发生的一件事是,无论在我们自己的实验中,还是在整个行业里,强化学习都比我们预想地更快取得了成效。o1 就是在那个时期发布的。我们本来以为还要等更久,因为从 2012 年的 ImageNet,到强化学习系统真正能够在大规模上有效运行,中间大约经历了四年,所以我们以为这次可能也需要差不多的时间。但每一年的实际进展,都比我上一年作出的预测更快。

公司成立大约一年后,我们发现,优秀的开放模型都来自中国,西方并没有真正出色的开放模型。而我们正在研发的技术,需要一个这样的模型作为基础。综合多方面的原因,结合当时的局势,我们决定,最有影响力的事情,就是自己端到端地构建开放模型,把对强化学习的押注与完整的模型研发结合起来。

这其中有企业需求方面的原因,有地缘政治方面的原因,也有研究方面的原因:我们后来发现,如果想让强化学习在大规模上取得非常好的效果,确实需要自己做模型的预训练。这两件事都得做,因为它们之间的联系实在太紧密了。

主持人:传统观点一直认为,要在前沿模型的规模上做预训练,成本高得令人难以承受,至少也是极其昂贵的。显然,现在已经有大量算力转向后训练。当时你们如何考虑所需的资源,以及不同阶段之间的资源分配比例?你们有没有某些模型设计的原则,让你们一开始就觉得这件事可行?还是说,你们只是决定:“这件事必须做,资源我们再去想办法解决”?

Misha Laskin:做开放模型实验室的一大好处,就是这些事情也可以公开谈。要做出有意义的东西,确实需要大量资源,但并不意味着一开始就需要和前沿实验室同等规模的资源。等你真正到了智能发展的最前沿,才需要和其他前沿实验室同等规模的资源。

你可以把研究分成两部分:探索新的想法,以及落实已知有效的想法。优秀人才之所以那么重要,部分原因就在于,他们能减少不必要的探索,让你集中精力执行那些行之有效的方法。如果目标是追赶前沿,那么你完全可以用高得多的资金效率来完成。

主持人:你认为,追上前沿大概需要多少资金?

Misha Laskin:我觉得要看情况,因为前沿一直在向前进步。实际上,每一年所需的资金都在增加。我稍后再回到预训练和后训练之间的资源分配问题。大约一年前,或者 18 个月前,所需资金应该还是几亿美元这个量级。而现在,甚至六个月前,大概就已经到了几十亿美元的量级,还没到一百亿美元。到了明年,我认为会进入一百亿美元的量级。

可以这样理解:模型每迭代一代,算力规模大约就会变成原来的四倍。我有一个粗略的判断方法,就是看当时最先进的芯片。几年前可能是 H100,规模可能是十万块 H100。后来训练 Astra,用的是十万块 Blackwell 进行了一次大规模训练,相比 H100,算力大约又增加到了四倍。我相信下一代大概会用十万块 Vera Rubin。 这样就能大致理解规模的变化:从几亿美元,到几十亿美元,再到几百亿美元。

主持人:不过,这种增长到了某个阶段,似乎一定会逐渐接近上限。因为相对于这些公司的收入规模,甚至潜在收入规模,从最终能够创造的经济价值来看,它们继续投入的能力总会触及极限。所以,你认为模型规模,或者至少训练集群的规模,正在接近这个上限吗?

Misha Laskin:完全是这样。资本开支毕竟有上限。现在前沿实验室已经投入几千亿美元,未来一两年,它们会投入几万亿美元吗?恐怕不太可能。不过,有几件事正在发生,其中一件就是,算力的使用效率正在大幅提高,因为模型本身正在变成帮助构建模型的工具。

当研究完全由人类研究人员完成时,效率每年可能提升七倍左右。这些变化是可以用相当严格的技术方法追踪的。以预训练为例,你先有一个预训练损失,再以此衡量算力效率的提升。做出一些改动后,你得到新的预训练损失曲线,理想情况下,应该能够用更少的算力达到同样的水平。所以,所谓七倍,实际上是一个非常具体、可以研究的指标。放到整个系统来看,预训练可能已经比较成熟,但强化学习还有很大的提升空间。我们现在的效率可能已经到提升至原来的三十倍的阶段,这具体取决于模型在改进自身方面究竟有多强。这是正在发生的一件事。

主持人:每年三十倍,还是在什么时间范围内?

Misha Laskin:每一代模型。要看具体衡量什么指标。但我确实认为,这个速度可能已经是研究人员单独工作时的四倍,甚至更高,而且很可能还会继续加快。

每一次训练浮点运算(FLOP)能够转化出的智能都在增加,因此,即使算力规模到了某个阶段接近上限,也可以接受。另外,每一次浮点运算能够带来的收入也在增加。其中包含的智能越多,就越能创造价值。再回到预训练和强化学习如何分配资源的问题:Beam 总参数量为 5000 亿,激活参数量为 230 亿,训练它用到了 6000 块 GB300。我记得当时跑了几个星期,但现在随着基础设施效率的提高,大约 12 天就可以完成,甚至更短。 强化学习则用了略多于一万块 GB300,持续四周。所以,实际上强化学习消耗的浮点运算量更多。强化学习任务也更复杂,因为既要在大规模上进行大量推理,为智能体配置各种各样的沙箱,同时又要进行训练。

我之所以进入 AI 领域,是因为看到了我的联合创始人在 AlphaGo 上的工作。当时我还是一名物理学家,其中有一刻让我印象特别深:AlphaGo 的一张图表显示,它的能力一直在提升,没有停下来。他们最后在某个节点停止了训练,因为继续提升还有什么意义呢?它已经打败世界冠军了。我当时想,如果能够弄清楚怎样把这套方法用在有经济价值的事情上,那么问题就会变成:你愿意投入多少钱,让这个系统继续变好?那就成了一个经济问题。

现在,整个领域已经走到了这一步。对于这个开源项目,以及我们将随之发布的技术报告,有一点让我特别兴奋:我们会说明这些系统究竟是怎样构建出来的。我们的强化学习系统始终没有停止学习。如果你看那些曲线,会发现它们一直往上走;想要进一步扩大规模,基本上就是算力的问题。也就是说,我们这个领域已经能够构建非常通用、而且能力始终在持续提升的强化学习系统。你当然希望把它们做得高效得多,从已有算力中获取尽可能多的智能。但这也意味着,问题已经从“能不能把这样的系统训练出来”,转向“从哪里获得数据,以及什么事情有经济价值”。给某件事投入多少钱,换取某种程度的改进,最终成了一个经济决策。

主持人:接下来,你们计划重点投入哪些方向进一步提升模型能力?有哪些进展可以分享?

Misha Laskin:有些科学家可能不太愿意接受这个说法,但 AI 发展到今天,虽然仍离不开科学研究,但越来越多的工作已经是在解决工程问题。它当然是一门科学,但是却越来越像一门工程学科。还是拿造火箭来打比方,造火箭有科学的一面,但大多数人会把它看作一项包含一些科学研究的工程工作。现在的感受大致就是如此。

今天扩大规模的几个方向已经相对确定,主要就是预训练、合成数据和强化学习。也许还存在一些我们尚不知道、完全另辟蹊径的方向,也有一些新实验室正在探索,但目前的主线就是这些。 或者从某种意义上,也可以概括成训练和强化学习两个方向。

在这些环节里,架构、数据、算法都还有改进的余地,但它已经不像五年前那样,处于各种方向都可以大胆开拓的阶段。DeepMind 和 Google Brain 曾经非常可贵的一点,包括早期的 OpenAI 也是如此,他们押注的方向非常多元。大家都在尝试一些大胆而有趣的东西。现在,研究方向已经收敛了很多。这其中也有一点“硬件彩票”(hardware lottery)的意味:一旦某种方向开始奏效,硬件也会围绕它协同优化。于是,即使你有很棒的新想法,如果它跟现有硬件不够匹配,实际做起来也未必划算,新方向就更难冒出来。

回到你的问题,改进预训练究竟还能带来多少收益,目前还没有出现趋近上限的迹象。我们没有看到算力效率的提升开始放缓,新的东西还在不断出现。强化学习的提升空间尤其大,我认为其中可能还有大量东西有待发现。不过,即使如此,这些发现给人的感觉也更像是工程上的突破,而不是对一门全新科学作出开创性的理解。

2从“租用智能”到“拥有智能”,开放模型如何做成生意?

主持人:你提到,投入要对应某种经济活动,或者带来一定的生产力提升,这样才能从资金角度支撑你们继续做下去。据我所知,Anthropic 很早就押注了编程,OpenAI 显然也是如此。他们最初有一个编程模型,与 GitHub Copilot 合作,后来又扩展到了消费者市场和其他领域。从创造经济价值的角度来看,你们有没有特别关注的应用方向?是编程和智能体工作流,还是其他领域?这些似乎是很多应用的基础。我很好奇,你们是否已经有一些判断:模型会在哪些地方用得最多,或者最需要把它引向哪些方向?

Misha Laskin:是的。我认为,编程和智能体相关能力为智能打下了某种基础,而这种智能最终呈现出的状态很有意思:它的能力分布并不均匀。一方面,它以一种出人意料的方式发生了泛化。让我惊讶的是,我们的模型竟然这么快就达到了某些相当新的能力水平,而其他实验室也是不久前才发现这些能力的。这其中确实发生了某种能力的衔接与泛化。另一方面,它的表现又有明显的参差不齐之处。一旦你有了适合目标任务的数据,模型就能很快适应;但即使在不同的评测基准之间,比如 Terminal-Bench 的不同版本之间,这种参差也依然存在。不同运行框架(harness)之间,并不会自然出现顺畅的泛化。不过,只要系统已经能够工作,具备了通用的智能体能力,再拿到适配新框架的数据,它实际上就会很快开始适应。

这意味着,你已经有一个适应能力相当强的系统,接下来要解决的是:具有经济价值的数据资源在哪里?我认为,这也是开放模型强大的原因之一。企业和客户可以拿到模型,针对自己的业务进行定制,从而为特定工作负载找到近似帕累托最优的方案,也就是以尽可能低的成本,获得尽可能高的性能。这是一个需要通过实践来回答的问题:你走到客户那里,真正看看什么对他们有价值,再判断能否为此生成数据。通常,只要一件事具有经济价值,就能够生成相应的数据,因为你甚至不一定需要直接用客户的数据训练。更多时候,你是在建立评估方法;如果能为客户的任务设计出好的评估,就能生成与之相近的合成数据,并获得很好的泛化效果。

具体来说,金融领域的各种“了解你的客户”(KYC)流程和合规流程就很有价值。网络安全领域的许多工作,尤其是网络防御,也相当有价值,法律领域同样如此。企业内部有各种值得用智能体来做的垂直业务,而且,要在这些领域把东西做成,方法模式往往非常相似。

主持人:Beam 有一点非常突出,就是模型的推理效率。关于这点能否再介绍一下?

Misha Laskin:Beam 是围绕编程和智能体任务训练的模型,这也是它的强项。构建模型时,重要的不只是能力,还有智能体完成一件事的速度。对客户来说,这意味着任务耗时更短,成本更低。

如果你用 AI 聊天工具提问,却要等十分钟才能得到答案,你自然会希望它一分钟就能答完。Beam 的效率通常是同等能力模型的三到四倍;与市面上更大的模型相比,效率优势更明显,可能达到十倍左右。它之所以这么高效,是因为我们首先高度重视通过预训练为推理能力打下扎实基础,再用大规模强化学习进一步增强这种能力。我们认为,这可能是开源领域迄今最大规模的强化学习训练。至少我还没有看到过公开记录显示有人曾用一万块 GB300 连续跑四周强化学习。

强化学习的目标是让系统用尽可能少的时间发挥出尽可能强的能力。以前的 AlphaGo 等系统也经历过同样的过程。最初的 AlphaGo 在解决问题时,路径还比较曲折,等达到与李世石对弈的水平时,它的搜索已经非常聪明。这才是真正支撑其能力的东西。强化学习做得越多,系统能力越强,解决问题的速度也越快。

主持人:很棒,这听起来非常务实。

Misha Laskin:我想,这种直觉来自我们对强化学习的信念。我们始终相信,通向通用人工智能(AGI)的路径,是在非常强的基础之上进行强化学习。人们容易忘记,最早的 AlphaGo 系统也用人类业余高手的棋谱训练过,所以先做了模仿学习,再做强化学习。 因此,这两件事需要相互配合。它带来的一个好处是,你能得到一个真正有经济价值、推理效率很高的模型,成为企业以及公共部门主权 AI 项目非常实用的主力模型。

主持人:从变现角度看,开源模型和开放权重模型都有不同的商业化方式,Mistral 等公司很早就在探索不同路径。你们是否已经在朝某个具体方向推进,有没有可以分享的?

Misha Laskin:我认为,开放模型与闭源模型的商业化,在某种意义上其实很相似。你真正想做的,都是尽可能扩大推理业务。两者的区别基本上在于你是在租用推理能力,还是拥有推理能力。

举个例子,当你购买一个词元(Token)时,实际上是在租用整套技术栈中的一小部分。这里包括运行框架——如果其中有智能体运行框架的话——还包括模型、推理软件、集群管理软件,以及运行它们的 GPU 等等。所有这些成本都被摊进一个词元里,你租到的就是这一整套东西的一小部分。而当你出于各种原因,希望拥有自己的智能时,我会把它比作住房:我们通常一开始租公寓,随着人生阶段的变化,出于各种原因会想买一套自己的房子,尽管拥有房子有时也挺让人头疼。但当你的经济条件足够成熟,有了家庭等等,你就会希望拥有它。AI 在商业市场已经发展到了一个阶段:企业花很多钱租用智能,然后又出于控制权等方面的考虑,开始希望拥有自己的智能。

回到变现问题,闭源模型和开放模型究竟有什么区别?开放模型的使用许可比较宽松,但客户要真正把它用起来,还需要模型周围的其他所有配套。使用闭源模型时,集群管理软件、推理软件、运行框架等配套通常已经由服务商提供;部署开放模型,同样离不开这些支持。我们为大型企业和主权 AI 客户提供所需的整套工具,帮助他们把开放模型部署起来。但光有工具还不够,大多数企业还需要有人协助落地。因此,我们会深入客户的业务现场,帮他们实现真正有价值的应用场景。而这些场景会带来更多算力和推理需求。这也是我们提供服务的商业逻辑:帮助客户用好开放模型,进而带动推理业务增长

主持人:如果放眼未来一两年,你认为开放模型和闭源模型各自处理的 Token,大概会是什么比例?

Misha Laskin:我觉得现在已经能看到趋势了。大约六个月前,在 OpenRouter、Vercel 这样的模型网关平台上,闭源模型占多数,开放模型占少数。而现在,比例几乎正好翻了过来:从闭源与开放七三开,变成开放与闭源七三开。我认为这个趋势只会加速。我猜,未来的格局可能会与操作系统相当接近:全球超过 95% 的服务器和计算机运行在 Linux 这样的开源操作系统上。这不意味着闭源产品没有很高的价值,微软和苹果都是极有价值的公司,开放与闭源各有发展空间,整个市场也足够大。

我认为,大多数 Token 需求会流向开放模型。这里有一个很大的区别:我认为,大量经济价值也会流向开放模型,因为即便模型的使用许可非常宽松,或者带有某种许可约束,运行它所需的其他东西仍然很昂贵。算力依然很贵,这和 CPU 的世界不同。GPU 等硬件加速器,是比 CPU 更昂贵的计算基础,因此需要围绕它们建立一种不同的云。我预期,大多数 Token 会流向开源模型,同时市场上仍会存在极有价值的闭源模型公司,也会有一个很有价值的生态,由开放模型公司及其周围的各类分发商构成。

主持人:你了解开放模型处理的 Token 中,有多大比例来自经过强化学习训练的模型,有多少来自没有做过这种训练的模型,或者说基础模型吗?

Misha Laskin:我想,现在每一个公开的开放模型,都在某种程度上做过强化学习。

主持人:对,我指的是针对某个具体用例或应用做的训练。 也就是定制模型,现在通常是这样叫的。

Misha Laskin:根据我听到的情况,也就是一些专门为开放模型提供推理服务的厂商引用的统计,绝大多数其实都是定制模型,占比超过 90%。

不过,这里有一个需要注意的前提:今天专用推理服务的最大客户是 AI 原生公司,也可能包括数字原生公司。它们的整个产品,就是对某个开放模型进行的一次大型定制,比如 Cursor、Cognition、Bridge 或 Harvey。这类公司的产品是围绕大规模定制的模型构建的。所以,这个比例并不奇怪:如果推理服务主要面向这类客户,那么它所运行的模型大多经过微调,也就不难理解了。

不过,对于企业市场未来会发生什么,我的看法有所不同。我认为,企业消耗的大多数 Token 将来自定制系统,而不是定制模型。也就是说,你可以先不微调模型,而是基于开放模型搭建一套适合自身业务的系统,比如通过智能体运行框架,让模型用于客户身份核验(KYC)等业务流程。等积累了足够的技术和应用经验,再考虑微调。

所以,我认为企业市场里的比例情况可能反过来。AI 原生公司走过的路径,是先用闭源模型,再转向开放模型,然后进行定制,它们走得非常快。它们从一开始就构建了能收集数据的原生产品。企业则大多是在既有产品和既有工具的基础上设计这套系统,要直接一步到位做微调,中间有很多阻力。因此,我猜企业里的情况会有些不同。

主持人:那你认为,它们还是会先从最先进的模型,或者闭源模型开始,再迁移过去吗?运行框架会成为它们定制开放模型的方式吗?

Misha Laskin:我们观察到的确实如此。企业开始考虑开放模型时,通常已经在闭源模型上运行了一定规模的工作负载,而现在和我们接触的大多数企业都在考虑开放模型。我基本没见过有人直接冲到“拥有智能”这个阶段。要成为拥有者,通常得先经过租用的阶段。

主持人:它得先在企业支出中占据足够大的比例,然后你才会想:“怎样降低成本?这件事足够有价值,我要把它保留下来。”于是再进行切换。

Misha Laskin:是的。比如,你每年花在闭源模型上的钱超过一亿美元,就会开始考虑:“也许我应该找到一种更优的做法。”

我认为,现在本地部署基础设施重新兴起,是一个很有意思的现象,部分原因是算力短缺。如果你是一家企业,从自己喜欢的超大规模云服务商那里购买服务,经常会发现算力根本不够,也很难拿到合适的价格。但你已经花了这么多钱,于是可能去找戴尔这样的基础设施厂商,说:“我就是想把裸机基础设施搭起来,然后给企业内部提供服务。”接下来怎么办?从裸机到真正做成应用,中间这一层由谁来帮助它们?

主持人:而你们认为,这就是自己在开放模型世界中的角色?

Misha Laskin:是的。 我们认为自己的角色,就是帮助企业构建能够成功落地的解决方案,因此我们非常以解决方案为导向。AI 原生公司之所以能够采用开放模型,是因为它们能自己构建解决方案;企业只是在这方面需要更多帮助。真正要做的是走进去,评估最有价值、最值得做的事情是什么。许多企业可能已经基于闭源模型构建了一个覆盖数亿客户的智能体,迫切希望进一步扩大规模,扩展的倍数可能非常高。你很难走进去,只说一句:“我们来给你提供推理服务。”这种做法过去并不奏效。

主持人:闭源模型生态竞争非常激烈。现在看来,开放模型生态也越来越像是如此。你同意这个判断吗?

Misha Laskin:我同意。

主持人:整个领域都竞争激烈,大市场通常如此。那么,从你们自身以及长期定位来看,你认为最重要的竞争维度是什么?

Misha Laskin:对于一家公司最终如何胜出,我有一个很简单的公式。归根结底,要看你能创造多少可持续的收入,而这个公式是:你能够提供的智能密度,乘以你拥有的算力,再乘以那些愿意与你合作的组织对你的信任。说到底,就是你究竟有多善于解决它们的问题。

这个市场有一个很有意思的地方:算力稀缺,所以很多以前不会构成限制的东西,现在成了限制因素。这也许只是暂时的,但我认为在相当一段时间里,都不能把它当成短期现象。现在,即使几家公司的产品差别不大,但如果手里有足够的算力能满足客户需求,就能做成生意。我认为,整个技术栈的每一层都在竞争。有人会讨论这一层会商品化、另一层会商品化,但现实是,所有东西都在商品化。整个技术栈的竞争都极其激烈,因此各层都会趋向标准化、可替代,模型的利润空间也会被压缩。

开放模型和闭源模型之间的竞争,确实会压缩利润空间;应用层的利润会被压缩,推理层和裸机基础设施也是如此。

主持人:我们看到,很多 AI 原生公司在谈闭源模型合作时,议价态度非常强硬,原因就是开放生态的存在。所以,这确实是明确发生的事情。

Misha Laskin:是的。对于任何一家公司,你都可以从三个方面理解:向客户提供多高的智能密度,拥有多少算力,以及获得客户多少信任,而这种信任来自它们能够为客户提供成功的解决方案。如果关键就是这三个因素,那么,只要有优秀的开放模型,也就是只要高智能密度的能力能够被广泛获取,就应该会有许多成功的公司。接下来要看的,就是每家公司能组织起多少算力。

现在我们确实处于这样一个世界:如果你非常擅长构建智能,就像那些闭源模型公司已经经历的那样,收入会迅速增长,你也就能比其他人获得更多算力,进而占据战略上的有利位置。我认为,这就是胜出所需的条件:提供优秀的智能,拥有大量算力,并拥有信任你的客户。

3中国开放模型惠及全球,美国仍需追赶

主持人:你怎么看这个问题?回到我们一开始提到的两年前,当时很多开放权重模型或开源模型都来自西方。Mistral 在欧洲开发,Meta 则显然同时有欧洲和美国的背景。过去一两年,我们真正看到了中国开放权重模型的崛起。对于其中一些模型,有一种看法认为,它们大量蒸馏了最先进模型的能力,这也是它们进步如此迅速的原因之一。现在,一些实验室,或者说大型闭源实验室,正在尝试推出工具尽可能阻止这种蒸馏,至少让蒸馏变得更困难。你认为,未来一两年,中国的开源模型或开放权重模型会怎样发展?会维持现在的状态,还是会发生变化?接下来会怎样?

Misha Laskin:首先,我认为,中国出现了这样一个优秀的开放模型生态,对全世界其实是一件非常有益的事。西方有很多公司正是因此才能建立起更有持续性的业务。从这个角度上看,这是一件非常积极的事,也可以说是一份礼物。试想:如果它没有发生,世界上可能就没有开放模型。那样会出现某种“枪打出头鸟”的现象:如果你是一家应用开发商,做出了很好的产品,它就可能被闭源模型供应商纳入自己的业务,因为对方毕竟也是一家企业,需要创造收入。所以,我对此持积极看法。

不过,我们也不希望任何一个领域形成单极对吧?比如,各种资源和算力都集中极少数几家实验室手里。如果有十家、二十家闭源实验室,还可以说拥有的是一个竞争性的生态;但如果只有一两家,就有点令人担忧。同样,当大家希望拥有自己的智能、在其上构建产品时,你也不会希望这个智能来源只来自一个国家。理想情况下,应该有十个、二十个国家,但资本开支实在太高,所以至少能有两个,就已经很好了。因此,我认为,西方有一个能够与中国竞争的生态非常重要。这并不真正是“西方对中国”的问题。假如所有优秀开放模型都来自另一个国家,而不是中国,你大概也会希望存在一些竞争压力。竞争本身是好事。

我认为,中国的模型会继续保持优秀。它们有一些优势,也面临一些挑战。优势之一是,它们能够借助开源生态提升模型能力;同时,它们在数据获取方面也有自己的积累。此外,这些公司的发展也受益于产业配套的支持。早期阶段,它们的商业化收入有限,但这种情况正在改变。如今,这些公司正在逐步建立可持续的商业业务。它们的模型在海外市场多以开放权重形式发布,在国内市场则更接近商业化闭源服务模式。总体来看,中国模型生态正在形成真实的商业循环,我认为它们仍将持续推出有竞争力的模型。

主持人:但你认为,它们未来会继续保持开放吗?换句话说,既然现在已经有了经济上的驱动力和商业模式,为什么还要这么做?你认为,它们继续向西方开放模型的动机是什么?

Misha Laskin:这是一个很有意思的问题。从根本上说,出于多方面的原因,企业、公共部门和主权客户对西方开放模型有很大的需求。不过,也存在监管方面的顾虑,或者更准确地说,不确定性。而且,客户需要的不只是模型,还需要一个能帮助他们运行和提供模型服务的合作伙伴。

我们接触的客户大多是《财富》500 强企业。今天,开放模型在这些企业里的使用比例其实还很低,因为它们出于各种原因,对中国模型有所抵触或顾虑,其中一些原因是理性的,一些则未必。因此,构建这样的模型显然很重要。如果能建立一种可持续的商业模式,一方面赢得企业的信任,让它们愿意与你这个模型开发者合作;另一方面让你有能力获得所需的算力,那么,围绕开放模型开展业务就有了持续的动力

主持人:我完全同意。一个来自西方的开放权重模型,能够提供增值服务,并随着时间推移提供推理或其他服务,是非常有价值的。我也知道,这是你们正在走的方向。我只是有点好奇,对中国模型公司来说,继续保持模型开放的激励机制是什么?

Misha Laskin:我的猜想是,中国在某种程度上是一个客户相对受限的市场,所以你可以一边构建开放模型,一边仍然在这个市场里赚很多钱。有一个现象很有意思:在西方,有很多优秀公司自己不研发开放模型,基于已有的开放模型,为企业提供部署和推理服务。我不太清楚中国是否也同样普遍地存在这种模式,按理说应该有。所以这里很有意思,开放模型供应商在那个国家里,似乎也就是智能服务的供应商。 另外,我认为,持续发布优秀开放模型,在地缘政治上对中国非常有利,原因有很多。其中一点是,作为一个国家,你希望其他国家在你的技术之上构建自己的东西。这对美国、中国,以及任何有这种能力的国家都成立。过去,中美在 5G、光纤铺设和“一带一路”倡议等方面,都出现过升级的竞争或紧张关系。归根结底,当你进入另一个国家,提供一种价格低廉的东西,那个国家随后就会被锁定在你的基础设施上。这会给提供方国家带来商业和地缘政治上的优势。

主持人:所以,我觉得它有点像稀土矿产之类的东西。你掌握了一种别人会用于各种用途的关键组成部分,因此也就获得了地缘政治上的影响力。

Misha Laskin:是的。我的一种理解是,开放模型就像把配套基础设施带进去的“特洛伊木马”。你拥有一个开放模型,但光有模型本身,用处还不大。于是,你会逐步采用某个国家的整套软件生态和基础设施生态。比如,今天某个美国盟国可能会在美国芯片上运行中国模型;但很快——而且我们已经看到了——华为这样的中国公司会进入这个市场,提供全栈解决方案,然后与那个国家的供应链深度绑定。所以,如果我们把 AI,或者芯片和数据中心,看成铁路那样的东西,它们就是基础性设施。但其他国家无法真正自行建设这样的“铁路”,都必须来找你,或者找另一个国家。作为供应方,你会拥有很强的地缘政治影响力。

主持人:比如,某个特定模型在某种芯片上进行推理,性能会更好,而这种芯片恰好由华为之类的公司提供,是这样吗?

Misha Laskin:对。这些技术栈正在实时进行端到端优化,因为从某种意义上说,范式已经确立了。未来可能还会有其他扩大智能规模的方法,但这是第一条已经明确实现大规模扩展的路径,所以现在整个技术栈都在围绕它优化。中国目前的劣势在于芯片性能还不够强,但它有能源方面的优势,而且它的公司非常优秀,在芯片方面也正在追赶。

主持人:而模型肯定会加速这个过程,对吧?比如用模型设计下一代芯片之类的。

Misha Laskin:是的,当然。此外,这里面还有一种具体针对美国的地缘政治竞争:美国公司和初创企业建立在外国技术之上,而世界其他地方也都建立在你的技术之上,这件事本身就很有意义。

顺便说一句,美国过去在其他所有重要技术上,其实一直是这样做的,比如互联网、开放协议和开源。世界基本上都在使用美国的货币,美元是被广泛确立的全球货币。自由贸易能够运作,是因为我们有一支遍布世界的海军。所以,这长期以来其实就是美国的做法。有意思的是,在这件事上,我觉得美国在开源方面反而落后了。不过,我们得说清楚:中国的竞争者确实非常、非常优秀,而美国的这个生态才刚刚开始形成。因此,仍然有一些差距需要追赶。

4闭源不一定会更安全

主持人:闭源实验室对开放模型最大的批评,通常围绕安全性和可控性。你在这方面的观点是什么?这种担忧有合理性吗?

Misha Laskin:有,这当然是合理的担忧。不过,我确实觉得,当前确立起来的那套安全观,是从某一种特定立场、某一种特定视角出发的,而且已经近乎教条。如果我们先不考虑 AI 是闭源还是开放,而是从第一性原理出发,并且能够提前知道这项技术会具备这些能力,那么在考虑安全时,你究竟会怎样从零开始设计它?

可以类比的一样东西是软件。你可以把 AI 看成软件更高级的版本,两者实际上有很多相似之处,它是一种数字化的通用工具。顺便说一句,过去也有过关于软件是否危险的争论,尤其是 20 世纪 90 年代初围绕强加密协议的争论。当时这些协议实际上是封闭的,美国国家安全局与公民自由倡导者之间,一直在争论应该将其封闭还是开放。最终,封闭一侧发生了一些灾难性的失败:少数工程师设计的系统,产生了他们无法预见的意外后果,而且很容易遭到入侵。之后,强加密协议才走向开放,这实际上催生了整个网络安全领域。所以,世界运作的默认逻辑是,开放带来安全。如果我们把 AI 看成技术发展的延续,那么这本应是我们进入 AI 时代时的默认出发点。

模型确实与软件有很多相似之处,但问题会更严重。漏洞的长尾更长,而且模型是一个黑箱,比软件更难理解,漏洞以及由此带来的意外后果也更多。按照 Linux 创始人的“Linus 定律”,只要有足够多的人审视,所有缺陷都容易被发现和解决。我相信,只要有足够多的人参与审视,大多数信息安全和 AI 安全漏洞也会变得容易解决。

今天的现实是,真正了解这些系统如何运作的,是封闭实验室里的几百名安全研究人员。即使他们怀着最好的初衷,也不可能覆盖这些系统所有长尾的漏洞或意外后果。这一点已经表现出来了:如果看已经发生的重大网络安全事件,就会发现,一个非常强大的闭源模型产生了意外后果,入侵了另一家公司。而那家公司唯一能够采取的补救办法,是用开放模型保护自己。这就是我们所处世界里已经发生的事实。

主持人:顺便问一句,你说的“安全”具体指什么?我感觉,人们经常把不同的安全概念混为一谈,而不同人说的安全,可能是三四种不同的事情。一种是网络攻击方面的安全,比如利用 AI 入侵系统或做其他事情;一种是生物武器或恐怖主义方面的安全,我认为这类风险在短期内往往被夸大了;还有一种是 AI 对人类构成生存威胁的问题。人们常把这些问题混为一谈,但其实可以分开讨论。所以,你说安全的时候,是在同时回应这三类问题吗?顺便说,我并不一定认同这些风险都会在任何现实可预期的时间里发生。我只是想了解,你怎么看开放以及这些方法所能带来的益处,究竟覆盖了哪些问题。

Misha Laskin:我觉得,AI 安全风险可以放在一条连续光谱上看,从现实中已经出现的问题,到理论上可能发生的问题。我承认,AI 的发展有时确实有点像科幻故事:去年还完全停留在理论上的事情,今年就成了现实,比如这些模型在网络攻击方面的能力。所以,我们不能轻视理论上的风险,但也要分清楚,哪些问题已经实际发生,哪些问题我们有相当把握会在未来六个月内出现。

主持人:对。比如,以前类似的担忧,是第一次引爆核武器时,大气层会不会被点燃。这是一种理论上的恐惧,最后并没有发生,但物理学界的一小部分研究人员确实围绕它反复讨论过。我还记得,人们谈纳米技术时,常常会说到“灰蛊”(gray goo):你不小心释放了一个纳米机器人,然后它突然把整个世界都吞噬了。20 世纪 90 年代,大家就讨论过这种事。当时实验室里的人还在研究微流控以及类似的东西。

Misha Laskin:AI 的难点在于,它实在太受关注,已经渗透进日常文化,又很容易被拟人化。从公众认知来看,人们对各种安全问题的关注,甚至不是均匀分布的,而是明显集中在末日情景上。实际上,关注的高峰应该落在那些可以着手处理的现实问题上,再逐渐向理论性更强的情景递减。公司领导者如果说“从理论上讲,我们所有人有 10% 的概率会死”,并不会对讨论有帮助,无论从哪个角度都没有帮助。所以,作为科学家,我还是倾向于用分布来思考问题,把重点放在现实上。再往前看六个月,随着系统越来越强,我当然会担心它们的行为偏离预期,带来意想不到的后果。

但我们必须从一个角度出发:这些是通过工程设计构建出来的工具。我认为,有一类公司或研究人员会谈论模型的意识、情感等问题,也许他们说的是真的,但这些东西本身就很难定义,以至于我们并不清楚它们具体是什么。所以,我把它们看成智能工具,并以现实为中心来判断风险。我认为,理论上的末日情景可以作为晚餐时的谈资,但如果说到对齐——它是安全问题很大的一部分——真正的问题是,怎样让这些系统按照预期行事?现实是,迄今为止,对齐研究的实际进展相当平淡,远没有那些宏大设想听起来那么激动人心。不存在什么神奇的对齐方程,它更像是打地鼠,发现一个问题,就解决一个问题。

如果你还记得 ChatGPT 之前的早期模型,有些模型只做过预训练,发布后会输出有害内容。 当时就有一种说法:“这些模型会输出有害内容,没法解决,因为它们产生有害内容的方式太多了。” 但后来发现,只要有足够多的后训练数据,就可以把这些问题逐一修补,而且这种修补还会产生泛化效果,最后让模型变得相当难以突破安全边界。现在,你看到的也是同样的事情。现实中的这些对齐工作,很可能仍然会是平凡而枯燥的:发现一批漏洞,再用相应的数据和算法逐一修补。

而你说的那些用于检测问题的算法,通常也就是让一个语言模型来检测这些问题。所以,一边是理论上的对齐、安全和哲学问题,另一边则是平凡的现实:你只是在修补各种缺陷。那么问题就变成了,难道不应该让十万名研究人员和计算机科学家一起来发现、修补这些缺陷吗?那样难道不会更安全吗?

主持人:我觉得,这里有一个重要的理念分歧。听起来你站在其中一边,不过我还是想让你明确说出来。即使这些只是非常智能的工具,即使你认为我们能够以整个生态的力量管理它们产生的意外后果,仍然会有人说:我们不希望个人和企业拥有如此强大的工具。

Misha Laskin:这种说法的出发点就是:我们可以拥有强大的工具,但是——

主持人:其他人不行,因为我们实际上更优秀,出发点是这个对吧?我们更善于管理这些工具。公平地说,当然我只是转述,并不代表我认同这个观点:他们担心的是,任何个人或公司掌握这些工具后,都可能造成严重后果,但又认为自己可以拥有它们。

Misha Laskin:这也涉及类似武器那样不同能力层级的问题。美国政府也会向其他国家出售战斗机。不过,通常而言,要拿到一个模型,尤其是一个已经接受过安全训练的开放模型,再投入算力、工作和精力,把它变得非常危险,并不是那么容易。

我不是说不可能。但再想想网络安全,非常聪明的黑客确实能够造成严重破坏,而且他们已经这样做过。与此同时,我们也有一个防御力量通常能够压过攻击力量的生态。如果我们再次把它作为默认出发点——人们就是这样保护软件的,互联网里既有善意参与者,也有恶意参与者——那么最终,互联网就像一个拥有大量白细胞的生态。让更多人具备防御能力,实际上有助于抵御攻击能力。确实如此。看看已经发生的现实情况,就会发现网络防御和网络攻击很难分开。因此,当你移除网络攻击能力时,也会一并移除网络防御能力,结果就是,那些本来愿意参与防御的人,也失去了防御的能力。

最近一些事情就让我们看到了这一点,比如 OpenAI 与 Hugging Face 的那起事件,他们最后转而使用开源模型。

主持人:因为现有前沿实验室给模型设置了防护限制,导致他们无法使用那些模型,就是施加在模型上的那些限制。

Misha Laskin:是的。我觉得,这些论证往往会走向非常绝对的立场,仿佛是在说:这些东西太强大了,除了我们,永远不应该让任何人使用。但现实从来不是这样。除了极少数确实没有多少正面用途的特殊例外,很难想到这种绝对化的观点曾在哪些情况下真正奏效。

5科学发现加速之后,研究人员的工作将如何变化

主持人:如果把目光投向未来两到五年的 AI 世界,你最期待什么?现在确实很难预测,但沿着技术发展和应用普及的轨迹向前看,你认为会有哪些值得期待的积极变化?

Misha Laskin:会有很多积极的事情发生,而且它们已经在发生了。比如,我个人对科学进步非常兴奋。我们移居美国之后,我开始接触科学,后来又对物理学着迷,从那时起,科学就成了我一生的追求。过去几年,我一直用同一个问题来测试语言模型:把我的博士论文交给它。当然,找到一个适合博士论文研究的问题,本身就占了很大一部分工作。但真正执行那些例行的计算和研究,同样要花很长时间。总体而言,从找到正确的问题,到完成解答,我的博士研究花了好几年。

过去几年,我反复把与自己论文有关的这个提示交给语言模型。两年前,它还只是会聊天,什么也做不了。一年前,它开始能够给出本科生水平的回答,如果我本科时遇到这道作业题,大概也会这样作答。六个月前,它已经能以真正的博士水平解决这个问题,而且答案是正确的。 现在我再试,它甚至会给出一些我当年没有考虑过、很有意思的新信息。只要你问对了问题,就可以把它输入聊天框,让它完成全部计算,并给你一些真正有意思的结果。

主持人:这太令人兴奋了。

Misha Laskin:对。这意味着,迭代速度已经改变了。为什么还需要好几年?一个要花好几年才能完成的博士研究,意义在哪里?你现在一周就能完成博士研究了。

主持人:有点像 OpenAI 最近的新闻,我想就是过去一两天的事:过去几周,OpenAI 证明了各种数学定理。现在发生的事情,确实有点不可思议。

Misha Laskin:是的,这给科学带来的变化绝对令人惊叹。我尤其期待,这些进展不仅能推动在“一块黑板”上开展研究的理论科学,也能惠及需要在现实世界中进行实验的生命科学、材料科学和化学等领域。

我认为,有很多地方可以让 AI 与真实实验对接,建立专有数据的反馈循环。它会慢一些,比在黑板上推演的问题慢得多,但仍然会比过去快得惊人。我也认为,我们一直在低估,这对软件工程已经造成了多么巨大的改变,以及如今我们能多做出多少东西。在很多方面,AI 已经是一种非常了不起、非常积极的工具,甚至对蓝领工作也是如此。几周前,我参观了 Stargate,最让我印象深刻的,是停车场里的汽车数量。那里有非常多的人在工作。这些数据中心项目创造了数以万计的高薪工作。在我看来,现在的数据中心,有点像过去的工厂。

20 世纪有铁路和工厂。也许一座制鞋厂,就能让一座小镇形成充满活力的经济。至少,当我去现场看这些正在建设的项目时,发现人们虽然对数据中心有所担心,但真正到现场就会看到,它们确实为当地社区创造了很多就业机会,也带来了大量税收。当然,有些事情需要非常妥善地处理。它们会产生噪声,所以需要做好隔音,或者把它们建在远离住宅区的地方。但有一点是确定的:对地方经济来说,这些设施能创造就业、带来税收;单就创造工作机会而言,真的很像过去的工厂。

主持人:从现在往后,你们如何安排科学研究和实验工作?假设你们也在用模型本身来改进训练工作,那么,在这个过程中,今天的研究团队扮演什么角色?

Misha Laskin:我们的研究安排,有很大一部分由我的联合创始人 Ioannis 负责,他负责研究、技术以及其他一些事务。现在有很多我们已经知道有效的东西,还没来得及放进去,纯粹是时间安排的问题。我们在七月份拿到 SpaceX 的集群后,用它训练最终模型,先进行了几周预训练,之后在我们这边做了几周合成数据相关的工作,然后就发布了。还有很多让我们很兴奋的东西,没有赶上这次发布。

在研究安排上,需要在两类事情之间取舍:一类是把已经知道有效的东西谨慎地落实好,或者做风险相对较低的尝试;另一类是去押注风险更高的方向。你应该先把那些已经知道有效、而且影响很大的事情尽量做完,然后再逐步扩大可以承担的风险范围。具体做法是,通过小规模实验研究规模扩展,再判断风险。有意思的是,有些现象不到大规模根本不会出现。所以,是继续投入更多算力、看看下一步会发生什么,还是转去尝试下一个想法,这个决定既有科学的一面,也有经验和判断的一面。

至于让模型参与研究循环,我觉得它确实给研究人员带来了很大的帮助。过去一个人需要花很长时间才能完成的工作,现在可以更快地完成。不过,这些模型的能力仍然参差不齐,因此需要判断,哪些工作适合让模型形成持续反馈、反复迭代的闭环,哪些环节仍然离不开人类的创造力。好在经过一段时间的使用,研究人员就能逐渐摸清模型的能力边界,知道哪些任务可以交给它自主尝试、不断改进,哪些仍然需要自己参与。这种判断并不难形成,一旦找到适合模型自主迭代的任务,就可以放心让它持续运行。

尤其是在超参数搜索,以及一些更细碎的基础设施任务上,它们都能帮上忙。我确实觉得,这些工具非常令人兴奋,因为它们能让科学家更充分地发挥自己的直觉。这有点像拥有一个动作非常快、干劲十足,而且确实愿意听你意见的同事,前提是它得到了正确的对齐。

所以,在我看来,研究人员只是获得了更多能力,能比过去快得多地推进工作。这也解释了,为什么以前完全靠人工时,每年的改进速度大约是七倍,而现在可以在这个基础上再快几倍,比如四到五倍。对于研究人员来说,拥有这样的工具确实令人兴奋。当然,也就产生了一个问题:到了什么时候,研究循环里不再需要研究人员?

主持人:我正想问,如果今天需要一百个人,明年完成同样的工作,是不是只要二十个人?

Misha Laskin:如果是同样的工作,是的。但我认为,你能做的事情的目标会不断扩大。所以,我们一直觉得人手不足,而不是人太多。你仍然要考虑人员与算力的比例,也不是说人手可以无限增加。我不认为三千名研究人员会有多大帮助,但几百名研究人员会非常、非常有帮助。

主持人:对。我听到过一种论点:考虑到每个人需要分配到多少算力,尤其像你说的,如果还想随着时间推移,扩大某些实验的规模,再加上不同人的贡献往往存在一定的分布差异,最后可能会得到这样的结果。换句话说,在任何领域,从想法贡献来看,往往都是少数几个人贡献最大,对吧?物理学、生物学,什么领域都一样。于是,最后就会倾向于把每一份新增算力,都分给生产力最高的那一小部分人。因此,随着时间推移,研究人员数量可能会保持不变,甚至减少。如果把这个论点推到极端,最终大概就是这样。

主持人:我不是说它一定正确,只是说我听到过这种观点。

Misha Laskin:这个论点确实有道理。事实上,这些项目从来就不需要多得离谱的研究人员。像 AlphaGo 这样的项目,当时可能也就是十个人左右。现在,像我们这样的较大项目,可能是一百人,或者几百人这个量级。所以,从来都不是说,你需要特别庞大的人数。至于最后会不会重新缩回十个人,很难说。我估计,可能会在一百人左右形成某种稳定状态,因为要做的事情实在很多。另外,在应用研究方面也会创造很多工作机会,也就是把这些东西真正拿去解决现实问题。

主持人:我觉得,人们讨论工程和研究时,经常忽略这一点:这些岗位会扩散到社会中更广泛的领域,而不只是用来构建语言模型。就像你说的,还有很多其他类型的模型需要构建,也有很多闭环系统需要构建。即使谈到工程师,以及他们可能被替代的问题,目前的证据似乎也是,许多公司需要更多工程师,而不是更少。同时,具备一定水平的工程师也会走向更多组织,真正部署这些技术,而那些组织过去根本无法获得这样的人才,至少相对而言,它们无法获得这种水平的人才,更别说获得大量的人才。所以,我确实觉得,人们思考经济问题时,经常漏掉这一点。他们把目光集中在少数几家大型科技公司,而不是问:“整个经济的国内生产总值(GDP)是多少?当越来越多的人把这项技术带到各个地方,它又会怎样发生变化?”

Misha Laskin:我认为你说得对。这些年来,完成这类项目所需的研究人员数量,并没有发生特别大的变化。一直都是:一个大项目,大约一百人。我不觉得一个大型项目需要几千人。但如果面向不同的产品形态,可能就需要不少人。有意思的是,如果你仔细看,为什么甚至需要几百个人,会发现很大一部分原因,是你要有不同团队,为不同任务做评估、收集不同数据。这些模型具备某种能力,并不是偶然发生的。会有五到十人的小组,专门去攻克某一项能力;仅仅编程这个领域,就有五到十项不同能力。这些工作是为了让模型具备通用能力。

但当你想把模型拿去解决现实世界的问题时,基本上每一项现实能力都需要一个小组来做,而每家企业又都有许许多多这样的需求。因此,我认为,这将创造一种新的前线部署工程师(forward-deployed engineer)岗位。这种工程师更偏向科学方法和评估,对模型及其运行框架有一定的直觉——这其实就是评估研究人员在做的事情,对吧?他们需要的技能,实际上和构建核心模型的研究人员一样,只是被部署到了真实问题上。这样的人,有多少我们就需要多少。真正的缺口更多在培训:你需要把工程师培养成擅长做这些事情的人。今天,只要有这样的人,我们愿意尽可能多地招进来。

主持人:Misha,祝贺你们做出了第一个跻身前沿水平的西方模型。这对整个生态来说,确实是向前迈出的一大步。 谢谢你来参加我们的节目。

Misha Laskin:谢谢。

访谈视频链接:

https://www.youtube.com/watch?v=up4sG9RM20M&t=255s

声明:本文为 InfoQ 编译,不代表平台观点,也不构成投资建议,未经许可禁止转载。

会议推荐

QCon 全球软件开发大会·2026(上海站)将于 10 月 22 日—24 日举办。本届大会聚焦 Harness AI 时代的工程实践,从「构建 AI」到「驾驭 AI」,围绕 AI Native 架构、Agent Runtime、AI Infra、Agent 安全与可观测、Loop Engineering、具身智能与世界模型 等热门技术方向,邀请全球技术社区与产业一线实践者,共同分享 AI Native 时代最具价值的工程经验。限时 9 折优惠立减 680!查看更多详情可扫码或联系票务经理 18514549229 进行咨询。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中土网民掀起史诗级骂战,全球震惊了

中土网民掀起史诗级骂战,全球震惊了

凤眼论
2026-10-22 15:13:34
曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

曝女星红毯赖着不出场,周涛张小斐无奈救场,晚宴全程无人搭理她

娱圈办事处
2026-10-22 13:46:04
绿麻了!大A已经跌到让人看不懂了

绿麻了!大A已经跌到让人看不懂了

小星球探索
2026-10-22 15:50:44
想扛住车祸就得长这样?澳大利亚公益宣传太炸裂了!

想扛住车祸就得长这样?澳大利亚公益宣传太炸裂了!

品牌新
2026-10-23 09:00:01
詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

詹姆斯导29分逆转创生涯纪录:连赢东部双雄 成送女儿最佳生日礼物

醉卧浮生
2026-10-23 10:02:07
沪指盘中失守3600点关口

沪指盘中失守3600点关口

界面新闻
2026-10-23 09:53:34
气人!河南男子入职2月被派东南亚,1万人没劝住,落地3天大变样

气人!河南男子入职2月被派东南亚,1万人没劝住,落地3天大变样

嫹笔牂牂
2026-10-22 07:28:31
离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

离谱!顺风车司机犯困,让乘客自己开车,两个多小时路程乘客开了一个半小时,车费还要全额收;平台:属于车主违规行为,车费全额退还

扬子晚报
2026-10-22 12:47:11
从车企实测到用户口碑:从投诉痛点看懂汽车全生命周期

从车企实测到用户口碑:从投诉痛点看懂汽车全生命周期

汽车投诉网
2026-10-23 09:36:34
2015年的乱伦恋情:堂嫂和堂弟,堂嫂说,他那里大得要命,让人上瘾

2015年的乱伦恋情:堂嫂和堂弟,堂嫂说,他那里大得要命,让人上瘾

法网恢恢
2026-10-22 22:38:14
我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

我是一根柱子,在“地球最强SUV”的撞击中,活了下来且只是轻伤

News脑洞
2026-10-23 10:51:48
雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

雷霆逆转掘金SGA连续20+场次终结,约基奇穆雷30投7中合取19分

湖人崛起
2026-10-23 12:19:53
问界汽车碰撞起火司机死亡,当地交管称交通灯柱没被撞断,“未撞断”正常吗?交通灯柱是如何设计防撞的?

问界汽车碰撞起火司机死亡,当地交管称交通灯柱没被撞断,“未撞断”正常吗?交通灯柱是如何设计防撞的?

贵重物品爱美食
2026-10-22 21:20:00
地铁站内看书5个小时女子出站时被扣15元,官方回应:设有270分钟乘车时限,超时须补交最高票价

地铁站内看书5个小时女子出站时被扣15元,官方回应:设有270分钟乘车时限,超时须补交最高票价

每日经济新闻
2026-10-22 17:17:44
国家对退休金调整的大方向已定!

国家对退休金调整的大方向已定!

逍遥论经
2026-10-23 09:54:15
牛逼!几乎全是“CBA弃将”,却掀翻总冠军球队,主教练才是36岁

牛逼!几乎全是“CBA弃将”,却掀翻总冠军球队,主教练才是36岁

南海浪花
2026-10-23 07:32:58
副部长蒋成华:我们依旧信心满满

副部长蒋成华:我们依旧信心满满

极目新闻
2026-10-22 18:39:42
特朗普“必须把她弄走”

特朗普“必须把她弄走”

中国新闻周刊
2026-10-23 11:10:03
事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

事情闹大了!菲律宾总统府声明,拒绝驱逐中方大使,原因很直白

共工之锚
2026-10-23 00:29:03
欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

欧洲展出一具“人体标本”,国人看后无不愤恨:这是中华女英雄!

小豫讲故事
2026-10-22 06:00:16
2026-10-23 12:43:00
InfoQ incentive-icons
InfoQ
有内容的技术社区媒体
13106文章数 52118关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

头条要闻

特朗普儿子前女友被解雇 曾鼓励助理和有钱男人上床

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

泊车有绝学 新手亦高手 全新第四代博越L泊车篇

态度原创

时尚
教育
游戏
艺术
家居

“风衣+裙子”才是今年秋天绝美搭配,这样搭显瘦还时髦

教育要闻

日常英语:厨房的味道也会影响别人

《赛博朋克》11.10登战网 边缘行者2同步免费更新

艺术要闻

中国当代画家 谢郴安油画作品选

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版