AI圈又炸了！OpenAI前员工创业的Jev刚露头爆火，就被Laya开源秒了！

编辑：kid

9 月中旬的 AI 开发者生态，迎来了一场极具戏剧性的闪电攻防战。

前 OpenAI 早期核心研究员、RLCD（基于蒸馏的无强化学习对齐）论文作者迪奥戈·阿尔梅达（Diogo Almeida）携新创公司 TypeSafe AI 正式登场，高调推出了号称首个“快到不可思议”的专用决策大模型 Jev。该模型宣称专注于系统 1（System 1）的瞬时直觉决策，将传统大模型动辄数秒的分类与路由耗时压缩到 200 毫秒左右，在技术社区掀起了一阵惊呼。

这一精心包装的闭源光环仅仅维持了三天。9 月 18 日，开源团队 ConvAI Innovations 携带完全遵从 Apache 2.0 协议的轻量化决策模型 Laya 杀入战场。Laya 依托成熟的开源架构，在同等分类任务下将端到端中位延迟直接杀穿到 32.8 毫秒，响应速度足足达到 Jev 的 7 倍，多语言与长上下文能力全面领先。

01

前 OpenAI 老兵造势，主打“快到极致”的决策大模型

9 月 15 日，迪奥戈·阿尔梅达在技术社交圈发布长文，为开发者描绘了一个全新的大模型分支。

在过往的认知中，大语言模型都在向“系统 2”（慢思考、长推理链、多步验证）狂飙，如同 OpenAI 发布的 o1 系列。阿尔梅达指出，在自动化软件工程、Agent 编排与防御安全系统里，高达 80% 的工作流根本不需要慢吞吞的思考，它们需要的仅仅是系统 1 的直觉判断：这个用户提问是否违规？应该路由给前端代理还是后端代理？当前函数调用该走哪一个分支？

让百亿参数的通用大模型处理这类二元选择或有限多分类问题，既存在明显的算力浪费，生成包含开场白、JSON 结构体和换行符的长文本更会强行增加数百毫秒的漫长等待。

Jev 由此应运而生。它舍弃了文本对话的长篇大论，专门用来处理分类、路由和 Guardrails（安全合规防护）等原子任务。TypeSafe 官方强调，该模型具备前 OpenAI 顶尖团队沉淀的高强度对齐工艺，单次 API 调用的推理耗时约为 200 到 250 毫秒。

产品一经上线，立刻吸引了大量正在搭建多智能体应用的企业工程师试用。许多人感叹：终于有前沿团队注意到 Agent 系统中最大的性能瓶颈了。

02

换个分类头何谈算法革命？

就在 Jev 借着前 OpenAI 员工头衔收获满堂喝彩之际，极客开发者社区里却传来了清脆的质疑声。

多位深谙底层模型架构的开发者在论坛展开逆向剖析，撕开了决策模型神秘的外衣。核心结论十分简练：这种决策模型和当下的对话大模型，基模本来就是同一套体系。

日常使用的对话大模型，底层采用自回归生成机制，输出依靠一个 Token 接着一个 Token 逐步预测。生成一个完整的回答，模型必须经历数十次甚至上百次前向传播，每一个步骤都在巨大的词表里做一次庞大的选择题，时间自然居高不下。

Jev 剥离了漫长的解码循环。在具体工程实现上，开发团队直接把原有的逐词解码输出层，替换成一个专门针对分类任务训练的线性输出头（Classification Head）。在推理阶段，模型接收完整的 Prompt 上下文后，只经过单次前向计算输出一个 Token，后续的所有自回归循环被底层引擎暴力截断，直接终止输出。

这就意味着，目前市面上任何一个开源的基础模型，稍微做一下结构调整，把解码头换成下游任务分类层，就能立刻蜕变为这种决策专精模型。这类微调的训练成本几乎可以忽略不计。

“目前的对话模型，每个 Token 都在做选择题。限制它只返回一个 Token，后续全部截断，出来的东西本质上就是 Jev。”一位开源社区工程师表示。将学术界十年前就在用的编码器分类头重包装一番，套上闭源商业 API 和高昂的按次计费模式，瞬间变成了一场贩卖焦虑的资本游戏。

03

32.8 毫秒极速超车，Laya 用全开源撕开皇帝的新衣

戳穿技术滤镜最响亮的耳光，来自干净利落的开源代码。

9 月 18 日，由工程师难达基绍尔·穆库诺斯（Nandakishor Mukkunnoth）主导的 ConvAI 创新团队正式发布 Laya 模型家族，面向全球开发者彻底开源。

Laya 毫无保留地公布了架构细节与全部权重。团队基于 ModernBERT-large（4.21 亿参数）和多语言基础模型 mmBERT-base（3.22 亿参数），构建了纯编码器形态的高性能决策引擎。其核心功能直击 Jev 的腹地：

1. 极致延迟：在标准评估基准上，Laya 的中位推理延迟压缩到惊人的 32.8 毫秒，P95 延迟维持在 42 毫秒内，相比 Jev 的 200 余毫秒提升整整 7 倍。

2. 跨语言支持：由于吸收了现代多语言表征技术，Laya 覆盖包括中、英、西、法在内的数十种通用语言，在复杂多语境下的意图识别表现遥遥领先。

3. 自由部署：采用最为开放的 Apache 2.0 协议，开发者可以在单张消费级 GPU、MacBook 甚至边缘工业芯片上本地加载，数据无需离开内网。

性能对比数据一出，舆论风向瞬间发生扭转。当一个百兆体积的开源模型能在本地跑出 33 毫秒的成绩，且推理准确率毫不逊色时，开发者为什么还要把机密的代码、敏感的用户 Prompt 发送到闭源的云端接口，并忍受 7 倍的延迟与单次调用的计费？

— 完 —

科技前沿进展每日见