网易首页 > 网易号 > 正文 申请入驻

陈龙小米智驾收官之作!OneVL将单步轨迹预测延迟压至0.24秒

0
分享至

智猩猩AI整理

编辑:知知

小米智驾核心人物陈龙,正在开启职业生涯的新篇章。

2025年3月,陈龙加入小米,负责辅助驾驶 VLA 技术研发,随后担任小米汽车主任科学家,主导具身基座大模型 Xiaomi MiMo-Embodied 的研发,并推动 XLA 认知大模型落地量产。2026年3月,XLA 随新一代小米 SU7 正式发布,将大模型的语义理解与推理能力进一步引入辅助驾驶。

而在离开小米、奔赴创业之际,陈龙参与的一项研究也有了新进展:OneVL 已被 NeurIPS 2026 接收。



车辆面对行人过街、临时车道或拥挤路口时,需要及时给出轨迹。模型为什么选择让行、转弯或保持车道,也关系到后续分析与调试。完整推理文本容易检查,却会增加生成时间;直接预测轨迹更快,中间判断又不容易观察。

OneVL 将语言与未来画面用于训练紧凑的潜在表示,并允许在需要时恢复这两类解释。论文还探索了一个 MLP 轨迹预测版本,在 NAVSIM 上达到 0.24 秒延迟、86.83 的 PDM-score。这是一项面向低延迟预测的实验结果,语言解释和未来画面的按需生成属于另外的调用过程。

01

路线选择,需要和场景中

的对象对应起来

在一个转弯场景中,模型需要判断可行驶区域怎样延伸,车辆是否靠近道路边界,以及转向后会看到什么。只给出一个方向词,无法说明这些判断是否一致。

OneVL 的原论文将前视图、鸟瞰图、语言解释和预测后续画面放在同一个例子中。绿色与红色分别表示真实参考轨迹和模型预测轨迹,可以观察路线偏差发生在哪个位置。


项目主页的 NAVSIM 日志演示进一步展示了道路画面和鸟瞰预测随记录场景变化的情况。它们提供的是预测可视化,适合检查空间关系与轨迹变化。


02

临时道路条件,会增加

哪些判断要求?

施工路段可能用交通锥改变车道边界,临时标志也可能要求车辆偏离常规路线。模型需要把这些局部条件与规划结合,不能只依赖熟悉的道路外观。

论文的 ROADWork 评测专门覆盖施工区域。OneVL 的平均位移误差为12.49像素,显式思维链基线为13.18像素。定性例子还展示了预测画面与文字解释中的施工线索,帮助观察模型怎样理解临时可行驶区域。



这些例子适合用于分析:轨迹有没有进入不合适的位置,语言解释是否提到决定路线的条件,预测画面是否保留了相关对象。把几种输出放在一起,能够提出更具体的检查问题。

03

行人过街:解释应当能与

预测内容一起检查

Alpamayo-R1 的一个例子中,论文给出的语言解释指向前方行人过街的让行需求。对应画面展示了参考轨迹、模型轨迹和两幅预测后续视野。



“模型能够生成让行解释”与“系统已在真实交通中完成可靠让行”是不同层面的结果。这里的图像和语言输出用于理解、评估模型的预测,不足以单独证明实际驾驶系统的安全表现。

夜间复杂场景也提供了另一种检查条件。光照变化会影响目标和道路线索的可见性,语言中的驾驶意图是否与图像及轨迹一致,需要结合这些输出分析。


04

训练时学习解释,预测轨迹时

减少额外生成

OneVL 在视觉-语言-动作模型 (Vision-Language-Action Model, VLA) 中引入视觉与语言潜在位置。主模型读取当前图像、自车状态、导航命令和历史轨迹;视觉辅助解码器学习预测 0.5 秒、1.0 秒之后的画面,语言辅助解码器学习恢复推理文字。


标准推理路径可以不调用这两个辅助解码器。潜在 token 在预填充 (Prefill) 阶段并行处理,模型随后只生成轨迹答案。文字和视觉解释则可以在分析时按需生成。

这样,解释所提供的监督可以参与训练,而不必要求每次轨迹预测都先写完一段推理文本。需要说明的是,标准 OneVL 的轨迹仍是自回归 (Autoregressive, AR) 解码;减少了推理文本开销,并没有消除轨迹输出本身的顺序生成成本。


05

0.24 秒对应怎样的质量

与效率取舍?

为了进一步缩短轨迹输出时间,论文将一个多层感知机 (Multi-Layer Perceptron, MLP) 预测头接到最后一个潜在位置的隐藏状态上,直接回归未来轨迹。

在 NAVSIM 测试中,MLP 版本的 PDM-score 为 86.83,延迟为 0.24 秒;标准自回归版本分别为 88.84 和 4.46 秒。按论文报告的测量,MLP 版本约为 4.16 Hz,延迟约为自回归版本的 5.4%。


这张表给出的是具体的模型选择:一个版本保留更高的规划分数,另一个以较低分数换取更短的预测时间。0.24 秒与 88.84 不能作为同一版本的成绩。实际系统中的传感器、其他模型和控制执行还会影响整体延迟,因此车载表现需要结合系统条件验证。

PDM-score 也不等同于实际道路中的事故率。它是在 NAVSIM 的非反应式评测协议下形成的综合规划指标,与真实交通参与者交互的闭环测试仍有不同。

06

可读的解释,也有

自己的质量差距

OneVL 的语言解释评测基于 500 个 NAVSIM 测试样本,检查驾驶意图、语义相似性与模型裁判评分。三个维度的平均分为 76.13,高于 SIM-CoT 的74.06,低于显式思维链的78.27。


这个结果说明,压缩后的表示可以恢复具有参考价值的解释,但仍需要检查解释是否贴合当前场景。语言内容、未来画面与轨迹相互一致,是有用的诊断线索;它们并不自动构成经过验证的因果说明。

视觉解释的质量又与训练安排有关。OneVL先建立轨迹与潜在表示,再让辅助解码器适应稳定状态,最后联合优化。省略分阶段训练时,NAVSIM 的PDM-score从88.84降到67.13,说明形成有效表示需要相应的训练过程。


07

在日志中检查路线,也为

后续系统研究提供依据

狭窄街道、路边停放车辆与转弯路口,都可以通过前视画面和鸟瞰预测进一步分析。原论文附录中的例子保留了参考轨迹、模型轨迹、后续画面和语言输出,便于在同一场景中核对这些信息。



OneVL 展示了一种把规划效率与解释监督连接起来的方法:训练时让隐藏状态学习可读的语言内容和未来视觉变化,运行时根据需要选择轨迹输出方式与解释调用。它的研究价值既在于四项基准上的规划改进,也在于将表示质量、预测时间和解释能力放进同一个可以检查的框架。训练资源开销、复杂交互和实际系统验证,仍是继续推进这套方法时需要考虑的部分。

关注+星标,获取AI前沿进展与开源一线动态

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
骑行爱好者:骑行裤里肯定不穿内裤,就和游泳不穿内裤一个道理

骑行爱好者:骑行裤里肯定不穿内裤,就和游泳不穿内裤一个道理

映射生活的身影
2026-08-16 14:52:03
集体“翻车”:13款轮胎抽检不达标

集体“翻车”:13款轮胎抽检不达标

轮胎报官方
2026-10-23 21:06:41
一场2-1绝杀,皇马终结巴萨开局9连胜!西甲积分榜:前三只差3分

一场2-1绝杀,皇马终结巴萨开局9连胜!西甲积分榜:前三只差3分

侃球熊弟
2026-10-26 06:03:38
武大图书馆事件写进上海交大学生手册:诬告者杨景媛成了正面典型

武大图书馆事件写进上海交大学生手册:诬告者杨景媛成了正面典型

听心堂
2026-10-25 09:46:05
被批捕!一代芯片巨头,栽在了赌性里

被批捕!一代芯片巨头,栽在了赌性里

华商韬略
2026-10-26 11:41:47
DeepSeek第二轮融资1061亿交割完成!

DeepSeek第二轮融资1061亿交割完成!

车智inveh
2026-10-26 14:48:23
不加息了?周二,A股走势分析

不加息了?周二,A股走势分析

郭小凡财经
2026-10-26 18:06:49
19岁女孩被亲生父亲一周强奸4次,报警后母亲竟让她去撤案

19岁女孩被亲生父亲一周强奸4次,报警后母亲竟让她去撤案

胖胖侃咖
2025-05-28 08:00:16
一周诊断两个年轻肺癌,一个28岁,一个34岁,一个已经是晚期

一周诊断两个年轻肺癌,一个28岁,一个34岁,一个已经是晚期

呼吸科大夫胡洋
2026-10-12 12:42:48
每年从中国赚2千多亿,巴西总统候选人却在电视辩论上拍桌子大骂

每年从中国赚2千多亿,巴西总统候选人却在电视辩论上拍桌子大骂

果妈聊娱乐
2026-08-30 15:34:20
日本前首相石破茂谈福田康夫去世:必须以诚心诚意的态度珍视与中国的关系,这是他留下的教诲

日本前首相石破茂谈福田康夫去世:必须以诚心诚意的态度珍视与中国的关系,这是他留下的教诲

极目新闻
2026-10-26 15:08:48
活塞官宣杜伦伤情:2亿先生遭遇右腿筋拉伤 两周后复查无缘战76人

活塞官宣杜伦伤情:2亿先生遭遇右腿筋拉伤 两周后复查无缘战76人

醉卧浮生
2026-10-26 00:03:38
蔡振华退休后定居无锡,陪伴91岁老母亲,日常买菜炖汤,偶尔去少年宫免费教小朋友打球;国际乒联百年功勋奖授予他,他没有亲自赴伦敦领奖

蔡振华退休后定居无锡,陪伴91岁老母亲,日常买菜炖汤,偶尔去少年宫免费教小朋友打球;国际乒联百年功勋奖授予他,他没有亲自赴伦敦领奖

阿芜爱体育
2026-10-19 19:16:16
中国共产党第二十届中央委员会第五次全体会议在北京开始举行

中国共产党第二十届中央委员会第五次全体会议在北京开始举行

法治中原
2026-10-26 15:23:04
李湘罕曝近况,带女儿和德国前总理应酬,王诗龄一身香奈儿好贵气

李湘罕曝近况,带女儿和德国前总理应酬,王诗龄一身香奈儿好贵气

一娱三分地
2026-10-26 17:05:13
张本美和为何惨遭横扫?赛后采访陈熠直指赢球原因,句句实在话!

张本美和为何惨遭横扫?赛后采访陈熠直指赢球原因,句句实在话!

田先生篮球
2026-10-25 22:22:09
正式退出!徐杰无奈,亚帅批准,被球迷怒批想女友,亲自下场互怼!

正式退出!徐杰无奈,亚帅批准,被球迷怒批想女友,亲自下场互怼!

体坛卡卡说
2026-10-25 20:47:38
动手了!伊朗突宣大消息!

动手了!伊朗突宣大消息!

大嘴说天下
2026-10-24 20:35:04
俄总统助理:俄愿在11月4日后恢复俄美乌三方谈判

俄总统助理:俄愿在11月4日后恢复俄美乌三方谈判

北青网-北京青年报
2026-10-25 21:32:03
公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

公路车骑行服,熟女骑行穿搭,利落面料勾勒饱满曲线

只要高兴就好
2026-09-24 11:58:50
2026-10-26 19:19:00
智猩猩
智猩猩
AI 技术内容与服务平台
276文章数 15关注度
往期回顾 全部

科技要闻

K3.1 Pro发布才两天,Kimi道歉补额度!

头条要闻

媒体:最先进导弹部署地距中国台湾110公里 日美想干啥

头条要闻

媒体:最先进导弹部署地距中国台湾110公里 日美想干啥

体育要闻

13年后重回诺坎普,穆里尼奥又滑跪了

娱乐要闻

胡歌杨幂刘诗诗袁弘陈龙结伴去埃及

财经要闻

卢锋:全球失衡背后 大国博弈与多边治理

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

亲子
家居
时尚
教育
公开课

亲子要闻

媳妇喝酒喝多了,回家后4岁女儿哄妈妈睡觉,真是妈妈的小棉袄

家居要闻

2026建博会(广州) 公装联探展交流活动

留学赛道,躺满绝望的待业明星

教育要闻

因为一段话,这位妈妈火了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版