哈啰发布的生成式驾驶世界模型HelloWorld，有哪些看点？

提到哈啰，很多人第一反应是路边常看到的共享单车，但它已涉足Robotaxi领域。

就在最近，哈啰Robotaxi发布了生成式驾驶世界模型HelloWorld。

这项工作的一个看点，是研发人员可以主动修改车辆轨迹、交通参与者布局和天气条件，让模型生成相应的多视角驾驶观测，并尝试将生成环境与驾驶策略连接起来。

对自动驾驶研发而言，这提供了一种不同于固定数据回放的技术路径，技术人员不仅可以观察已经发生的驾驶过程，还可以研究同一场景在不同轨迹和交通条件下会发生怎样的变化。

当然，场景生成并非全新能力。

HelloWorld更值得关注的地方，是它尝试将场景控制、七路相机同步生成、激光雷达点云生成和驾驶策略交互整合到同一套系统中。

这些能力已经实现到什么程度，又有哪些问题仍然需要验证？今天就带大家一起来聊一聊。

01

世界模型不只是生成视频

还要能控制场景

真实道路数据记录的是已经发生的驾驶过程。

无论用于模型训练还是测试，研发人员都可以从中寻找特定场景，但如果需要改变原始记录中的车辆轨迹或交通参与者布局，就需要额外的数据构建或仿真手段。

HelloWorld就尝试提供一种生成式方案。

根据其公开介绍，研发人员可以通过自然语言描述目标场景，也可以直接编辑车辆、行人及其运动轨迹。

例如，让原本正常行驶的前车减速并停在车道内，或者调整行人的位置和运动，构造横穿道路的场景。模型再根据这些条件生成对应的驾驶观测。

天气和光照同样可以作为控制条件。

昼夜变化、雨雪雾等环境，以及施工、密集交通等场景，都可以用于引导生成。

这类能力可以让数据构建更贴近具体研发问题。

假如团队正在研究前车突然停车时的驾驶策略，就可以围绕前车轨迹构建不同案例，而不是完全依赖真实道路采集到多少相似数据。

但有两个概念必须区分开。

能够生成指定场景，不等于已经生成了真实可靠的测试样本。

画面中出现了行人，不代表其运动必然符合真实交通规律；前车按照指定轨迹停车，也不代表整个场景满足完整的车辆动力学和交通约束。

因此，就场景生成而言，HelloWorld目前展示的是一种可控的数据生成能力。

生成数据是否能有效补充长尾场景、是否能改善下游驾驶模型，还需要通过后续训练和评测确认。

02

七路相机同步生成

难点不只是画面逼真

对于驾驶世界模型来说，生成画面只是基础。

车辆改变运动轨迹后，系统还需要生成与新视角相匹配的道路和交通观测；不同摄像头看到的同一辆车，也应当保持合理的位置、外观和运动关系。

HelloWorld采用渐进式训练，将通用视频中的视觉与运动知识逐步转化为可控的驾驶生成能力。

模型规模约为20亿参数，并在训练中逐步引入自车位姿、相机标定、高精地图和三维目标框等条件。

这里有两类需要区分的控制信息。

自车位姿用于控制车辆的空间位置和姿态变化，模型据此生成相应的驾驶观测；高精地图和三维目标框则用于约束道路结构及交通参与者的空间布局。

两类条件相互配合，使模型能够分别调整自车路线和周围场景。

例如，要求车辆从直行改为向左转弯，模型需要生成与新轨迹相对应的观测，而不是简单地把原视频中的道路画面向左移动。

对于七路相机系统，各视角还需要尽可能保持几何对应关系。

在哈啰提供的多视角评测中，其将HelloWorld与Cosmos Transfer 2.5进行了比较。

在双方均提供首帧的设置下，生成视频的轨迹旋转误差从5.534°降至2.027°，降低63.4%；跨相机几何误差从6.549像素降至4.180像素，降低36.2%。

这说明，在评测条件下，HelloWorld对指定轨迹的响应和跨相机几何对应关系有所改善。

不过，轨迹旋转误差衡量的是从生成观测中估计出的运动结果，不是实际车辆的控制误差；跨相机几何指标也不代表完整的三维几何精度。

除视觉生成外，HelloWorld还支持根据相机RGB观测生成相应的激光雷达点云，并针对有效回波、距离信息和点云结构进行处理。

这使其在多视角视频生成之外，进一步具备了条件式激光雷达点云生成能力，为多传感器数据构建提供了新的可能。

但视觉与点云之间是否准确对应、生成点云是否符合真实传感器的距离信息、回波特性与点云结构，仍需要分别检验。

不能仅凭系统同时输出图像和点云，就认定它已经完整模拟了真实车辆的传感器系统。

03

从生成场景到策略交互

距离可靠仿真还有多远？

HelloWorld还尝试将生成环境与驾驶策略连接起来。

在公开演示中，驾驶策略Alpamayo 1.5根据当前观测输出自车轨迹，HelloWorld再根据轨迹和此前生成的观测产生后续画面，供策略继续作出判断。

与固定轨迹回放相比，这种方式可以根据策略给出的新轨迹，生成与之对应的后续观测。

研发人员因此有机会研究同一场景在不同驾驶选择下的变化，而不必完全受限于原始记录中的单一路径。

但这里的闭环指的是驾驶策略与生成观测之间的交互过程，并不是说系统已经建立了经过完整验证的车辆动力学仿真环境。

在持续生成过程中，世界模型会不断读取自己此前生成的历史。

早期的生成误差可能影响后续观测，而策略选择的新轨迹也可能使场景逐渐偏离真实记录覆盖的范围。

为应对这一问题，HelloWorld采用分块因果生成，让模型逐段生成后续观测，并通过受扰动历史和自身生成历史的训练适配，改善模型在连续运行时对不完美上下文的处理能力。

模型还通过少步蒸馏，将20步教师模型压缩为4步学生模型，以降低重复生成的计算成本。

在给出的效率测试中，模型使用8张GPU，在720p分辨率、七路相机、61帧且提供首帧的条件下进行生成。

采样耗时由357.7秒降至77.8秒，加速4.60倍；包含视频写出等环节的端到端耗时由426.7秒降至143.2秒，加速2.98倍。

这些结果表明，减少生成步骤能够降低特定配置下的推理开销，但分钟级的端到端耗时并不代表实时生成。它也不能单独证明模型已经能够稳定模拟长时间驾驶过程。

更重要的是，生成环境中的策略表现不能直接等同于真实道路上的驾驶能力。

车辆动力学、交通参与者对自车动作的响应，以及长时间运行中的误差累积，都需要进一步研究。生成环境能否用于可靠的安全评估，也需要系统性的验证。

04

最后的话

哈啰HelloWorld尝试将可控场景生成、七路相机同步生成、激光雷达点云生成和驾驶策略交互整合到同一套系统中。

这让世界模型从生成驾驶画面，进一步走向面向自动驾驶研发的数据构建与交互式仿真。

但生成能力并不等于可靠的测试能力。

生成数据能否改善下游模型，策略交互能否在长时间运行中保持稳定，以及仿真结果能否有效反映真实驾驶表现，仍需要更系统的评测。

对自动驾驶行业而言，世界模型的价值不只在于生成更多场景，而在于能否将这些场景转化为可重复、可评估，并且对研发真正有用的测试资源。