深访「清华具身五杰」赵昊：李飞飞和杨立昆路线都不够，4D才是王道

“直接下场实控一号位，赵昊要干票大的。”

作者丨杨诗涵

编辑丨林觉民

赵昊是我们录制嘉宾里最惜时如金的人。

第一次录制播客，他走进我们办公室时，手里笔记本尚未合拢，路上还在抢时间处理工作。

第二次录制播客，他来之前连续熬夜加班，到点后困得眼睛睁不开，只好在隔壁会议室的行军床上眯了五分钟。

仅仅就过去五分钟，他仿佛在水晶中回了血似的，之后就精神百倍的开始了录制。

我们这篇文字对应有视频版本，大家可以亲眼去看下，他投入谈话后到底精力有多旺盛。

赵昊的学生对我们说，他信奉达芬奇睡眠法，每工作四个小时才小睡十五分钟。

他身边的朋友也对调侃：“成龙说他‘喝牛血的’所以精力非凡，赵昊简直就是AI圈的成龙，不说喝牛血，至少也是打了鸡血。”

最近一段时间，他在小红书上被人吐槽，说他是“共享的首席科学家”，因为他之前先后在光轮智能和极智嘉两家公司担任首席科学家。有人质疑他这么多身份，怎么忙得过来。

在我们对话前一段时间，赵昊结束了这些任职合约，已经开始了自己的创业。

在录制最后，他说出了整场最热血的一句话：“我觉得很多事情让我已经太boring了。我已经到了人生要搞就搞个大的时候了。再有人给我propose一个首席科学家，给我一个小的股份，我肯定是say no的。我已经到了最终发车的那个时候了，我要成就我自己的梦想和事业。”

现在，他只想做一件事：原生的4D世界模型。

赵昊博士，清华大学智能产业研究院（AIR）助理教授，智源学者。他于清华大学电子工程系完成学士与博士学业，曾任英特尔中国研究院研究员、北京大学联合博士后，在CVPR、ICCV、ECCV、NeurIPS、ICLR等顶会上发表近30篇论文。他是清华最大的机器人社团“天空工场”的创始人和负责人之一，曾参与孵化十余家高新技术创业公司。今年，他创立了PrimalVerse（元昊动力），专注原生4D世界模型，完成数亿元种子轮融资，投资方包括联想之星、银杏谷资本、啟赋资本、卓源亚洲，手术机器人企业精锋医疗战略入局，是“清华具身五杰”里唯一没有海外名校背景的本土派。

以下是对话实录，雷峰网进行了不改变原意的删改。

01

被清华同学“踢出局”的顶尖做题家

雷峰网：先聊点personal的。你在社交平台自称“17岁男大”，为什么不是18岁？

赵昊：职业学者这个角色，天然就卡在“需要承担巨大责任”和“不需要承担巨大责任”之间。老师本来就是大人世界和小孩世界之间的界限。我选这个职业，看上了它的灵活性，所以会把十八再减一。

雷峰网：科技行业流传着“35岁裁员”的说法，你用这种方式对抗焦虑，是幽默做保护色，还是真的拒绝长大？

赵昊：（笑）我确实有年龄焦虑和时间焦虑。但我肯定不是焦虑最深的，比如我的好朋友李弘扬，他每年评优青的时候都会找我喝酒。大家都知道科技行业迭代非常快，很快你就会被新一代天才技术专家替代掉。保持年轻的心态非常重要，你必须不停地拥抱新鲜事物。我这么说有一点玩世不恭，但我会用比较戏剧化的心态，把心里真实的想法传达出来。

雷峰网：你是安徽九华山人，李白都给你们那个地方写诗，你在风景区长大，会对你有影响吗？

赵昊：我前18年，过的是神仙日子。很多人幻想退休以后归隐田园，在山里有个宅子，听雨看山岚。这些我小时候都体验过了，所以我对“采菊东篱下”这件事，已经祛魅了。我更喜欢现在这么卷的生活。

雷峰网：从九华山到清华，落差大吗？

赵昊：我是我们那儿前十年、后十年唯一一个考上清华的。我肯定是一个顶尖做题家，这点没必要否认。但到清华的第一天就受到冲击，我确实不怎么会编程。我小时候穿鞋套进机房，只学过五笔打字。大城市超级中学来的同学，高中就会编程了，一个学期的课他们早就学过了。

雷峰网：说到这，我们之前聊过你一件很受挫的事，被好朋友从队伍里“踢”出去。

赵昊：那是我本科最好的朋友XXX，电子系科委主席，北京孩子，很多事接触得特别早。他带了一个队伍参加程序设计大赛，我当时在队里。他觉得我实在不给力，就把我踢出去了。

雷峰网：怎么踢？用脚吗？

赵昊：（大笑），就是后面regular meeting就不再叫我，逐渐边缘化。我当时非常受挫，觉得因为自己太差被踢了。

雷峰网：现在呢？

赵昊：现在跟他是很好的朋友。但那种受挫感，让我整个本科都在拼命提升engineering能力，我大二还是追上来了。后来在天空工场，清华最大的机器人社团，我从航模、嵌入式一路做到四旋翼。我和自动化系学长杨盛在清华紫操上飞开源飞控Pixhawk的四旋翼，每次都引来路人围观。这中间真正转折是大二做CUDA，做出来的那一刻，我至今记得那种兴奋感。

【这里做下解释：赵昊大二时，有一次重大成果。他做了一个SRT（本科生科研训练计划），导师是光电系的霍力老师。2010年，霍力告诉他英伟达出了个新东西叫CUDA，还是2.0版本。他写了一个CUDA库，从OCT（光学相干断层扫描）信号重建眼底三维结构。天空工场的创始人是俞浩，后来创立了追觅科技。天空工场在他骨子里种下了“做极致产品”的基因。他们做过一个叫Colorwork的互联网产品，对标Facebook，清华北大的团委学生会科协都在用。】

雷峰网：你一路带学生，听说每带一届都要带出一个清华特奖（清华大学本科生最高荣誉）。这是当年没拿特奖的执念吗？

赵昊：可以这么说。所有清华人都会被特奖的压力压得不知道怎么说。我自己没拿到，所以当faculty以后，头几年培养学生非常用心。焕昂、恺睿、博远他们三个，连续三年拿了特奖。这种成就感，比我自己的任何奖项都大。

02

影响最深的人

雷峰网：你本科毕业以后在英特尔待了8年，后来又回到学术界。这中间，谁对你的影响最深？

赵昊：是周谷越老师。他很长一段时间是我老板。我回清华AIR，就是他把我挖回来的。大疆在我眼里是做极致产品的公司，我是非常崇拜他的。

雷峰网：那何恺明呢？你读书那会儿，他是你这一代人共同的偶像。

赵昊：何恺明（ResNet、Mask R-CNN作者，深度学习领域最具影响力的学者之一）当年是神。他从微软亚洲研究院被高薪挖到Facebook的时候，圈子里传说他的package接近一个亿，那是我听过的第一个天价年薪。我当时拼了命想成为他那样的人。

但后来我得承认，在18到23年那段深度学习低谷期，他做的工作（MoCo、MAE这些自监督视觉表征学习）也没有那么革命性了。我们CV界在那段时期败给了NLP界，NLP界把GPT做出来了，而自监督视觉表征学习没有把通用的视觉智能做出来。

雷峰网：你会觉得幻灭吗？

赵昊：一个成年人很难完全崇拜另外一个人，这是正常的。但那些技术本身没有错，低谷期恰恰是三维视觉基础科研沉淀的黄金时代。DeepSDF是2019年的，NeRF（神经辐射场，用神经网络表示三维场景的技术）是2020年的，Diffusion的核心公式也在这五年里沉淀出来。我现在要做的4D世界模型，技术根基就是那几年打下的。

03

英特尔8年送走3位CEO

雷峰网：聊聊英特尔吧，你在那儿8年，送走了3位CEO。

赵昊：确实。我在英特尔实习加工作8年，经历了3任CEO。英特尔一直在调整战略，怎么让公司活下来、发展更大。最早那位干得不好，换了个CFO上来，做了很多资本操作，比如收购Mobileye。后来工艺制程落后，又把一位founding engineer请回来。

雷峰网：所以英特尔错过了很多。

赵昊：岂止。因为不做利润率低于50%的业务，英特尔错过了手机芯片，被高通拿走了；错过了GPU，被英伟达拿走了。现在回头看，这就是典型的大公司病，王者对新兴市场的不重视。

雷峰网：这让你受挫了吗？

赵昊：工作上的事倒没有。我当时只对发CVPR感兴趣。但我在硬件极客圈待久了，见过太多这样的故事：欧美开源一个东西，直接诞生一个品类。Pixhawk开源，带起了四旋翼无人机这个品类；MIT的Cheetah开源，带起了四足机器人这个品类。所以我后来做了机械脸Morpheus，就想把它开源，也带起一个品类。今年它的第二代入围了RSS最佳论文finalist。

04

AI重新变成了魔法

雷峰网：你读博从2013年开始，正好赶上深度学习爆发。那个年代是什么感觉？

赵昊：真是好时代，一切都在被发明。VGGNet是2014年的，核心观点就是堆叠3x3卷积性能就能提升，这其实就是scaling law（规模法则，模型和数据越大性能越强）的思想，只是当时不叫这个名字。2015年ICML有了Batch Normalization，那可是拿了Test of Time的。在那之前，deep learning是魔法，网络不收敛你也不知道为什么。16、17年做自动驾驶，你能把一个网络训收敛，那就是魔法。

雷峰网：然后呢？

赵昊：18年以后整个深度学习界陷入低谷。范式确定了，大家都在定义新任务、采新数据集，没有太多改变。我们做技术的人最大的问题就是，如果这个东西谁都会，就不太有技术稀缺性了。

但现在又到了好时代。Diffusion可难训了，它就是不收敛，你也不知道它为什么不收敛。具身智能也是，你不懂的人，它就是不做work。AI曾经是魔法，中间变成纯工程，现在又变回魔法了。这就是科学家创业变多的原因。

雷峰网：低谷期孕育了什么？

赵昊：上一个低谷期孕育了NeRF、隐式场。现在这个时期，图片生成和视频生成都卡住了，SOTA还是去年3月开源的万象，Seedance砸了50亿美金永远不会开源，整个领域变成窜天猴的状态。但正好是这个时候，我们把3D和4D的表征纳入统一的多模态AIGC框架，像极了当年分类检测分割被卡死、大家开始做新representation的时候。我看到了属于我的历史使命。

雷峰网：什么是你的历史使命？

赵昊：把3D token、4D token纳入现在的统一多模态大模型，真正建模这个世界的变化。当然，作为永远17岁的人，我不会觉得这是最后一个历史使命。可能十年后我44岁了，还会寻找更新的历史使命。

05

“不能让做NLP的人

一直把AI的话语权囊括在手里”

雷峰网：你应该是国内最早呼吁世界模型的人之一。2025年3月，你就在讲这个概念了。

赵昊：我第一次公开以“世界模型”概念讲talk，是2025年3月。那时候整个CV圈非常困惑和躁动：二维表征学习基本宣告失败，只有DINO有点用；Vision Language Model被NLP的人拿走了；视频生成被大厂垄断，只有Sora一骑绝尘。大家不知道什么是值得研究的真问题。

当时李飞飞（斯坦福大学教授、ImageNet创始人）搞了World Labs，说要推动3D视觉大规模商业化，我很兴奋，觉得属于我们的时代来了。但后来World Labs推出Marble产品，本质上只是一个feed forward的拼接重建。我很困惑：难道这就是世界模型吗？

雷峰网：然后你就开始“撺掇”整个圈子创业？

赵昊：对。我在圈子里一直在做一件事：撺掇所有做三维视觉的同行，勇敢跳出来创业做世界模型，把方向炒热。

我跟陈宝权（北京大学教授，3DV领域资深学者）私聊时说：咱们三维视觉圈子里越多人出来创业做世界模型越好，一定要把这个事盘活炒热。我们之间就算有竞争有矛盾，也都是人民内部矛盾。一定要从做NLP的人手里把AI的话语权抢回来。NLP的黄金时代暂时到了瓶颈期，是我们的时代到来了。

雷峰网：这话放出来，等于跟半个圈子宣战。你不怕对手越来越多吗？

赵昊：我巴不得对手越来越多。我的逻辑很直白：只有世界模型这个方向火了，做三维视觉的人才有饭吃，这是衣食所系。前几年大家关注NLP，因为NLP有真进展。视觉的表层学习陷入瓶颈，没有革命性成果，再这样下去我们领域就没饭吃了。

我还撺掇了很多人。李一鸣（后来回国创业做世界模型，雷峰网另有专访，据说用三句话拿下过亿投资）当时在英伟达很迷茫，我劝他回来，资源多，学术产业两手抓。冯瑶老师纠结上交正教授还是清华助理教授，我建议选清华，学术产业两不误，他最后确实做了这个选择。现在看开丞的新公司也公开了，对手只会越来越多。但没关系，都是人民内部矛盾，最终大家会收敛到正确的答案。

雷峰网：有个问题我们一直想问，50多家公司都在做世界模型，你怎么分辨谁是真做、谁是追概念？

赵昊：看它怎么定义世界模型。如果只是把视频生成叫世界模型，那是娱乐工具。真正做世界模型的，会回答一个问题：你怎么刻画物理规律的变化。

06

3D加个时间轴只是3.5D，不是世界模型

雷峰网：你用一句话定义你在做的4D世界模型。

赵昊：把3D token、4D token、视频token、图片token和文本token混合起来训练的一个多模态大模型。token（词元）是模型处理信息的最小单元。

它有两个好处：第一，它是现在多模态大模型的延伸，简化版已经被验证过了；第二，它有显式的表征（模型内部对世界的表示方式），能把世界模型最痛点的physical awareness（物理感知能力）刻画好，而且可以被理解。如果刻画得不好，你能去看它的4D表征，哪里出了问题。

雷峰网：你有个观点特别出圈，说在3D基础上加时序并不是真正的4D，只是3.5D。

赵昊：对，这应该是我正式提出来的一个划分。在3D Deep Learning刚开始的时候，有人管视频分类网络叫3D convolutional network，当时就被喷：你只是在视频上加了一个轴，那叫2.5D。深度图像也一样，一开始叫3D信息，后来收敛为2.5D。三维也是这样。如果每一帧之间都是独立的三维模型，只是沿时间排在一起，我认为只能叫3.5D，它丢失了Physical AI最重要的演变。

雷峰网：这个“半代”的差别，具体在哪里？

赵昊：举个例子，在纯3.5D信息上，你没有办法定义什么叫“快快地”或者“轻轻地”。快快地就是速度，轻轻地就是加速度、力度。只有在真正的4D中，你才能定义这些。

再举一个更技术的例子。Trellis.2是一个图生3D的模型，以前的图生3D模型，三维token只编码几何属性。我们在Trellis.2里首次把光学属性，包括base color、BRDF（双向反射分布函数，描述材质怎么反光）、透明度都编码进去了。

只有token有了光学属性，才可能和图片token、视频token做对齐（alignment）。只有能对齐多模态token，才能训出有效的多模态大模型。

在我的路线图里，3D和4D的token上还会加力学属性，未来还会有电磁学属性和热学属性。我的世界模型，将是一个能把所有物理规律都刻画出来的基模。

【注：这一段是赵昊的技术主张。他说的世界模型，不是拍一段逼真的视频，而是让AI在脑子里“运行”一个有物理规则的世界。Sora那一类视频生成模型，画面再真也只是像素，杯子可以悬浮、蜡烛吹不灭，因为它不懂物理。赵昊的做法，是把物体的几何、材质、受力都显式编码进模型，出错时能定位到“哪一项物理量算错了”，这是纯视频模型做不到的。】

07

JEPA是“听过很多道理，却依旧过不好这一生”

雷峰网：你怎么看李飞飞和杨立昆（图灵奖得主、Meta首席AI科学家）的路线？

赵昊：一个一个说。

World Labs现有的标品，Marble是三维场景重建，Spark 2.0是开源的神经渲染infra，都还没涉及动态4D仿真物理规律。它最近收购了昀烛的公司，可能会推分立的重叠仿真渲染技术栈，但我觉得不够大模型，在终局上可能不太成立。应该把三维重建、物理仿真、神经渲染全部统一到一个多模态大模型里去。

对JEPA（联合嵌入预测架构，LeCun提出的世界模型路线，主张用一个隐空间向量表达整个世界），我的判断是：它的设计哲学是大道至简，用单一的latent token表达完整的世界状态。

但简单的事情，反而难做。

雷峰网：这怎么说？

赵昊：试想你回到小学刚入学，爸妈告诉你：过好这一生很简单，把语文数学学好，考个好中学，考个好大学，找个好工作。你回过头看，会不会觉得“听过很多道理，却依旧过不好这一生”？

JEPA就是这样一个网络。它告诉你，也许未来用一个latent token就能表达整个state，也许就成功了。但它到底怎么成功的？为什么一个latent token就能刻画所有物理规律？我非常坚定地觉得，一个真正的4D世界，只用一个1D的latent token做representation，压缩比过高了。

雷峰网：那纯视频生成路线呢？

赵昊：算力过于受限，你没办法和Seedance这种砸50亿美金的超级大厂竞争。JEPA过于简单、原理太open，反而冒险；视频生成要跟大厂拼资源，也冒险。我的路线是在nano banana和Seedance这种已经被验证的范式上加两种token，科学原理和工程实现的不确定性都更低。

雷峰网：就像“给AI一本五年高考三年模拟”。

赵昊：（笑）可以这么说。我们就是给了AI一本五三。“好好学习就能过好一生”这种话，太第一性原理、太哲学了，没什么用处，是一句很正确的废话。

雷峰网：但我们注意到，你们团队也发了JEPA的工作，还被LeCun点赞了。这不矛盾吗？

赵昊：不矛盾。作为一个纯科学家，我不排斥任何技术路线，我的lab不站队。但我在商业上会站队。俊涵是我一个非常聪明的学生，我只告诉他idea，他就能把它做得这么好。

08

洗车案例：AI没有智能的证明

雷峰网：你一直强调4D能解决幻觉问题，这跟加光学、力学属性是什么关系？

赵昊：所谓幻觉，本质上是OOD（Out of Distribution，分布外，让模型生成超出训练分布的东西）。大语言模型有幻觉，生图、视频模型都有。你让它生成的东西实在太OOD了，它只能随便糊一个，在符合概率的前提下瞎编。

有了3D和4D token就不一样了。第一层，3D token带着丰富物理属性，能和视频、图片token对齐，对齐就是找到正确对应关系，有了对应关系就有更多约束。

第二层，如果模型生成视频时出现违反物理规律的画面，网络对3D和4D表征有感知，它能推演：我这个生成结果，在3D和4D token上不成立。于是自动检测并纠正。这是纯文本、纯2D模型做不到的。

雷峰网：我们深有体会。前阵子圈子里流行一个段子：问大模型“我去洗车，是开车去还是走路去”，它说这么近走路去就行，完全没意识到洗车必须把车开过去。

赵昊：对，这个例子非常有名。它说明大语言模型现在没有智能。我再说一个我们这行的“内部梗”。我去年在ICLR挂了100多篇paper，按惯例会问大语言模型，论文的缩写名起什么好。结果100篇里，GPT建议叫“FORGE”的不下20次，因为forge是铁匠的意思，做世界模型就是build something，GPT觉得我什么工作都能叫什么什么forge。

雷峰网：所以它是论文界的“子涵”？

赵昊：（笑）对，就是论文界的子涵。

所以大家在自己擅长的领域，都能get到大语言模型没有智能。它毕竟还是一个把过去知识总结起来、再呈现给你的神经网络。说它有通用人工智能的人，可能连重度用户都算不上。

那怎么样才有AGI（通用人工智能）呢？让一个大语言模型agent生活在我构建的4D可控世界模型里，整天在里面探索、交互、自我进化。它迟早有一天会发现，原来我要去洗车，必须把车开过去。

这件事，靠现在所有互联网数据的预训练，或者在代码环境、操作系统环境里的强化学习后训练，都是解决不了的。这是最符合第一性原理的路。

09

要坚定say no

雷峰网：我们听说你四五年前就有创业想法，为什么是现在？

赵昊：我一直蠢蠢欲动。

我和赵行（清华交叉信息院助理教授，星海图创始人），2025年夏天在福州开CICAI，我们站在场馆外面，一边感慨“怎么这么热”，一边讨论要不要创业。他给我透露了星海图的融资进展，我心痒痒。

还有高阳（清华交叉信息院助理教授，千寻智能创始人）。有一次我们从会场一起打车回清华，在车上聊了一个小时，做了一场“大对账”：commit多少，回报多少，这个事要不要干，那个事要不要干。大家都不是圣人，都得算清楚。

雷峰网：你比他们观望得久，但迈步比他们都大。他们做小股东，你直接一号位实控。

赵昊：对。我之前一直不敢，说白了是没想清楚自己是否真的ready，回报是否足够。后来发现他们做得都很好，答案是我ready了。我的朋友李弘扬跟我说过，今年真正实控一号位的，也就许华哲（清华交叉信息院助理教授，清华具身五杰之一）、我和他自己三个人，和上一波科学家创业都不一样。

雷峰网：从“喝茶”到“喝酒”，从学者到要算细账的老板，准备好了吗？

赵昊：首先，我是一个算账算得挺明的人。我实验室有那么多实习生、项目在运转，账算不明白不可能维持运转。第二，现在是一个非常tricky的时代，很多革命性的东西是在青年科学家指导下，由非常年轻的人做出来的。

20岁出头的年轻人只拿很低的实习生工资，但真正卓越的贡献是他们做出来的。这也是为什么我说自己是17岁，永远有更年轻的天才在冲击你。

雷峰网：你的4D原生世界模型需要什么数据？

赵昊：大量仿真数据。这在CV界是惯例：所有图生3D模型都在三维模型上训练，今年CVPR最佳论文D4RT的sceneflow数据也是仿真数据，Sora的成功靠的也是大量特效数据，特效本质就是仿真。

我的数据来源分三部分：第一，百万到千万量级的三维资产集，包括刚体、柔性体和铰链体，最近还和阿里合作；第二，把这些资产按物理规律组合，用团队自研的IPC仿真器生成大量4D数据；第三，用过去的神经渲染积累，把4D表征生成非常真实的视频，再做语言模型打标，拿到五种token配对的数据。

雷峰网：仿真数据训练，sim-to-real（从仿真到现实的迁移）的gap怎么解决？

赵昊：我们要学的是物理规律的演化生成，学的是基模的能力。就像第一个AI时代，大家先用分类任务做基本表征学习，再迁移到检测和分割。仿真数据里的几何和力学信息绝对精准，存在的sim-to-real gap，我们靠真实数据上的自监督来缩小。

PrimalVerse优先落地手术机器人、仓储、自动驾驶和影视。自动驾驶优先级最低，因为汽车行业too big，监管多，利润被压得很薄。宇树现在利润高，是因为不用给百万千万级用户开4S店。当它出货量达到1000万台、需要开4S店时，利润就不会这么高了。这是自动驾驶行业的一个insight。

雷峰网：开源还是闭源？

赵昊：我倾向小模型开源、大模型商用，这是商汤旷视时代就有的范式。但商业选择是动态决定的，不是我现在拍脑袋能想出来的。

雷峰网：最后问个大的。如果4D世界模型真的做成了，它会让很多工种消失，你怎么看？

赵昊：蒸汽机取代纺织工人，200年后世界人口是增多的，说明生产力解放是好事。现在确实处于阵痛期：初级文职工作变少，资深的人借助大语言模型变得更卷。但长远我是极端乐观的。有了真正的通用Physical AI技术，人类就可以去火星殖民。先把PrimalVerse的token驱动的机器人和无人机派到火星上，把基地建起来，未来全人类人口可能从80亿变到160亿。

雷峰网：所以火星人也应该关心你的4D世界模型研究。

赵昊：（笑）长远来看，我相信技术进步会让生活越变越好。

雷峰网：我还是很好奇，外界最常用来诱惑你，但现在你会坚定say no 的事是什么？

赵昊：我觉得很多事情让我已经太boring了。我觉得我已经到了人生要搞就搞个大的的时候了。我要坚决sayno的就是，如果还有人想要驾驭我或者控制我，我觉得我会坚决的sayno。我已经到了最终发车的那个时候了，我要成就我自己的梦想和事业。