网易首页 > 网易号 > 正文 申请入驻

全球首款,中国造!8K AI空间相机来了,皮克斯抢先上手

0
分享至


新智元报道


皮克斯园区那盏经典大台灯,被一台中国相机扫进了3D世界。

旁边的彩球、树木,连地面的光影,也一起被记录下来。

操刀的人,是皮克斯RenderMan创意负责人Dylan Sisson。相机来自禾赛,名叫Kosmo。


把电影公司的园区扫描进电脑,乍看像一次技术炫技。可顺着这条线往下看,会发现它与最近AI圈最热的方向,撞到了一起。

就在昨天,刚开放的Gemini 4 Argon,已经被谷歌用于探索机器人任务。

官方演示中,波士顿动力的Spot先在仿真环境里练习踩垃圾桶踏板,再去现实中把易拉罐丢进去。



AI要走出屏幕,得先有一个靠谱的地方练手。

电影人也有类似的烦恼:眼前这条街很漂亮,怎样把它完整带进电脑,让导演随时换机位,让艺术家接着改?

10月14日,禾赛正式发布三维世界数据引擎Kosmo,与云平台Kosmo World。

与此同时,全球首款集成8K影像系统的AI空间相机——Kosmo One诞生了!


这家以激光雷达闻名的公司,开始把真实世界转成可反复使用的三维数据。

影视创作与具身智能,看似隔着十万八千里,却在这里找到了交集。

连皮克斯都坐不住了

那盏大台灯搬进「赛博世界」

要搞懂Kosmo的杀伤力,就得先看看它在皮克斯手里,到底掀起了多大的风浪。

了解影视业的朋友们都知道,皮克斯旗下的RenderMan,是好莱坞绝对的「御用神级渲染器」。

从《玩具总动员》开启电脑动画时代,到后来的《阿凡达》《星球大战》《曼达洛人》,几十年里拿下无数座奥斯卡最佳视觉效果奖。

在计算机图形学这片丛林里,皮克斯就是规则的制定者。

而RenderMan的灵魂人物之一Dylan Sisson,前不久干了一件极其浪漫又硬核的事。


他提着一台禾赛的Kosmo空间相机,走到了皮克斯加州总部的标志性广场上。

那盏全宇宙影迷都无比熟悉的巨型台灯(Luxo Lamp),以及那颗经典的皮克斯红黄蓝三色球,就立在广场中央。

Dylan打开相机,在园区里溜达着扫了一圈。

用Kosmo扫描的皮克斯广场,再用RenderMan渲染的效果

传统好莱坞团队要是想把这样的实景搬进电脑做特效,得怎么干?

一支几十人的专业扫描和测绘团队,架着重型设备在现场待上好几天,拍成千上万张不同曝光的照片,再由几个高薪的模型师花上两三个星期一点点手工拓扑、贴图、抠细节。

但Dylan拿着Kosmo,在短时间内就完成了微秒级的数据采集。

紧接着,这些数据被导入Houdini,再接入RenderMan 28测试版的渲染工作流。


凭借3DGS技术与激光雷达的毫米级精度融合,皮克斯广场的每一寸地砖、跳跳灯金属外壳上的斑驳反光,被完完整整地还原在数字空间里。

更震撼的是,他还用RenderMan的风格化渲染工具,在这些真实三维高斯数据上进行艺术二次创作。

短短几步操作,真实世界里的皮克斯总部大楼,瞬间化身成了带有细腻手绘笔触、浓郁油画质感的动画梦境。

Dylan甚至专门为这个项目制作了一套官方教学案例,发布了这套工作流的教程。

好莱坞找上门,其实在禾赛的计划之外。

禾赛CEO李一帆坦言,Kosmo本来是为机器人训练做的,影视圈的热情,是品质做得太好带来的「意外惊喜」。


皮克斯负责渲染的老大给他的评价是:这类技术一直存在,但从没见过完成度这么高的产品。

真实空间,就这样变成了艺术家手里的数字积木。

几百万搭的景,它一周搞定

对剧组来说,这条路径还有个很实在的吸引力:省工夫,也省预算。

过去拍电影,剧组最怕两件事:勘景和搭景。


主创团队满世界飞,勘景动辄吃掉前期筹备预算的30%;搭一个上万平米的欧洲街景,施工队要紧锣密鼓干上两个月,烧掉几百上千万,拍完一拆全成建筑垃圾。

中途导演想改个光照、换个机位,全组都得跟着加班脱层皮。

现在用Kosmo,一个人、一天就能搞定现场数字化采集,勘景成本有望从前期预算的30%直降到5%;万平米的街道实景,扫描加上重建编辑只需要一周,综合成本能省下高达80%。

更重要的是,场景里的每棵树、每扇窗都变成了可交互、可编辑的三维资产。

白天随时能调成黑夜,灯光能重新布置,如果后期需要补拍,直接调出已有资产在虚拟棚里就能拍。

全球首款8K AI空间相机

Kosmo One登场

这台设备,某种程度上是被客户「逼」出来的。

李一帆回忆,测绘、建筑这些行业不断来要更高精度的激光雷达,从几厘米一路做到毫米级,而且东西够好就愿意多付钱。


但一颗高精度激光雷达,只是开始。客户还得配齐摄像头、惯导和计算平台,再把这些部件整合成一套系统。

禾赛于是决定,把这套集成工作也接过来,直接做成一台完整的设备。连里面那颗激光雷达,都是为毫米级精度和小体积重新开发的。

那么问题来了,普通相机也能拍照片、录视频,Kosmo One多做了哪一步?

看一张桌子的照片,你能认出桌子。可要准确知道桌沿离机器人多远、台面有多高,或恢复拍摄时相机的位置,还需要额外的空间信息。

Kosmo One把激光雷达、8K影像系统、一英寸大底CMOS和高精度IMU装进了同一台设备。


雷达负责测距离,影像系统记录颜色和纹理,IMU跟踪设备运动。它能对空间几何、影像与设备位姿进行微秒级同步采集。

然后,重建系统把它们拼成三维场景。

其中的关键技术,便叫3D Gaussian Splatting,简称3DGS(3D高斯泼溅)。

很多人以为3DGS就是给点云上个色,或者把照片贴到墙上,李一帆专门纠正过这个误解。

墙上挂的时钟,正面和侧面反射的光完全不一样。全景照片只能站在固定点看,点云贴图也只有一个亮度,换个角度就假。

3DGS的做法说起来「很土」:扫描时把各个角度的光都采一遍,拼成一个信息量高得多的模型,从哪儿看都是真实的那一面。

镜头可以在重建的空间里移动,看看同一个地方从另一个角度是什么样。

这种能力对电影人很有用:导演试机位、做镜头预演,终于有了可以绕着看的实景素材。


它的几何精度达到了毫米级,而且最高能录8K画面。不过这里要说明一下,8K是指镜头本身的最高采集分辨率,最终导出的成片其实最高是6K。

此外,使用流程也被压缩了。普通室内100平米大概15分钟就能扫完,当然具体多久还得看户型复不复杂、要求高不高。

设备开机就能直接扫,中间有智能引导,断了也能一键续扫,后续直接把数据扔给Kosmo World云平台去跑就行。

扫描一间屋子的门槛降下来,3D采集才有机会从专业团队的项目,变成更多创作者日常能用的工具。

机器人上课,还得把距离算准

电影里,一处场景首先得让观众相信。

机器人走进去,还得知道哪里能走、哪里会撞,伸手能不能碰到目标。

假设它要拿起柜台上的杯子,训练场景里杯子的位置偏了一截,再漂亮的画面也救不了抓空的手。

禾赛联合创始人、CTO向少卿把这个难题概括为数据的「不可能三角」:高质量、大规模、低成本,很难同时拿到。


照片、视频记录了画面,距离、相机位姿和真实空间关系,还要额外获取。纯仿真能批量生成,材质、摩擦和形变却容易偏离现场。真机遥操足够真实,又得投入设备、人力和时间。

李一帆举过一个例子:同一个场景让纯视觉模型重建,桌子歪了、椅子歪了,因为全靠概率猜。200个特征猜对150个就没法用,激光雷达能把200个全做准。

因此,高质量的真实世界数据,已经成为物理AI发展的最大瓶颈。

Kosmo World底层的Kosmo Spatial Core,简称KSC,会在一次重建中生成三种空间对齐的数据:3DGS、mesh和depth。

3DGS尽量还原场景外观,让机器人看到的画面更接近现场。

mesh就是三维网格,用来表达物体表面与结构,为拆分物体、设置碰撞和交互提供基础。

depth是深度数据,记录空间距离,帮助把物体落到准确的坐标上。

三种数据来自同一个场景。机器人眼里的柜台,与仿真系统中用于碰撞计算的柜台,需要待在同一个位置。

KSC还能识别场景中每个物体的语义属性,把静态模型变成可以交互的智能对象;未扫到的盲区,原生AIGC会自动推断补全。

它甚至能根据具体机器人自带相机的特性做视觉适配,让机器人在「自己眼中」的世界里训练,进一步缩小仿真与现实的差距。

DQ打冰淇淋,全靠它了

在发布会现场,禾赛晒出了一个已经跑通的真实商业闭环——Sharpa机器人在DQ冰淇淋门店打冰淇淋。

别小看「在DQ打一杯暴风雪冰淇淋」,这对机器人来说简直是地狱级考题:

门店灯光复杂、不锈钢机器表面全在反光、取杯子力道大了会捏扁、接冰淇淋位置偏两毫米就会洒一地。

过去,专业团队人工建模还原一家门店,约需投入300个小时。

现在拎着Kosmo进店,15分钟扫完直接生成高保真三维训练场。

Sharpa机器人在这个数字孪生的DQ店里疯狂特训之后,真机上岗时的失败案例直接暴跌到原来的十分之一,任务成功率飙到了惊人的99%,稳稳当当地在真实门店里系上围裙上岗打工了。


先在数字门店练习,再回实体门店验证,也能少花一些现场试错的钱。

禾赛的三位联合创始人——李一帆、向少卿、孙恺,也共同创立了Sharpa。

同一支创始团队,恰好连接起了空间数据采集与机器人使用数据的两端。

现场,Kosmo还与银河通用、原力灵机签订战略合作。下一步能否适应更多机器人、更复杂的任务,要靠这些具体场景来检验。

世界模型再会「做梦」,也得见过真世面

对世界模型来说,这样的门店还有另一种用法:让AI在脑子里「逛店」。

往柜台左边挪两步,会看到什么?走近冰淇淋机,画面又该怎么变?

这些空间关系,得对得上。总不能镜头一转,柜台就挪了窝。

Kosmo提供的1:1精准数据与真实位姿,恰恰成了世界模型理解物理世界规律的「真实度量衡」。

更夸张的是效率提升,基于同一个精准三维空间,KSC在云端能自动衍生上万条机器人训练轨迹。


按禾赛的测算,相比用真机采集高质量轨迹数据,花同样的钱,Kosmo的数据获取效率能提升100倍以上。

具体提升幅度,会随场景规模、轨迹数量和参数设置变化。

李一帆把Kosmo称为「顺AI」的产品:AI越强,能解决的问题越多,反而越需要真实世界的原材料。纯AIGC只是拿已有信息反复「编」,不会带来新信息,就像AI短剧里的人脸,看来看去都长一个样。

当全行业都在追逐世界模型,真实三维数据就成了最硬的硬通货,Kosmo正是背后那个无可替代的数据底座。

如今,同一份真实空间数据,正在流向更多工作流。

禾赛也在围绕这件事连接工具生态,面向RenderMan、Houdini、UE等创作平台,以及英伟达Isaac Sim、Isaac Lab等机器人仿真平台开放数据与三维资产。

甚至,在咱们普通人的日常生活里,Kosmo的数字触角都已经悄悄铺开了:

9月云栖大会上,Kosmo与近10亿月活的高德达成战略合作,首批重建的「重美术馆」「偏锋画廊」已上线扫街榜「飞行街景」,出门前就能在手机里先逛一圈。

文旅这边,Kosmo与联合国合作伙伴TRIC合作,以成都杜甫草堂为蓝本打造沉浸式数字艺术作品,让故居空间成为可远程体验、继续创作的三维素材。


下一站,物理AI

「数字AI已经起飞,而物理AI的基础设施仍亟待建设。」

禾赛联合创始人、CEO李一帆的这句话,道出了Kosmo背后的另一层野心。

AI要从屏幕里走出来,光有聪明的大脑还不够。它得有真实世界的数据可学,也得有能把动作做出来的手脚。

过去十余年,禾赛死磕激光雷达一件事,硬生生把芯片级全栈自研、光电系统和车规级智造做到了极致。

据介绍,激光雷达交付量已连续9年实现翻倍式增长。


李一帆说,这并不能叫做「转型」。转型是造飞机的去卖大米;而禾赛攒下的光机电设计、定制芯片和成本质量体系,本来就不只属于汽车,往机器人走,是能力的外延。

顺着这条路,禾赛给自己划出了两条路线。

三维世界数据引擎,负责把现实变成训练与创作素材。Kosmo,就是这条路线的首次系统性产品化落地。

机器人运动引擎,负责让机器真正动手。它的核心是动力模组,驱动手指和关节,决定机器人能否把动作做得有力、精细。

这一块的重要性,常被只盯着大脑和世界模型的人低估。

汽车只有前后、左右两个自由度,人形机器人轻轻松松近100个。李一帆算过,驱动和关节占掉一台机器人一半以上的成本,相当于电车时代的电池。

更尴尬的是,此前根本没有成熟供应链。第一批做灵巧手的团队,小马达从哪儿来?答案是电动牙刷。

采用禾赛动力模组的Sharpa Wave(W01)触觉灵巧手,具备22个主动自由度,并已进入英伟达Isaac GR00T人形机器人参考方案。


按禾赛公布的数据,其动力模组体积比同类产品缩小37%,功率密度提升至3倍;截至2026年第二季度末已交付超过1万套,正从灵巧手向全身关节拓展。

在李一帆的规划中,三维世界数据引擎与机器人运动引擎,将成为禾赛的第二增长引擎。

他甚至提前立了个flag:禾赛的空间智能产品,最终会是一件比激光雷达更大的事。

过去十年,禾赛做的是让机器看见世界;下一个十年,我们要做的是让机器人理解并改变世界。


如今,皮克斯拿它的相机搞创作,机器人用它的数据练干活,世界模型也有了真实参照。

虚拟世界的狂欢已经够热闹了。

下一场考验,就在真实的柜台前。AI要走出来干活,得先把这个世界学明白。

编辑:桃子 所罗门

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
12.88万元起,广汽埃安Ray7预售2小时订单达6817单

12.88万元起,广汽埃安Ray7预售2小时订单达6817单

IT之家
2026-10-17 23:26:05
上海徐浦大桥发生惨烈车祸,变道致多车相撞有死伤!监控画面曝出

上海徐浦大桥发生惨烈车祸,变道致多车相撞有死伤!监控画面曝出

胡侃社会百态
2026-10-17 18:38:26
炸裂!懂车帝前主编“反击”东门健男,曝出惊人猛料

炸裂!懂车帝前主编“反击”东门健男,曝出惊人猛料

大厂财经社
2026-10-15 20:31:49
想听听大家的人生都烂到什么程度了?网友:985,姐姐卖房帮还债

想听听大家的人生都烂到什么程度了?网友:985,姐姐卖房帮还债

另子维爱读史
2026-10-16 20:13:09
大势已去?民主党全面领先,特朗普奔走3周仍难挽败局

大势已去?民主党全面领先,特朗普奔走3周仍难挽败局

玫瑰与花海
2026-10-18 13:19:45
邓文迪的二女儿,身高超过一米八且极为聪慧,二十三岁已成功获得硕士学位

邓文迪的二女儿,身高超过一米八且极为聪慧,二十三岁已成功获得硕士学位

一盅情怀
2026-10-09 16:07:51
高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

高原自曝生活内幕,揭示真相:她和王菲都不是赢家,窦唯的故事比你想象的更复杂。

草莓解说体育
2026-10-17 05:06:46
梅西梅开二度后嘲讽对手球员:你是不是还在转圈呢

梅西梅开二度后嘲讽对手球员:你是不是还在转圈呢

懂球帝
2026-10-18 10:57:11
中国即将迎来史无前例的死亡高峰,专家:这3个因素或是根本原因

中国即将迎来史无前例的死亡高峰,专家:这3个因素或是根本原因

冰语历史
2026-10-18 16:06:18
德转列右边锋身价榜:亚马尔2.2亿欧居首,奥利塞1.8亿欧第二

德转列右边锋身价榜:亚马尔2.2亿欧居首,奥利塞1.8亿欧第二

懂球帝
2026-10-17 21:20:46
丧心病狂!母亲刚咽气,英国62岁男子竟对遗体下手,亲儿子撞破当场崩溃

丧心病狂!母亲刚咽气,英国62岁男子竟对遗体下手,亲儿子撞破当场崩溃

全球吃瓜现场
2026-10-17 21:12:49
泽连斯基谈及与普京可能的会晤地点

泽连斯基谈及与普京可能的会晤地点

参考消息
2026-10-18 16:48:54
笑掉大牙!哈梅回英首秀比威廉凯特还受欢迎,细看猫腻太多

笑掉大牙!哈梅回英首秀比威廉凯特还受欢迎,细看猫腻太多

可乐谈情感
2026-10-17 13:42:57
网红魏莹陪玩案后续:母亲曝不耻原因,连续陪3个大哥:她没离婚

网红魏莹陪玩案后续:母亲曝不耻原因,连续陪3个大哥:她没离婚

阅微札记
2026-10-15 10:11:44
谁才是世界第一粮仓?世界六大粮食生产国,都有谁?

谁才是世界第一粮仓?世界六大粮食生产国,都有谁?

抽象派大师
2026-10-18 10:21:26
全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

全世界都被普京骗了?打乌克兰只是幌子,真正目标其实已悄悄布局四年

扶苏聊历史
2026-08-27 16:15:02
谁更适合执教女篮?传奇后卫转型名帅,六大优势尽显,比宫鲁鸣更适配

谁更适合执教女篮?传奇后卫转型名帅,六大优势尽显,比宫鲁鸣更适配

体育见习官
2026-10-18 06:55:08
梅西世界杯至今5次满分10分!差不多是C罗生涯总数的一半!

梅西世界杯至今5次满分10分!差不多是C罗生涯总数的一半!

罗吹终结者
2026-10-18 13:26:44
泰国全员是“赏金猎人”?泰国电诈再升级!专卖这两类中国人

泰国全员是“赏金猎人”?泰国电诈再升级!专卖这两类中国人

怪味历史连连看
2026-10-17 16:58:53
沙特阿拉伯判处一名男子死刑,原因是他在15岁时参加了抗议活动

沙特阿拉伯判处一名男子死刑,原因是他在15岁时参加了抗议活动

花寒弦絮
2026-10-17 01:59:53
2026-10-18 17:32:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16458文章数 67164关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

埃及街头现凉皮小摊一碗16元 老板:希望未来能开餐馆

头条要闻

埃及街头现凉皮小摊一碗16元 老板:希望未来能开餐馆

体育要闻

升级版杨瀚森再闯难关:当上开拓者第三中锋还得拼

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

家居
艺术
教育
游戏
旅游

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

莫奈笔下的风景,藏着世间转瞬即逝的温柔

教育要闻

爷爷奶奶笑开颜!小画师用画笔送上重阳祝福

《巫师3RE》官方承诺继续优化!Switch 2玩家先别急

旅游要闻

循着秋色走遍北京“四极”,彩叶画卷已徐徐展开

无障碍浏览 进入关怀版