网易首页 > 网易科技 > 网易科技 > 正文

张一鸣亲自下场!字节押注世界模型,想让你“走进”视频

0
分享至

出品 | 网易智能

作者 | 小小

编辑 | 王凤枝

张一鸣想用世界模型,把视频变成一个能“走进去”的世界。

9月7日,彭博社援引知情人士称,字节跳动正在基于Seedance开发实时空间视频生成模型,张一鸣亲自协调跨部门团队和算力资源,最快可能于10月推出,计划仍可能调整。

它瞄准的不只是一段生成好的视频,而是能随用户声音和动作变化的虚拟环境,应用方向包括直播、短剧和游戏,并计划服务Pico头显。

字节这次想做的事情有点不一样:过去让用户接着看下一条视频,现在希望用户直接参与画面里的事情。


01张一鸣亲自协调的,是几支不同的团队

张一鸣已经离开字节跳动的日常管理多年。2021年,他先后卸任CEO和董事长,梁汝波接过公司管理工作。

这次,彭博社描述的是他对一个具体项目的参与:协调不同业务部门,并向项目投入AI资源和计算能力。字节跳动没有回应彭博社的置评请求。

这款模型需要衔接的环节不少。Seedance提供视频生成能力,云端承担大量计算,Pico负责用户与虚拟环境之间的交互,直播、短剧和游戏则是预期的应用场景。模型研发、基础设施和产品团队需要围绕同一段体验配合。

彭博社还把这一项目放在字节的业务调整中观察:公司正在把相当一部分企业服务业务转向视频制作和生成。过去,生成模型主要帮创作者把内容做出来;这次,字节还希望把观看内容的人带进来,让他们参与画面中的事情。

几个部门要一起解题。模型团队负责画面,云端负责算力,设备要接住用户输入,内容团队还得设计出让人愿意参与的玩法:任何一环单独拿出来,都还不是用户手上最后拿到的东西。

X用户@VaibhavSisinty关注的正是张一鸣的参与。他认为,交出公司日常运营之后,张一鸣亲自推动的这项技术,目标已经从生成视频延伸到能够随着用户移动和交谈而变化的数字环境。

据科技媒体The Next Web转引36氪此前的报道,字节跳动为2026年设定了四项AI优先事项,世界模型排在首位,另外三项是保持Seedance的视频生成优势、提升编码能力和推进豆包商业化。

同一报道还称,世界模型方向的数据预算达到八位数人民币,是其他中国竞争实验室的三到四倍;字节内部设定的目标,是在2026年底前至少推出一款世界模型。

02视频生成之后,还要接住用户的动作

Seedance为这项研发提供了现成的起点。它已经被用于CapCut、豆包等字节产品,也进入了创作者、独立电影工作室和AI初创公司的工作流程。

生成一段视频时,模型可以先把画面做好,再交给用户观看。字节这次想做的实时环境,得跟着用户一起动:向前走,眼前的视角推进;转过身,还能看到连贯的四周;说话或做出动作,系统跟着回应。

两种体验对创作者的要求也不一样。拍一段室内镜头,事先就能定好从哪里拍、最后停在哪里。但把同一间屋子交给用户探索,情况就复杂了:有人径直走向门口,有人可能突然回头,原本不在镜头里的部分也会进入视野。实时生成要处理的,恰恰是这些没有事先排好顺序的变化。

速度只是其中一部分。前后画面还得接得上,否则每次改变视角,用户面对的可能就是另一个场景。Seedance已有的视频生成能力可以作为基础,持续互动又增加了新的要求。

X用户@glitchtruth把字节的潜在优势放在视频数据上。他认为,抖音和TikTok积累的大量现实世界影像,与世界模型需要学习的视觉信息有关。此次报道未交代该项目具体使用哪些训练数据。

视频里记录着物体移动、人物行动和环境变化,这也是视频公司进入这一领域容易让人产生期待的原因。但素材多,并不直接等于模型强。哪些内容适合训练、怎样整理和使用、训练后能否稳定应对新的场景,仍要靠研发解决。

X用户@marpoleAI更看重用途的变化:相比生成更好的视频片段,能够实时生成连贯环境的模型,未来可能用于游戏、机器人和自动驾驶模拟。在他的理解中,模型要交付的不再只是一段内容,而是一个可互动的环境。

机器人训练和娱乐体验要的东西不一样。The Next Web转引的报道提到,字节同时推进两条路线:一条面向具身智能和机器人,结合视觉、语言和动作;另一条面向3D模拟、娱乐和游戏。当前披露的空间视频模型属于后者。

这也决定了该怎样看待它的进展。让观众在一个虚拟场景里转身、移动,与让机器人利用模拟环境学习动作,是不同的任务。前者如果做成,已经可以带来新的娱乐体验,不必同时承担证明机器人理解物理世界的任务。

李飞飞和杨立昆长期关注的,是机器怎样理解空间与现实环境。世界模型也因此与机器人、自动驾驶等方向联系紧密。字节这款项目选择的近期应用,是让人进入生成的环境里观看、互动和游玩。


03计算搬到云端,账也跟着变了

彭博社援引一位知情人士称,这款模型可以按需生成每秒20帧的视频,延迟约为50毫秒。报道没有说明延迟的测量范围和测试条件,这组数字还无法直接回答用户戴上Pico之后,互动究竟有多顺畅。

看一段已经生成好的视频,可以先等它加载,再从头播放。但交互环境很难把等待放在体验之外:用户转头以后画面还停在原处,就会直接打断参与感。生成速度、网络传输和设备显示得一起配合,用户戴上头显才能感觉到流畅。

按照报道描述的方案,大量空间内容生成计算将放在云端完成,再把结果传到设备上。字节希望借此降低头显对本地处理能力的要求,为更便宜、硬件配置更简单的设备创造条件。

如果这些计算都留在头显里,设备就需要更强的处理能力,耗电和成本都会跟着涨。云端方案想绕开这个问题,让用户不必仅仅为了生成更复杂的场景,就在头上戴一套更强的计算设备。

彭博社在报道中提到,Meta已经围绕Quest投入多年,苹果也把Vision Pro定位为高端空间计算平台,但两者都还没有真正走向大众市场。字节这条路线的吸引力,在于同时尝试两件事:降低设备的硬件门槛,并让设备里可体验的内容更容易生成。

设备可以少承担一些计算,服务器却仍要完成这些工作。尤其当用户持续与环境互动时,模型需要根据新的输入继续生成,计算开销也会随之增加。

不过,直播、短剧和游戏,并不能统一按观看分钟来算推理成本。

如果创作者先用模型做出一段素材,再让很多人观看,生成成本可以由后续播放分摊。但如果每位用户都在改变自己的视角和互动过程,平台就得为这些不同的操作持续生成。内容能复用多少、哪些部分需要重新计算,会直接影响后一种服务的开销。

用户规模也会改变这笔账。一段演示只需要让眼前这次互动顺利完成;面向大众的服务要同时接住许多人的操作,还得保证不同用户拿到的体验足够稳定。把模型做出来之后,服务器容量和运维效率还得跟上。

这里首先要算的是平台提供服务的成本,而不是用户一定要按分钟付费。字节尚未公布这款产品的收费方式。

X账号@DinoLeadingNews在讨论实时交互环境的未来用途时,把它看作AI智能体训练与测试的一种潜在基础设施,并将成本能否持续下降视为普及的重要条件。

字节正在扩大公司整体的AI基础设施投入。彭博社9月7日的报道提到,公司此前一周获得了约300亿美元贷款,用于扩充AI能力、数据中心和相关硬件。

更早的5月27日,彭博社报道,字节当时讨论的2026年资本支出为4000亿至5000亿元人民币,约合590亿至700亿美元;作为对照,报道给出的2025年资本支出约为250亿美元。新一年的规划上限,已经超过上一年的两倍。

这份预算仍是动态计划,会根据业务需求、硬件和电力供应情况按季度调整,最终金额可能不同。它覆盖公司整体的数据中心和其他AI基础设施,并非这款世界模型的专项预算。

在那篇报道中,DZT Research驻新加坡科技分析师柯岩认为,字节、腾讯和阿里巴巴正越来越多地把AI基础设施视为战略资产。他还提醒,考虑各地建设和运营成本后,中美科技公司的实际投入差距可能小于美元金额呈现的差距。

04字节的机会,藏在已有的内容业务里

在字节准备推出新模型时,其他公司也已经沿着不同路线接近用户。

今年1月,谷歌已向美国符合条件的Google AI Ultra订阅用户开放Project Genie,让他们创建和探索交互世界,官方将其定位为实验性研究原型。

就在9月1日,李飞飞创办的World Labs也公布了新一代世界模型Atlas,将镜头控制、空间重建和仿真等能力放进同一套模型。目前Atlas面向选定合作伙伴提供早期访问,尚未向普通用户全面开放。公司表示,它将为未来版本的Marble及其他产品提供能力。

World Labs已有的Marble则早在去年11月就向公众开放,用户可以生成和编辑3D世界。

X账号@aim_predict认为,字节加入实时交互式3D生成,会给谷歌Genie、World Labs等参与者带来更多竞争。

字节手中值得关注的,是已经存在的内容业务和创作工具。Seedance可以通过CapCut、豆包等产品接近创作者,Pico提供空间交互设备,抖音和TikTok拥有现成的内容分发渠道。如果新模型随后接入这些产品,就有机会进入用户原本已经在使用的工具和娱乐活动。

这种触达能力已经在字节的其他AI产品中出现。彭博社5月27日的报道提到,当时豆包月活跃用户已超过3亿,抖音则被用于推广公司的新产品。一项陌生技术能否在熟悉的入口里让人试上一次,会影响它从技术演示走向日常使用的距离。

其中,Pico以及直播、短剧、游戏是此次报道明确提到的方向;抖音和TikTok是否会接入、以什么形式接入,目前还没有公布。

X用户@ricci_nov关注的是分发与反馈。他认为,拥有内容平台的公司,可以把生成、使用和用户反馈接在一起,观察人们愿意参与什么,再据此调整产品。

这种条件能帮字节接近用户,却不能替它决定用户究竟想玩什么。创作者、观众和头显用户对同一个模型的期待,可能相差很大。

直播和短剧的制作者可能会先用它调整场景、改变视角,把从想法到画面的过程缩短。他们未必需要一整个随意漫游的虚拟世界,能否更方便地做出一个镜头,可能就足以决定工具有没有用。

观众是另一回事。即使场景可以随着声音和动作变化,也还需要设计参与的理由:改变画面之后能发生什么,自己的选择能否影响接下来的体验。游戏和互动短剧可以探索这些玩法,但不能把生成环境本身当成已经完成的游戏或剧情。

到了Pico上,用户直接在空间里移动和转头,连贯的画面与及时的回应会更加重要。这与在手机上使用一个内容创作功能,既不是同一种体验,也不是同一道产品题。

字节不必把所有用途装进同一种产品,也不用等每位用户都先买一台头显。创作工具可以先服务一批愿意使用新技术的人,互动内容需要找到值得反复参与的玩法,头显要让设备和环境配合起来。

把这款模型介绍给用户,对字节不算最难。真正难的是:第一次体验之后,人们还愿不愿意再进去玩一次。

相关推荐
热点推荐
突发,景甜卖房了!

突发,景甜卖房了!

二胡的岁月如歌
2026-09-08 08:39:37
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
王菲刚传出男闺蜜风波,张柏芝再曝出儿子病情,谢霆锋如今处境真让人担忧

王菲刚传出男闺蜜风波,张柏芝再曝出儿子病情,谢霆锋如今处境真让人担忧

可乐谈情感
2026-09-08 08:52:26
3000米高空跳伞,妹子被同伴一脚踢晕,竟然没死?!然而她还想再跳...

3000米高空跳伞,妹子被同伴一脚踢晕,竟然没死?!然而她还想再跳...

英国那些事儿
2026-09-08 00:27:37
星宇股份董事长回应“批量解约应届生”:公司深刻反省并真诚道歉,对部分不实报道已投诉和举报

星宇股份董事长回应“批量解约应届生”:公司深刻反省并真诚道歉,对部分不实报道已投诉和举报

每日经济新闻
2026-09-07 14:43:11
深度拆解!郭德纲为何本人毫发无损?官方通报藏着真实逻辑

深度拆解!郭德纲为何本人毫发无损?官方通报藏着真实逻辑

乡野小珥
2026-09-08 09:36:12
章泽天采访何超琼才几天,难堪一幕曝光,刘强东当年的话应验了

章泽天采访何超琼才几天,难堪一幕曝光,刘强东当年的话应验了

离离言几许
2026-09-07 01:09:56
彻底疯狂!小米正式发布阔折叠 18 Fold,这价格远超预期!

彻底疯狂!小米正式发布阔折叠 18 Fold,这价格远超预期!

XCiOS俱乐部
2026-09-07 20:03:58
坦白与刘亦菲真实关系一年多,57岁余承东近况曝出,丝毫都不意外

坦白与刘亦菲真实关系一年多,57岁余承东近况曝出,丝毫都不意外

阿伧说事
2026-09-07 00:55:12
又倒下一个!网传合肥庐州公园,一年轻小伙子跑得太拼倒下,疑似心梗,跑友们立即伸手施救,并及时拨打急救电话

又倒下一个!网传合肥庐州公园,一年轻小伙子跑得太拼倒下,疑似心梗,跑友们立即伸手施救,并及时拨打急救电话

火山詩话
2026-09-07 11:43:30
比萨利巴还强!阿森纳锁定世界最佳后卫!阿尔特塔钦点

比萨利巴还强!阿森纳锁定世界最佳后卫!阿尔特塔钦点

澜归序
2026-09-08 09:46:33
小米再次背水一战

小米再次背水一战

全天候科技
2026-09-08 00:47:41
海航双胞胎姐妹花空姐,同时怀孕了

海航双胞胎姐妹花空姐,同时怀孕了

微微热评
2026-09-03 12:18:33
医生呼吁:马上停用3种调味酱,它是肠癌催化剂!再下饭也别沾

医生呼吁:马上停用3种调味酱,它是肠癌催化剂!再下饭也别沾

观星赏月
2026-09-07 00:44:10
杀伤链已成,伊朗重创6艘美舰,美军后勤崩盘,普京暗中送上助攻

杀伤链已成,伊朗重创6艘美舰,美军后勤崩盘,普京暗中送上助攻

陌上桃花开的
2026-09-07 17:28:50
满屏荷尔蒙!Netflix这一脱,又赢麻了

满屏荷尔蒙!Netflix这一脱,又赢麻了

来看美剧
2026-08-28 21:18:06
郭晶晶同框两位弟媳!霍家三儿媳罕见合影,谁最有豪门相?

郭晶晶同框两位弟媳!霍家三儿媳罕见合影,谁最有豪门相?

阿废冷眼观察所
2026-09-08 06:52:10
CCTV女篮世界杯直播表:确定直播B、C组争第一!日本生死战最危险

CCTV女篮世界杯直播表:确定直播B、C组争第一!日本生死战最危险

越岭寻踪
2026-09-07 07:33:14
普京密谈3小时!特朗普方案曝光?克里米亚归俄乌克兰不入北约?

普京密谈3小时!特朗普方案曝光?克里米亚归俄乌克兰不入北约?

阿器谈史
2026-09-07 14:26:48
这也太像了!河北女篮小将长相酷似孙颖莎 连发型都一样 本人回应

这也太像了!河北女篮小将长相酷似孙颖莎 连发型都一样 本人回应

念洲
2026-09-07 16:38:42
2026-09-08 10:28:49

科技要闻

小米再次背水一战

头条要闻

女子称"停捐后遭机构催捐嗤笑" 联合国儿童基金会致歉

头条要闻

女子称"停捐后遭机构催捐嗤笑" 联合国儿童基金会致歉

体育要闻

郑钦文,奇迹只发生在相信奇迹的人身上

娱乐要闻

郭德纲乱改抗战歌曲被重罚!

财经要闻

全球黄金“回家”

汽车要闻

智能可变大空间SUV 小米澎程系列车型上市 20.99万起

态度原创

房产
亲子
游戏
教育
公开课

房产要闻

10万人吃瓜!三亚这个楼盘,法拍网上卖疯了!

亲子要闻

儿子满月了,从月子中心回家了

索尼赛车即将王者归来?《GT赛车8》或要加速开发

教育要闻

2026雅思托福日语备考,哪些语言学习app能根据水平和目标帮你精准提分?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版
×