网易首页 > 网易号 > 正文 申请入驻

实时交互视频的GPT-3时刻,可能被一个国产团队摸到了

0
分享至

大家好,我是冷逸。

昨天,中国团队Xmax AI发布了一款实时交互AI视频模型「X2.0」,我参与内测体验了几天,有点离谱,也有点好玩。

它不像Seedance、Kling、Wan那样卷画质,也不跟你比谁的电影感更强。它从交互方式上另辟了一条路,让视频从“只能看”变成了“可以上手玩”。

比如,输入提示词“双眼发射激光”,右边的output界面立刻就会有画面,光影、人物面部和运动细节全都对得上。


选择一个角色,人物秒变早川秋,动作、表情完全同步。


选择一件衣服,一键换装,只有服装变,其他都不变。


在手机里捏一下小狗的头,它就跟着我的手指活了过来。

而且,全都是实时生成的。


先搞明白,X2.0到底是个啥

我们现在熟悉的AI视频模型,不管是Seedance、可灵还是Wan,逻辑都一样:写一段prompt,点生成,然后等。等它渲染完,吐给你一个固定的视频文件。你只能看,改不了。

Xmax AI走的是完全不同的一条路。

打个比方,其他AI视频模型像“看电影”,片子早就拍完剪好了,你坐那儿从头看到尾,剧情一个字都改不了;X2.0像“打游戏”,画面是跟着你的操作实时长出来的,你往左它就往左,你伸手它就变。你不再是观众,你是玩家。

官方给它的定位叫“视频流的操作系统”。这个说法有点大,但玩过之后我承认,它确实抓住了那个感觉:视频不再是一段结果,而是一个你能实时操控的交互媒介。


响应有多快?毫秒级,几乎0延迟。真的就跟刷抖音一样,手指划到哪画面变到哪,中间没有那个让人抓狂的转圈等待。

今年2月,Xmax AI发布了第一代模型X1,在海外社交媒体上引起不小的关注,但那会儿的能力还停留在“秀技术”的阶段。

时隔5个月,他们带来了X2.0,几方面都做了升级:

  • 画质升级,从480p提到了960p、24fps;

  • 速度提升,毫秒级响应,几乎0延迟;

  • 交互升级,新增实时换人、换装等能力,也支持自定义prompt。

目前,X2.0已经在platform.xmaxai.com开放体验。首次注册送600积分,大概够你玩10分钟的视频。同时也开放了商用API,可以直接接进自己的产品里。


我上手玩了玩

这次X2.0带来了三大类、五项主打能力,我一个个说。

1)实时重渲

说白了,就是实时替换摄像头或视频里的主体,角色、服装、视觉风格都能换。

它拆成三个:CharX换人(人变、背景不变)、ClothX换装(只换衣服)、VibeX换风格(连背景一起换)。


比如对着摄像头随手一点,自己就变成了马斯克,动作跟得死死的,几乎没延迟。


不仅单人,多人换装也支持。只有服装变,动作和背景保持不动。


而且主体角色、服装、背景的参考图全都能自定义。你把指定素材传上去,它就照着参考图实时生成,渲染出新的视频。


想接API的话,填入这段命令,就能把它搬进你自己的产品:

});

2)触屏交互(MoX)

这个也很好玩。只需要在屏幕上轻轻拖拽(鼠标和触屏都行),就可以让静态图里的主体瞬间“变活”,也可以在任意视频中进行实时操纵。

比如鼠标在屏幕上一拖,里面的小猫就活了,能跟着我的手走。

3)次元互动(DimX)

这个最魔幻。

可以把虚拟角色直接召唤到现实里。


可以把手里的蛋糕换成一只小猪。


也可以让现实中的IP活过来,用语音控制它眨眨眼。注意啊,这不是AI生成的,这是实拍。


除了这三类,他们还有一个Free模式。打开摄像头或上传视频,自己写prompt,比如眼睛发射激光、嘴里喷火、全身着火变骷髅,右边就会立即出一个特效视频。


这说明 X2.0 在范式上已经取得了很大突破,能撑得起更多开放的场景和玩法。


这事到底难在哪里?

看着是好玩,但底下这套技术真不简单。

传统视频模型用的是双向attention,把整段视频一起建模,全算完你才能看到结果,这就是为什么要等。Xmax改成了逐帧自回归生成,算一帧给一帧,把响应时间压到了极致。

但这里有个“不可能三角”:速度、成本、质量,很难同时得到。

堆算力能变快,但成本上天,普通人玩不起;硬加速又容易把画质搞崩。Xmax的解法是多阶段融合蒸馏,加上FP8量化这类压缩手段,最后做到单张消费级显卡就能满血跑。

更狠的是端侧。他们做到了把模型塞进了iPhone本地运行,成为第一个能在手机上本地运行实时交互的模型。当然这里要实事求是,端上目前是384分辨率、16fps,比屏幕端的960p、24fps低不少。但能在一台手机上本地实时跑起来,这个场景一下子就打开了。

另外,成本上也值得单独说一说。

海外做实时交互AI视频比较有代表性的公司,是以色列的Decart,它的API是每秒0.02美元(720p),算下来是72美元/小时。X2.0的API海外定价是6美元/小时,不到Decart 的1/12;国内更低,只要20元/小时。


拿一个具体场景,你就明白这笔账有多省。按Decart的价,一个电商用户花2分钟在线试穿,成本是2.4美元,这个价格我相信很多商家都难以接受;换成X2.0,同样2分钟只要0.2美元,国内更是只要6毛钱。到了这个价位,大规模部署才真正算得过账来。


哪些场景能跑?

端侧能跑,云端也用得起,这两件事放在一起,就意味着X2.0有了足够宽的商用空间。

我随手列几个真实能跑通的:

  • 电商/服装:镜前实时换装,站着不动一分钟换99套,加速下单,还能降退货率。


  • 文旅:站在景区对着镜头,一秒换上古装或超级英雄,古迹前直接拍科幻大片。

  • 直播社交:主播一键变身,观众发弹幕就能实时操控你的衣服和动作,互动感彻底拉满。


  • 虚拟陪伴:隔着屏幕跟纸片人老公老婆互动,摄像头对着立牌,人就在屏幕里活了。

  • 短剧/影视:看短剧嫌演员不行?实时把他换掉,也可以把自己换上去,过把主角瘾。

  • IP潮玩:拿镜头对准桌上的labubu,它能在桌面上走动跳舞,从摆件变成伙伴。

还有视频社交也很有意思。跟好友视频不想素颜出镜,直接把自己实时换成一只喝咖啡的猫。这需求,懂的都懂。


这些不是demo花活,是能直接接API进生产流的东西。覆盖智能硬件、消费、文旅、社交、互动视频,横跨2B和2C。


体验完Xmax X2.0,我想聊得远一点。

一百多年前,卢米埃尔兄弟放《火车进站》,观众看到火车冲过来吓得四散奔逃。从那天起到今天,视频这个媒介进化了无数轮:黑白到彩色,电影到电视,长视频到短视频,胶片到4K再到AI直出。画质越来越好,生产越来越快,节奏越来越猛。

但你有没有发现,有一件事一百多年都没变过——你始终是坐在屏幕另一头的那个人,只能看。视频再精彩,也是拍好了、剪好了、推到你面前的一段结果。你和画面之间,永远隔着一层玻璃。

Xmax AI真正动的,是这层玻璃。

它变的不是画质,也不是速度,是人和画面的关系。你从观众变成了玩家,从被动接收变成了随手就改。抖音把内容的分发权交到了每个人手里,而X2.0是想把内容的生成权也实时地交出来。视频第一次不再是一段你只能看的结果,而是一个你能伸手进去操纵的世界。

这事的想象力,比又一个视频模型大得多。往小了说,是换衣不出门、看剧能换脸;往大了说,当每一块屏幕、每一个摄像头、每一副眼镜里的画面都能实时响应你,那很多商业场景都有了可以被重新定义的可能。

当然,得实事求是。X2.0现在不完美,960p只到消费级的合格线,端侧还只有384,内测版也有小bug。它离终点还远。但当所有人都在卷画质、卷电影感、服务专业创作者的时候,Xmax掉头去啃“人人可玩、实时交互”的视频,我打心眼里喜欢这个选择。

团队来自清华KEG和HCI实验室,智谱也出自KEG,这个出身不用我多说。他们自己说,正在逼近交互视频模型的GPT-3时刻。这话有点大,但方向我信。

u1s1,这一轮最好玩的AI视频,可能真不在硅谷了。

想玩的,现在就可以去他们官网体验。玩完记得回来告诉我,你把自己变成了啥。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTT澳门冠军赛:女单爆冷!张本美和3-1逆转,陈幸同压轴出战憾负

WTT澳门冠军赛:女单爆冷!张本美和3-1逆转,陈幸同压轴出战憾负

寒律
2026-09-12 11:44:36
港媒曝钟丽淇疑患渐冻症,本人发文:恳请大家多给一些私人空间

港媒曝钟丽淇疑患渐冻症,本人发文:恳请大家多给一些私人空间

调侃国际观点
2026-09-12 07:32:49
港版iPhone18系列,比国行最多便宜2700元,能去香港买么?

港版iPhone18系列,比国行最多便宜2700元,能去香港买么?

互联网.乱侃秀
2026-09-12 10:37:07
在俄罗斯8天,回国后才敢讲实话:对方看你是中国人,那态度变了

在俄罗斯8天,回国后才敢讲实话:对方看你是中国人,那态度变了

怪味历史连连看
2026-09-12 09:10:35
亚运两连胜!中国男篮46分狂胜巴林 廖三宁23+6李悦洲18分

亚运两连胜!中国男篮46分狂胜巴林 廖三宁23+6李悦洲18分

醉卧浮生
2026-09-12 16:51:09
23岁女子太漂亮,丈夫的好友想睡一下,2010年女子拒绝他被杀死了

23岁女子太漂亮,丈夫的好友想睡一下,2010年女子拒绝他被杀死了

汉史趣闻
2026-09-12 14:23:18
“宜宾一镇干部被指推女子入厕强奸”续:当地警方已立案

“宜宾一镇干部被指推女子入厕强奸”续:当地警方已立案

澎湃新闻
2026-09-12 11:32:27
泰国政坛风向要变,他信英拉佩通坦全在中国,复仇成功将空前绝后

泰国政坛风向要变,他信英拉佩通坦全在中国,复仇成功将空前绝后

铁锤侃侃而谈
2026-09-12 01:01:25
这个女人可不是什么平凡的阿姨,她是藤原纪香,一代日本国民女神

这个女人可不是什么平凡的阿姨,她是藤原纪香,一代日本国民女神

娱你同欢
2026-09-10 17:43:45
每年1400万?耐克回应刘翔终身合同传闻 上海刘翔中心依然矗立

每年1400万?耐克回应刘翔终身合同传闻 上海刘翔中心依然矗立

念洲
2026-09-12 12:33:00
彻底撕破脸!蒋丽莎怒怼陈浩民:千万房产送前任,却骂我贪得无厌

彻底撕破脸!蒋丽莎怒怼陈浩民:千万房产送前任,却骂我贪得无厌

手工制作阿歼
2026-09-12 12:48:22
太卷了!日薪不到700,网传几十名校花级女模被迫当众全裸换装,网友:这是行业惯例

太卷了!日薪不到700,网传几十名校花级女模被迫当众全裸换装,网友:这是行业惯例

火山詩话
2026-09-12 05:55:35
某国产手机品牌的锁屏广告,闹出大事了!

某国产手机品牌的锁屏广告,闹出大事了!

走读新生
2026-09-11 17:13:05
张本智和中文回应淘汰周启豪:4-1和3-0一样!我技术上比他好点

张本智和中文回应淘汰周启豪:4-1和3-0一样!我技术上比他好点

念洲
2026-09-12 13:58:57
库克承认参考华为打谁的脸?刻在骨子里的崇洋,比技术落后更可怕

库克承认参考华为打谁的脸?刻在骨子里的崇洋,比技术落后更可怕

王新喜
2026-09-11 21:04:33
等不到金砖开幕了,印度提前对华摊牌:要求中方让出印度市场

等不到金砖开幕了,印度提前对华摊牌:要求中方让出印度市场

触摸史迹
2026-09-12 13:57:11
山西一镇政府公职人员醉驾致一对五旬夫妻身亡,死者家属申请复核:明明对方醉驾且不开灯又超速行驶,为何让我父母承担事故次要责任

山西一镇政府公职人员醉驾致一对五旬夫妻身亡,死者家属申请复核:明明对方醉驾且不开灯又超速行驶,为何让我父母承担事故次要责任

大风新闻
2026-09-12 16:24:04
iPhone 18 Pro,今年可能要卖疯了

iPhone 18 Pro,今年可能要卖疯了

搞机小帝
2026-09-12 01:07:08
美魔女名媛双修泰高僧!昔名校啦啦队校花被爆料禅房极乐2年吞近亿

美魔女名媛双修泰高僧!昔名校啦啦队校花被爆料禅房极乐2年吞近亿

环球趣闻分享
2026-09-12 13:05:23
规矩是死的,洋爹是活的。

规矩是死的,洋爹是活的。

美第奇效应
2026-09-11 23:26:00
2026-09-12 18:15:00
沃垠AI incentive-icons
沃垠AI
努力分享一些有用、有趣的AI干货
153文章数 62关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

中国姐弟在智利被勒索213万元 假警局还挂特朗普画像

头条要闻

中国姐弟在智利被勒索213万元 假警局还挂特朗普画像

体育要闻

老鹰真正的底气来自于什么?

娱乐要闻

港媒曝钟丽淇疑患渐冻症,本人发文

财经要闻

继房子茅台后 中产的第3个"神话"破灭了

汽车要闻

全新配色和新样式轮毂 乐道L80星光设计套装限时惊喜价10080元

态度原创

艺术
房产
时尚
旅游
健康

艺术要闻

花卉油画欣赏 | 韦启美《窗前花》

房产要闻

别再等了!广州改善好房,正在进入“卖一套少一套”时代

专栏|一位“皮笑肉不笑”初学者的自述

旅游要闻

中年母亲携女重游赛里木湖,40年变迁引深思

手脚发麻口齿不清?也可能是中风!

无障碍浏览 进入关怀版