网易首页 > 网易号 > 正文 申请入驻

AI视频的运镜难题,终于被攻克了 | 附教程+实测

0
分享至

大家好,我是最近在死磕镜头的冷逸。

一直以来,AI视频的运镜基本都押在Prompt上。但从文字描述到大模型理解后生成视频,这里面包含了太多不可控的因素。

最近我试了试用3D白模做视频,给大家看看效果。

3D白模动画作为参考视频,控制分镜中的动作、走位、运镜和空间结构。然后拿给AI当画面骨架,再给它上色、渲染,这样就得到了一支精准控制的视频成片。

在以前,这类白模只能通过专业工具Blender或者在ComfyUI中搭建工作流来完成。动不动就是好几个月的学习周期,这对于新手来说,门槛实在是太高了。

不过,好消息是:B站的updream.cn上线了「预演台」功能

不用安装任何软件和插件,就可以快速直出白模视频。上面这条视频,就是用它做的。

我一共测了三组短片,下面带大家沉浸式体验一下制作过程,以及过程中我都踩了哪些坑。


一手实测

1)多机位切换

为了熟悉界面和操作,我先给自己挑了个最难的。

我尝试做一个哈利波特风格入学列车到站的短片,给大家看看。

在这组片子里,我没有提供任何的分镜图,全是通过「白模视频+人物+场景+提示词」来搞定的。

一个没有任何导演经验的人,在updream里硬拉出几个非常不专业的镜头,但完全没想到,成片效果竟然还不错。白模+Seedance2.5的组合技,能让镜头一致性控制非常好。

来看实操演示。

先在updream预演台中点击“创建场景”,上传几张参考的场景图。等待4-7分钟后,就得到了一个由场景复刻的3D白模空间。



这个建模的速度和精准度,确实强。

这活放以前,得找建模师做好几天。现在,只要几分钟,一个简单的白模场景就做好了。

你可以自由的在这个工作台里添加人物、机位。

并且通过关键帧来控制运动轨迹。最后,录制成你的白模参考视频。


不过,如果你是第一次用,建议选择室外开阔类型的场景,这样更好操控一些。

我这次挑的是火车车厢场景,室内建模比较丰富,导致我一开始花了很多时间去摸索。

另外,镜头想要足够干净,一定要尽可能地避免运镜过程中的穿墙或者障碍物遮挡。

如果遇到有类似一键跟随的镜头,也可以直接到机位里选对应的片段进行特写跟踪。

点击播放,在视图右上角就可以看到当前画面的实时预览。


那同样一组提示词和素材,去掉白模呢,效果又如何?

来看下对比。

可以看到,同样是30s短片,如果不使用白模,只是通过提示词驱动的画面,模型在镜头上就很容易有自己的想法。

虽然提示词里,我们可以告诉AI这是近景、中景还是远景,但究竟人物距离摄像机有多远,如果没有分镜参考图,那就只能靠模型自由发挥了。

没了白模的画面参考,人物的位置关系很容易乱。后期想再改起来,非常费劲。

2)一镜到底

学会了搭白模后,接下来最爽的玩法来了。

当我们把动作、运镜、站位全锁死,只换参考图,就可以让同一段白模跑出三个完全不一样的世界。

这次我直接换了一个一镜到底的旋转运镜镜头,剧情是一对夫妻,一边推着自己的车一边争吵着上山。

我顺手用SD2.0试了两个不同风格的白模版本,带大家看一下非SD2.5模型在白模上的效果究竟如何。

SD2.0白模视频1:

SD2.0白模视频2:

可以看到,SD2.0的白模表现并不如意。两次的风格,无论是车,还是人,都出现了非常明显的bug。要不是车里多了个人,要不就是分不清车头、车尾。

同样的提示词,我又用MinimaxH3跑了一版没有白模版本的画面。

u1s1,没有白模能跑出这个效果,算不错的了。除了人物走路的姿势略有一点不自然外,没有其他特别明显的错误和变形。

那,这个丝滑的运镜到底是怎么来的呢?其实是一笔画来的!

找到你时间轴上的空白机位,点击「绘制轨迹」,然后左键按住鼠标就可以直接在场景里拖一条机位线出来。



绕着车拖一个圈,再选中所有的关键帧,把机位属性里的「看向」绑到人物上。

机位就会沿着这个圈走,同时镜头始终对着人物。一镜到底的环绕运镜就这么出来了。

旁边还有个「标记轨迹」,是用来给关键帧打点的。想让运镜中途变速、或者绕到一半停一下再走,记得多打几个关键帧。

再说个机位面板里的细节,我觉得这块挺有诚意。

它给的不是一个简单的摄像机镜头点位,而是类似一台专业的摄影设备。


甚至可以根据你的需求,改摄影机类型、镜头类型、焦距和光圈 f/2.8等。

最后,聊一下我理解的白模的边界。

目前,平台自动生成的白模类型只有几何体。天空、远处的山、雾,这些没形状的东西它确实给不了。上一组案例就比较明显,白模里的车窗是漆黑一片,因为窗外本来就没有模型。

因此,涉及到大量细节的视频,还得靠场景参考图或者提示词来补。

3)多人物镜头调度

为了给预演台的建模功能上点难度,也为了测试一下updream在3D模型上的边界。

最后一组,我选了一个超高难度的场景——一座不规则的废土风建筑。


上传后,几分钟后拿到了3d模型。


说实话,跟实际画面的场景相比,细看还是会发现一些瑕疵。

但这种复杂度的不规则建筑,已经能还原成这样,真的算不错了。

带着这个版本的白模来试试效果。

可以看到,最终成片参考了白模的机位和人物位置。镜头在不同机位间切换,场景一点都没有崩,人物也完全站在设定好的位置上。

可如果没有白模,就不那么乐观了。

虽然大模型听懂了我们的镜头位置要求,也确实把机位架在了类似的点位上。但失去白模参考后,人物和画面间的一致性全乱了,差别非常明显。


三组片子跑完,对我来说,抽卡次数确实有被实实在在的降低。

当然,白模参考也会增加视频生成的成本。但这个成本的付出,能不能帮我们减少抽卡次数,最终还得取决于提示词质量和对工具的熟练运用上。

给大家算笔账。如果以720p的30s短片为例,平均每条视频只抽2-3次计算,那价格大概在60-80左右。

另外,对新手小白来说,预演台依然存在一些上手门槛。比如本文这几条片子,在镜头的把控上,就费了我好些时间。

只是相比Blender这些专业工具来说,updream的预演台已经方便了不少。

不管是没有建模基础的个人创作者、传统影视从业者还是精品AI视频工作室,现在都可以通过3D白模来解决AI视频的精细化创作难题。


哦对了,最近updream搞了个「预演台白模创作千万积分挑战赛」,8月17日至30日,奖励积分还挺多的。

如果你有了一些好的创作想法,不妨来试试。试完回来评论区告诉我,你的体验如何。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1951年,23岁的志愿军卫生员不忍开枪,救下18岁受伤南韩女兵,二人隐匿山村结成夫妻,28年后才察觉妻子身份绝非普通女俘

1951年,23岁的志愿军卫生员不忍开枪,救下18岁受伤南韩女兵,二人隐匿山村结成夫妻,28年后才察觉妻子身份绝非普通女俘

唠叨说历史
2026-09-08 15:34:01
一觉醒来,中国油轮在波斯湾遇袭!这不是误炸,是有人想“破窗”

一觉醒来,中国油轮在波斯湾遇袭!这不是误炸,是有人想“破窗”

闫树军论评
2026-05-08 18:11:21
TVB前男星雷宇扬广州举行丧礼!太太与13岁儿子痛哭!陈小春吴志雄等送花圈悼念

TVB前男星雷宇扬广州举行丧礼!太太与13岁儿子痛哭!陈小春吴志雄等送花圈悼念

我爱追港剧
2026-09-12 20:55:08
宣读“9·11”遇难者名单时,纽约市长被拍到大笑,共和党人士猛批

宣读“9·11”遇难者名单时,纽约市长被拍到大笑,共和党人士猛批

第一财经资讯
2026-09-12 14:35:28
地方财政压力加大,会出现类似1998年政府机构、人员精简的改革吗

地方财政压力加大,会出现类似1998年政府机构、人员精简的改革吗

细说职场
2026-09-11 11:55:25
时代峰峻被列为重点监管对象,旗下二至五代艺人线下活动全面停摆

时代峰峻被列为重点监管对象,旗下二至五代艺人线下活动全面停摆

喜欢历史的阿繁
2026-09-12 19:33:28
2.1L宣传油耗实测4L,偏差90%算不算欺骗?

2.1L宣传油耗实测4L,偏差90%算不算欺骗?

周哥一影视
2026-09-12 15:25:22
Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

大风新闻
2026-09-12 16:03:05
下周美联储一旦选择加息,可能这类A股最受伤

下周美联储一旦选择加息,可能这类A股最受伤

风风顺
2026-09-13 01:00:05
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
名古屋亚运会女排开赛预告!中国女排完整赛程出炉,全力冲击金牌

名古屋亚运会女排开赛预告!中国女排完整赛程出炉,全力冲击金牌

画夕
2026-09-13 10:10:15
穆里尼奥:要是没首发迪奥曼德,我敢100%说你们肯定第一个提问他

穆里尼奥:要是没首发迪奥曼德,我敢100%说你们肯定第一个提问他

天光破云来
2026-09-13 06:50:02
五保户每月1140,农村义务兵只有两三百,同是老人待遇账该怎么比

五保户每月1140,农村义务兵只有两三百,同是老人待遇账该怎么比

你在偷看谁
2026-09-12 20:55:46
1983年江青缓刑期满,陈云指示有关部门:如何处理都可以,但不能杀

1983年江青缓刑期满,陈云指示有关部门:如何处理都可以,但不能杀

搜史君
2026-09-11 17:55:08
比钛7便宜4万,小一圈的钛6才是大多数家庭真正需要的那台方盒子

比钛7便宜4万,小一圈的钛6才是大多数家庭真正需要的那台方盒子

小怪吃美食
2026-09-12 00:51:30
山东一女子,拜佛42年,查出癌症后,回家把佛像砸了

山东一女子,拜佛42年,查出癌症后,回家把佛像砸了

一口娱乐
2026-09-11 12:36:57
泰国版“释永信”与女弟子的大瓜

泰国版“释永信”与女弟子的大瓜

葱哥说
2026-09-12 22:00:38
美国女篮10分险胜!连续5届杀入世界杯决赛,克拉克3中0仅1分

美国女篮10分险胜!连续5届杀入世界杯决赛,克拉克3中0仅1分

体坛小李
2026-09-13 05:31:31
丈夫痛快签字离婚,次日前男友暴躁来电:你前夫搞垮我公司

丈夫痛快签字离婚,次日前男友暴躁来电:你前夫搞垮我公司

晓艾故事汇
2026-05-27 10:34:36
印尼一艘载有243人的客轮失联

印尼一艘载有243人的客轮失联

齐鲁壹点
2026-09-13 11:36:08
2026-09-13 12:36:54
沃垠AI incentive-icons
沃垠AI
努力分享一些有用、有趣的AI干货
153文章数 62关注度
往期回顾 全部

科技要闻

三位AI大佬,罕见呼吁AI减速

头条要闻

71岁敬一丹去世 家属向知情人表示:其后事一切从简

头条要闻

71岁敬一丹去世 家属向知情人表示:其后事一切从简

体育要闻

乔丹的得分统治力:如何违背篮球规律?

娱乐要闻

主持人敬一丹去世,女儿悲痛发讣告

财经要闻

“1+N+X”!私募业,监管规则密集落地!

汽车要闻

全新配色和新样式轮毂 乐道L80星光设计套装限时惊喜价10080元

态度原创

艺术
本地
数码
时尚
公开课

艺术要闻

18幅 当代画家油画作品欣赏

本地新闻

Onestage x 乐华娱乐暑期巡回选拔2026

数码要闻

优派带来VX27G81-2K-9显示器:27" QHD 240Hz Fast IPS

选来选去还是穿裙子最方便,看看这几款吊带裙,轻盈又舒适

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版