Fusion：使用平面跟踪器实现屏幕替换

手机、平板、显示器等设备的屏幕内容，经常需要在后期重新替换。如果设备或摄像机发生移动，新的画面不仅要跟随屏幕的位置，还需要匹配旋转、缩放和透视变化。

Fusion 中的平面跟踪器（Planar Tracker）可以分析屏幕这类平面区域的运动，并记录其位置、旋转、缩放和透视变化。完成跟踪后，再使用 Corner Pin（边角定位）确定替换画面的显示区域和四角位置，即可让新的图片或视频随原屏幕一起运动。

一、实现屏幕替换的关键环节

实现屏幕替换主要包括三个关键环节：使用 Track 获得准确的平面跟踪数据，使用 Corner Pin 确定替换区域，以及根据需要使用 Transform 修正替换画面的显示比例。

1、使用 Track 获取准确的跟踪数据

平面跟踪器首先需要在 Track（跟踪）操作模式下分析指定区域中的图像信息，计算这个平面在连续画面中的运动变化。

跟踪时，应在需要跟踪的平面上绘制一个具有足够图像特征的区域。

Pattern（模式）参数组中的设置也会直接影响跟踪效果。

• Tracker（跟踪器）：怎样分析特征

• Motion Type（运动类型）：允许求解什么类型的平面运动

• Track Channel（跟踪通道）：从哪个图像通道寻找适合跟踪的特征

2、使用 Corner Pin 确定替换区域

完成 Track 后，将平面跟踪器的“操作模式”（Operation Mode）切换到 Corner Pin。

Corner Pin（边角定位）使用四个角点确定替换画面的显示区域和透视形状，并利用前面得到的跟踪数据，使这个四边形随原屏幕一起运动。

输入图像会根据 Corner Pin 定义的四个角进行透视映射，并不是保持输入画面原来的显示比例。

3、使用 Transform 修正显示比例

完成 Corner Pin 后，应先观察最终替换效果。

如果替换内容的比例基本自然，就不需要额外添加 Transform。

如果画面经过 Corner Pin 后出现明显的横向或纵向拉伸，可以在替换图像之后添加 Transform 变换节点，通过调整“大小”和“宽高比”，使经过 Corner Pin 后的最终画面恢复比较自然的显示比例。

二、制作屏幕替换的一般过程

1、添加平面跟踪器

进入 Fusion 页面，选中连接原始视频的 MediaIn1 节点，按 Shift + Space 搜索 Planar Tracker，添加 Planar Tracker 平面跟踪器（PTra） 节点。

节点结构通常变为：

MediaIn1 → PlanarTracker1 → MediaOut1

2、选择参考帧

浏览整个镜头，把播放头移到一个适合作为跟踪基准的位置。

在检查器里的 PlanarTracker1 中确认 Operation Mode（操作模式）为 Track。

点击 Set 按钮，将当前帧设置为 Reference Time（参考时间）。

参考帧既是跟踪数据的重要基准，也是后面调整 Corner Pin 四角时的主要参考。

3、绘制跟踪区域

在检视器中使用平面跟踪器的绘制工具，在屏幕或与屏幕处于同一平面的区域绘制一个封闭形状。

跟踪区域的重点是提供足够稳定的图像信息，因此不必沿屏幕边缘精确描绘。

例如，屏幕中存在明显跟踪标记时，可以把这些标记包含进去；如果屏幕内容缺少细节，也可以适当扩大到同一平面上的清晰边框。

不要为了扩大跟踪区域而包含明显属于背景或不同深度的物体。

4、设置跟踪参数

根据镜头特点设置 Tracker、Motion Type 和 Track Channel。

一般可以先将 Tracker 设置为 Point（点）。

如果结果存在明显漂移，而跟踪区域本身具有足够纹理，可以尝试 Hybrid Point/Area（混合点/区域）。

Track Channel 决定使用哪个图像通道进行跟踪。一般素材可以先使用 Luma（亮度）；如果红、绿、蓝中的某个通道能够更清楚地显示跟踪区域的纹理和边缘，也可以改用相应通道。

对于设备角度变化明显、屏幕四边透视持续发生变化的镜头，可以将 Motion Type 设置为 Perspective。

如果实际镜头主要只有位置、旋转和缩放变化，则可以尝试较简单的运动类型。

5、跟踪屏幕运动

从参考帧开始完成整个镜头需要使用范围的跟踪。

如果参考帧位于片段中间，可以分别向前和向后跟踪。

跟踪过程中，检视器中会显示由大量跟踪点组成的跟踪云。完成后，从头到尾拖动时间线，观察跟踪区域是否始终稳定附着在指定区域上。

如果已经出现明显漂移，应先重新调整跟踪区域、Tracker、Motion Type 或 Track Channel，再重新跟踪。

只有跟踪数据准确，后面的屏幕替换才能稳定。

6、添加替换画面

把需要放入屏幕的新图片或视频从媒体池拖入节点区。

7、切换到 Corner Pin

选中 PlanarTracker1，将“操作模式”从 Track 切换到 Corner Pin。

切换后，原来的跟踪区域会隐藏，并显示 Corner Pin 的四角控制。

将替换画面连接到 PlanarTracker1 的 Corner Pin 1 输入。

8、设置屏幕四角

回到前面设置的参考帧。

在检视器中分别拖动 Corner Pin 的四个角点，使它们与原屏幕的四个角对应。

Corner Pin 调整完成后，拖动时间线检查其他帧。

替换画面会利用已经获得的 Track 数据，随原屏幕发生相应的位置、旋转、缩放或透视变化。

9、修正替换画面的比例

观察经过 Corner Pin 后的画面。

如果人物、图标、文字等内容比例正常，可以直接继续后面的处理。

如果出现明显横向或纵向拉伸，在 MediaIn2 后添加 Transform 变换 节点。

节点结构如下图所示：

图 1：本例中的节点结构图

随后调整 Transform1 中的“大小”和“宽高比”，并始终观察 PlanarTracker1 经过 Corner Pin 后的最终结果。

由于不同屏幕的拍摄角度和透视程度不同，具体数值没有固定标准，应以最终视觉结果为准。

10、检查最终效果

从头到尾播放镜头，重点观察：

• 替换画面是否始终贴合屏幕

• 四个角是否出现明显漂移

• 透视变化是否正确

• 画面内容比例是否自然

• 替换内容是否与原镜头的亮度和清晰度协调

如果整个替换区域随时间漂移，应优先返回 Track 检查跟踪数据。

如果四角位置正确，但画面内容明显拉伸或压缩，则调整 Transform 中的大小和宽高比。

这样可以分别处理跟踪准确性和画面显示比例两个不同的问题。

本例最终效果展示：

三、平面跟踪器的进阶应用

1、使用 Planar Transform 复用跟踪数据

完成 Track 后，可以使用 Create Planar Transform 创建 Planar Transform 平面变换节点。

Planar Transform 会保存 Planar Tracker 得到的平面变换和透视数据，并把这些数据应用到连接进来的图像或遮罩。

因此，如果同一平面上还需要添加图形、文字、遮罩或其他元素，可以复用已有跟踪数据，而不必分别重新跟踪。

Planar Transform 与 Planar Tracker 的 Corner Pin 用途不同：

• Corner Pin 更适合直接把新的矩形画面放到屏幕或标牌上

• Planar Transform 则更适合把已经得到的平面运动数据应用到其他图像、遮罩或独立的合成支路

2、处理前景遮挡

实际拍摄中，人物、手指或其他物体可能经过屏幕前方。

平面跟踪只负责计算屏幕的运动，并不会自动恢复这些物体与新屏幕内容之间的前后关系。

可以使用 Polygon 多边形、Magic Mask 魔法遮罩或其他抠像方法重新分离前景，使遮挡物重新显示在替换画面之前。

需要时，还可以利用平面跟踪数据辅助带动遮罩，从而减少逐帧调整。

3、匹配真实屏幕的画面特征

完成跟踪、Corner Pin 和比例修正后，还需要根据原镜头处理替换画面的视觉特征。

例如，可以适当匹配：

• 曝光和对比度

• 色温和颜色

• 清晰度

• 屏幕亮度

• 运动模糊

• 反射和高光

如果原镜头中的屏幕略微失焦，而替换内容异常锐利，即使跟踪和透视完全正确，也容易显得像后期贴上去的画面。

因此，应先完成准确的几何匹配，再处理这些视觉细节。

小结

平面跟踪器先通过 Track 获得准确的屏幕运动数据，再通过 Corner Pin 确定替换画面的显示区域和透视形状。如果内容出现明显拉伸或压缩，可在输入画面后使用 Transform 修正比例，再进一步处理遮挡、色彩和屏幕质感。

“点赞有美意，赞赏是鼓励”