DLSS 5浅析：当生成式模型遇上实时渲染

在今年3月份GTC 2026期间，黄仁勋首次展示了NVIDIA DLSS 5技术并将其称为图形领域的DLSS 5时刻，随着9月3日最新版的Game Ready驱动上线，以及《NBA 2K27》首发内置DLSS Neural Rendering选项，在比赛或者回放中，只需要通过快捷键F9就能随时开启和关闭，意味着DLSS 5时代悄然开启序幕。

而这仅仅是一个开始，目前包括Bethesda、CAPCOM、幻塔工作室、网易、NCSOFT、灵游坊、腾讯、育碧、华纳兄弟游戏等游戏发行商已经宣布支持DLSS 5，并且《刺客信条：影》《生化危机：安魂曲》《星空》《上古卷轴IV：湮灭重制版》《霍格沃茨遗产》《影之刃零》《永劫无间》《燕云十六声》等16款游戏加入DLSS 5阵营。所有信息都指向DLSS 4.5到DLSS 5的转换和升级是非常迅速的。

当然这也得益于DLSS 5沿用与现有DLSS、Reflex相同的NVIDIA Streamline框架，便于开发者迁移。同时首发覆盖GeForce RTX 50系列桌面及笔记本GPU，并登陆GeForce NOW云游戏。

那么究竟是什么样的魅力让NVIDIA做出如此快速的DLSS版本切换，DLSS 5未来会对游戏以及图形领域产生什么样的影响，借着近期NVIDIA向外披露更多技术细节，现在让我们花点时间了解一下DLSS 5究竟是什么。

把生成式模型嵌入管线核心

历代DLSS版本中，超分辨率采样、帧生成和光线重建中的神经网络都属于重建模型Reconstruction Model，即从已有的信息中还原像素。而DLSS 5是实时渲染史上第一次把生成式模型作为核心组件嵌入渲染管线，而非作为后处理工具挂在外面。不仅如此，DLSS 5模型理解画面、生成细节、受控于开发者，且运行在16毫秒的帧预算内。

NVIDIA把这一套实时渲染管线核心中融入生成式模型的方式称为3D引导式神经网络渲染，即3D-Guided Neural Rendering。不过这里的3D引导不意味着AI模型重新渲染整个3D场景，因为几何、相机、动画与基础材质仍由传统引擎管线生成，DLSS 5在此基础上做语义层面的视觉精修，可以理解成介于传统渲染与生成式图像合成之间的实现方式。

这里NVIDIA给出了两条通往照片级写实之路的对比。传统路径中，是通过场景-PBR-材质-路径追踪-相机的方式，提供物理准确的光在与几何、3D引导的实时运行方式。而在生成式路径中，则是通过数据集-训练-模型-生成的路径，提供更为真实的光照与材质，但结果是具有概率性，且无法实时运行的。

这里DLSS 5要做的，是在试图不放弃传统路径的前提下，借助生成式路径的方式，实现合理、可控的展示效果。比如实时光线追踪的逆光头发数百次弹射、皮肤次表面散射、逆光下耳垂透红这样的效果，如果仅依靠物理方式实时计算，需要大约现在千倍级的算力。显然我们不可能等到GeForce RTX 9090 Founders Edition才实现这样的效果，如果希望GeForce RTX 5090就能实现，一套见多识广的AI兴许就可以。

换而言之，只要AI相关领域见识得足够多，知道最终效果长什么样，那么通过生成式路径实现数代GPU之后才能实现的效果，或者是一帧画面需要渲染数周的好莱坞VFX级画质，都是有可能的。

修正是关键

虽然NVIDIA官方演示中出现了复杂的工作路径，比如渲染帧、表面反射率Surface Albedo、表面法线Surface Normal、光照语义Lighting Semantics、运动矢量Motion Vector等buffer。但实际上，全部只在模型训练阶段使用。运行时模型拿到的只有两样东西，渲染完成的输出帧，同时再运动矢量，就已经足够了。

这与DLSS家族其他成员形成鲜明反差，几周前我们还在测试的光线重建Ray Reconstruction需要引擎提供20多个内部buffer才能实现，比如Albedo、法线、粗糙度、光线命中距离、透明层等，同时超分需要色彩、深度、运动矢量配合。在DLSS 5中，这个路径被大幅缩减，以为AI只需要而关掉DLSS 5时屏幕上看到的那帧画面，加运动矢量即可。

这样的做法意味着，训练时用完整的G-Buffer教模型什么样的画面是对的，推理时模型只从2D帧里自己读出这些信息。但为了避免DLSS 5将理解的范围限定在2D屏幕中，有必要在训练期进行更为深度的设定，从而保留最终呈现画面的可靠性。这四项强制保留目标包括：

角色身份Character Identity：面部轮廓、五官比例、微表情、服饰特征，杜绝AI重绘导致变脸；

场景语义Scene Semantics：区分金属、皮革、玻璃、水体、植被等材质属性及物体间空间关系；

光照语义Lighting Semantics：顺光、逆光、漫射光、阴天氛围与人工光源的方向、强度与情绪；

镜头构图Camera + Composition：视角透视、景深与画幅取景完全锁定，确保操控视角绝对一致。

同时在模型架构上，DLSS 5使用的一套像素空间扩散Transformer模型（Pixel Space Diffusion Transformer Model），这套模型从更大的生成模型蒸馏而来，是专为增强已渲染帧这一个任务训练的紧凑型单步扩散模型，而非通用图像生成器。

因为几乎所有扩散模型都在潜在空间Latent Space工作，即先压缩图像、在压缩表征上去噪、再解码，这个往返过程正是丢失细节和产生随机性的根源。

DLSS 5做法是直接在像素空间运行扩散，计算量昂贵得多，但这是唯一能保证不该动的区域逐像素原样返回的方案，这也解释了NVIDIA使用pixel-accurate（像素级精确）宣传语的意思。有意思的是，这个套方式也不再需要在游戏中降低游戏分辨率运行，通过DLSS 5就可以直接输出原生的游戏分辨率，感动。

但我们仍然需要注意的是，AI完成离线视频和实时游戏还是不一样的。离线视频生成模型靠一次生成30–60帧的帧块来保证连贯，模型需要知道起点和终点才能生成中间运动。但是实时游戏做不到这一点，因为下一帧取决于玩家尚未发生的输入。这里NVIDIA应用深度学习研究总监Edward Liu也坦言，一帧进、一帧出还要保持时间稳定，这件事学术界的离线视频模型也还没攻克。

做不到就可以绕开。DLSS 5的方式不依赖未来游戏帧，逐帧进行因果处理，牛奶个进行运动矢量对齐，从而实现确定性与毫秒级实时响应。这一点现在的硬件就可以做到。需要注意的是，确定性在NVIDIA官方语境是指同一场景不会每帧随机变样，但NVIDIA没有承诺不同GPU、不同驱动版本输出是完全一致的。

另外还有一个有意思的点，DLSS 5可以不做任何画质清洁工作，如果TAA或超分在头发上留下像素瑕疵、在运动物体后留下鬼影，DLSS 5会逐像素原样复制这些瑕疵。这样做的原因是NVIDIA如果允许模型模型修锯齿，就得接受它在别的帧改掉一个Logo或一张脸的风险，对于游戏玩家和创作团队而言，也是不能接受的。

因此DLSS 5的原则也非常明确，可以归纳为Garbage in, Garbage out，中文翻译是输入越好，输出越好。低分辨率几何和低清贴图会被完美保留，看起来没那么写实，确保应有的游戏感，而不是不同的游戏被统一成一种风格。NVIDIA也强调光栅化与光线追踪不是被AI替代，而是变成神经网络的高质量原材料。如果具备带路径追踪的数据，那么其输入帧能让Transformer模型把光影真实感放大到更高水平。信息越多，画质越好。

因此DLSS 5被放超分之后、帧生成之前，这样很好的禁止DLSS 5利用它们的信息修正任何东西，因为鬼影、去遮挡涂抹、植被与栅栏的闪烁恰恰是生成模型最擅长修复的渲染顽疾。

读懂画面

DLSS 5模型读渲染帧的方式，被NVIDIA形容成像人读一张照片那般，叶子下方的阴影告诉它光源在哪里，它知道那是树叶、那是金属并据此推断反射。它也能隐式推断这是一天中的什么时刻，例如在一个晴天场景里主动给画面加上蓝色调，因为AI算出了头顶的天空必然是蓝的。

这时候Transformer架构在其中表现出了应有的战斗力，因为它可以做到建模大范围图像上下文的能力，因此可以判断出一个亮斑可能是反射、皮肤高光、光源或涂装表面，这是仅靠像素邻域无法区分的。

同时，DLSS 5在没有光线追踪特效的前提下，依靠普通光栅帧也能进行画面增强，只是光追输入的光照与接触阴影更好、产出也更好。另外DLSS 5也可以不依赖其他DLSS组件，神经纹理压缩NTC位于渲染器内部，NVIDIA Reflex位于之后。至于Moder们热爱的RTX Remix兼容性，现在还不太清楚。

这套方案也能很好的回答DLSS 5三月时首发被玩家吐槽画风大变的尴尬，以为内DLSS 5的整套控制工具将决策权保留在游戏开发者手里，这里做了几点归纳：

Model A/B/C三档预训练权重模型：对应不同结构强度、全局光照与纹理细节级别，按游戏风格选基调，可按场景或角色混搭；

结构强度Structure Intensity：专注高频细节，包括环境光遮蔽、接触阴影、反射强度、次表面散射；

调性强度Tone Intensity：专注低频细节——包括大范围光影与色彩响应；

语义驱动自动遮罩Semantic-Driven Automasking：模型自动识别画面中的角色，开发者可以只调角色身上的DLSS 5强度而环境完全不变，从而避免游戏角色被强行美颜的尴尬；

自定义分组遮罩：把场景中特定物体，例如演示中的水壶、葡萄、瓶子，分组独立调参，不想让AI碰的区域直接排除，比如角色脸上的疤痕不会被AI自动美颜。

性能如何？

关于性能，NVIDIA提供了较为详细的帧率分享。不过目前的消息均来自NVIDIA官方，且混合了多项DLSS技术，无法单独评估DLSS 5的成本。即便如此，我们已经能够大致了解DLSS 5的性能表现。

这里可以看到，在4K Ultra、开启光线追踪、DLSS 5、6x多帧生成、超分性能模式的前提下，GeForce RTX 5090可以让《NBA 2K27》在370FPS上运行，GeForce RTX 5080可以做232FPS。如果是2K最高画质，GeForce RTX 5070可以做到260FPS以上。如果是1080p最高画质，GeForce RTX 5060可以做到258FPS的平均值，这样的帧率表现可以很好的吃满试下的主流游戏显示器刷新率了。

最后我们通过一套简单的示意图了解DLSS 5在全栈渲染管线中的位置：

综合来看，DLSS 5将帧率提升转向了画质提升，生成式模型首次从后处理升格为渲染管线的一级组件。NVIDIA实际上把AI领域的Scaling Law叙事搬进了图形领域，模型规模、训练数据、损失函数的每一点离线进步，都会直接转化为运行时画质，且这个杠杆与传统渲染杠杆可以并行使用。

为了确保DLSS 5的可靠性，在实际应用中围绕画质稳定性、提供游戏团队设计主权进行了大量设置，包括原本画面中的瑕疵，都会保留，将画质的叙述权利留给团队。虽然DLSS 5真实表现仍然需要时间和游戏的检验，但以它为代表的AI渲染确实已经成为未来的方向，并沿着创作者的真实意图，化简想象力变成画面的过程。