弱扩散先验仍可实现强逆问题性能

弱扩散先验仍可实现强逆问题性能

Weak Diffusion Priors Can Still Achieve Strong Inverse-Problem Performance

https://arxiv.org/pdf/2601.22443

摘要

一个在卧室图像上训练的扩散模型能够恢复人脸吗？扩散模型被广泛用作逆问题的先验，但标准方法通常假设使用一个高保真度的模型，且该模型在与未知信号高度匹配的数据上训练。在实践中，人们常常不得不使用不匹配或低保真度的扩散先验。令人惊讶的是，这些弱先验的表现往往与全强度的、领域内的基准模型几乎一样好。我们研究逆求解器在何时以及为何对弱扩散先验具有鲁棒性。通过大量实验，我们发现当测量信息量很大时（例如，观察到许多像素），弱先验能够成功，并且我们识别了它们失效的情形。为了解释这一行为，我们将贝叶斯一致性理论与局部相关性分析结合起来：该理论给出了在高维测量条件下后验分布集中于真实信号附近的条件，而相关性分析则表明，弱先验与更强的自然图像先验可能具有相似的局部空间结构。这些结果为何时可以可靠地使用弱扩散先验提供了原则性的理论依据。代码可在此代码库获取。

1. 引言

逆问题的目标是从带噪测量中恢复未知信号。近年来，扩散模型已成为逆问题中强大的数据驱动先验，在计算机视觉及相关领域的广泛任务中取得了最先进的性能。标准范式采用相同的“全强度”扩散模型作为先验：例如，在人脸数据集上训练的1000步DDPM（Ho等，2020；Song等，2021b）用于恢复人脸图像。在此基础上，现有求解器通过在反向扩散链中注入测量信息，将扩散模型直接整合到重建过程中，以强制执行与观测的一致性（Song等，2021b；2022；Chung等，2023；Kawar等，2022；Meng & Kabashima，2024；Zhou等，2024；Song等，2024）。这一策略构成了基于扩散的逆问题求解的主流方法。

然而，完美匹配的全强度先验这种奢侈条件往往无法获得。实际约束常常迫使我们使用“弱先验”，即在推理时被严重截断或在分布不匹配的数据集上训练的扩散模型。例如，Wang等（2024）和Chihaoui等（2024）提出优化初始噪声来求解逆问题。为了满足内存限制，他们必须将扩散过程大幅截断至仅几步。因此，先验本身受到严重限制：它只能生成低保真度的模糊图像（见图1中的迭代1）。与此同时，在数据稀缺领域（如医学图像恢复），训练数据的缺失阻碍了领域特定模型的创建。因此，研究人员常常妥协，依赖来自完全不匹配分布的预训练模型（Knoll等，2019；Jalal等，2021；Glaszner & Zach，2024；Aali等，2025；Hu等，2025；Barbano等，2025）。

令人惊讶的是，这些弱先验仍然能够产生极具竞争力的重建结果。例如，Wang等（2024）报告称，尽管仅使用3步DDIM先验（Song等，2021a），在一系列逆问题上仍比最先进的基线方法提高了2–6 dB的PSNR。同样，Jalal等（2021）表明，仅在二维脑部MRI上训练的扩散先验，仍然可以用于重建分布外的扫描图像，如膝关节和腹部MRI。

这些结果提出了一个难题：标准直觉认为重建质量受限于先验质量。然而，在这些情况下，弱先验的表现几乎与强先验一样好，甚至更好。目前，这类成功大多在应用驱动的研究中以个案形式报道，而关于弱先验何时以及为何足够的系统性理解仍然缺乏。

受这些观察的启发，我们提出一个问题：一个低保真度的卧室扩散模型能够恢复人脸图像吗？更广泛地说，我们研究逆问题在何种情况下对先验的选择具有鲁棒性——即低质量或不匹配的生成式先验仍然能够产生高质量重建，以及在何种情况下不能。

我们的主要贡献是对这一现象进行了严格刻画，并通过实证实验、理论分析和局部相关性诊断加以支持。我们的核心信息是，弱先验在数据信息充足的条件下可以表现强劲。这是因为两个相关效应。首先，数据可以主导先验：当测量具有大的有效维度时，重建更多地由观测驱动而非先验。其次，弱先验并不像其样本所暗示的那样弱：即使是少步数或分布外的自然图像先验，也可以与更强的匹配先验共享局部空间相关性。这两个效应共同提供了一种补充性解释：信息丰富的测量提供局部锚点，而先验通过共享的局部空间结构传播这些约束。

从概念上讲，我们的结果表明，当测量信息充足时，先验的重要性可能低于通常的假设：强且领域匹配的先验的价值取决于测量的信息量。在实践中，这支持在数据信息充足的场景下，将弱先验作为合理的默认选择（当强且领域匹配的先验不可用时），而将更强的匹配先验保留给信息量低、重建更依赖先验的设置。为支持这一点，我们提供：

1. 实证证据：我们在多种逆问题、数据集和扩散主干网络上进行了广泛实验。我们发现，即使在数据信息充足的场景下，严重截断或不匹配的先验也能产生准确的重建。

2. 机制解释：我们将贝叶斯一致性理论与局部空间相关性诊断相结合，解释弱先验为何能够工作。该理论将测量信息量与先验敏感性的降低联系起来：当有效观测维度较大且信号可从测量中识别时，后验分布集中在最佳测量一致模式附近，先验权重的影响减小。空间诊断表明，弱先验和更强的自然图像先验可以具有几乎相同的局部相关性衰减曲线，这表明一旦测量提供了足够的锚点，即使是不匹配的先验也能提供有用的局部结构信息。

3. 失效模式：除了成功案例外，我们还研究了弱先验何时失效。这些包括框式修复和大尺度超分辨率，其中观测留下了大片缺失区域或较小的有效观测维度。在这些场景下，重建变得更加依赖先验，弱先验或不匹配的先验可能产生不一致的结构。我们通过理论和实验支持这些发现。

4. 算法改进：为实现我们分析所预测的先验鲁棒行为，我们通过新的优化器和改进的早停规则来改进初始噪声优化，从而稳定重建并减少过拟合。

2. 弱扩散生成器作为先验

2.1. 问题设定与我们的算法

例如，在恢复人脸的任务中，一个在人脸图像上训练的 3 步 DDIM 生成器在生成器质量轴上是弱的：它匹配目标领域，但其无条件样本是低保真度的（见图 1 左上角图像）。一个在卧室图像上训练的 3 步 DDIM 生成器在两个轴向上都是弱的：它质量低，并且也与目标分布不匹配（见图 1 左下角图像）。类似地，一个在卧室图像上训练的完整扩散模型，即使其无条件的卧室样本质量很高，若用于恢复人脸，则在领域匹配轴上是弱的。

我们的主要实验聚焦于这些少步匹配和少步不匹配的设置，并采用初始噪声优化；关于领域不匹配与反演求解器选择的影响分离，我们进一步在附录 C.9 中加以分析。

初始噪声优化： 另一条工作路线将生成模型 G G 视为黑盒生成器，并通过优化潜在输入来求解反问题。给定观测 y y ，它计算

由于 ADAMSPHERE 已经将迭代点约束在球面上，我们仅优化均方误差（MSE）：

第 3.2 节表明，在适当的假设下，最小化 (2) 等价于将后验分布导向正确的模态。

ADAMSPHERE 和 HOLDOUTTOPK 的详细信息见附录 B。第 4.2 节通过消融研究展示了它们的有效性。

2.2. 主要观察

我们的主要观察是，弱扩散生成器在许多实际反问题上仍然能够提供强劲的性能。图1展示了代表性示例。左图展示了使用两种不同弱先验的人脸修复任务，其中观测图像（测量值）是通过遮罩大部分像素并向剩余像素添加高斯噪声获得的。参考列显示的是干净图像，但重建算法从未使用过它。两行均使用3步DDIM先验：左图顶行的先验在人脸图像上训练，而底行的先验在卧室图像上训练。我们使用第2.1节中的初始噪声优化过程重建带噪图像，并展示了优化迭代次数为1、5、10、100和1000时的中间重建结果。特别地，迭代1对应于执行任何优化之前的无条件3步DDIM样本。

两行中的先验都是“弱”的。在顶行中，先验处于分布内但质量较低：无条件样本捕捉到了人脸的粗略轮廓，但大部分颜色和更精细的细节缺失。底行使用了更弱的、分布外的先验：无条件样本是一幅卧室图像的低质量草图。然而，随着优化的进行，两种先验都迅速拟合测量值，并收敛到视觉上相似且准确的重建结果。在卧室训练先验下的轨迹尤其引人注目：早期迭代看起来像带有直线边缘和盒状形状的卧室场景；但随着优化的继续，这些特征逐渐消失，图像逐渐变成一张人脸，轮廓更平滑，细节更丰富。这有力地回答了本文开头的问题：即使在卧室上训练的低保真度扩散模型也能够恢复人脸图像。

图1的右图展示了类似结论的超分辨率实验。这些示例只是我们研究中的一小部分。在第4.1节中，我们展示了跨多个任务的大规模评估，将弱先验与强先验基线进行了比较。总体而言，结果表明，在数据信息充足的条件下，弱扩散先验可以达到与强先验基线相当的水平。

3. 弱先验为何有效

我们现在研究为什么弱扩散先验仍然能够实现准确的重建。我们确定了两种互补的机制。首先，当测量值具有足够的信息量时，观测可以主导先验：不同的先验可能导致相似的后验，因为后验集中在与测量一致的同一种信号附近。第3.1节和第3.2节通过贝叶斯一致性论证和高斯混合替代模型形式化了这种效应。其次，弱先验并非任意的：即使是少步或领域不匹配的自然图像先验，也可以与更强的匹配先验共享局部的空间统计特征。第3.3节提供了支持第二种机制的局部相关性诊断。在介绍完这两种机制后，我们将在第3.4节讨论它们何时会失效。

3.1. 独立同分布数据下的后验一致性

这是 后验一致性 的一个实例。从宏观上看，后验由先验和数据共同决定。当数据的信息量不断增加时（在这里是样本量增大），似然项最终会压倒先验。因此，即使先验非常不同，得到的后验仍然可以同时集中在同一个真实信号上。Schwartz（1965）的一个经典结果对此给出了精确的刻画。为便于阅读，假设条件和确切的收敛概念见附录A.1。

3.2. 高维反问题中的数据主导性

得分与MSE。 我们注意到，(4)中的得分与许多实际反问题中的MSE（在常数因子意义下）是一致的。这证明了我们在第2.1节中使用的优化过程(2)的合理性：最小化MSE通常等价于最小化得分。

因此，

3.3. 弱先验与较强先验中共享的局部结构

上述后验集中结果解释了该现象的一个方面：信息丰富的测量可以减少对先验的敏感性。但它留下了一个未解决的问题：“弱先验”是否真的弱？也就是说，即使它们的样本是低保真度或不匹配的，它们是否仍然保留了有助于重建的有用结构信息？

我们通过一个简单的诊断来回答这个问题：无条件样本的空间自相关剖面。它衡量像素值随着空间距离增加而解相关的速度，因此捕捉了生成图像中的短程局部结构信息。

我们比较了在CelebA-HQ和LSUN Bedroom上训练的扩散先验，分别使用3步或20步DDIM采样。对于每个模型-采样器对，我们计算其样本的空间自相关剖面；完整定义和实现细节见[附录C.8]。

[表2]报告了具有代表性的滞后值。主要模式是自相关剖面在变化的两个轴向上都高度相似：采样器强度和训练域。特别是，从20步DDIM改为3步DDIM大大降低了无条件样本保真度，而从CelebA-HQ改为LSUN Bedroom改变了先验的语义内容。然而，所有四个剖面都显示出随距离相似的衰减。例如，3步Bedroom剖面与20步CelebA-HQ剖面在滞后1, ..., 32上的皮尔逊相关性为0.9987。这表明弱先验可能丧失样本保真度或领域匹配度，但同时仍保留相似的短程局部结构信息。

机制解释：结合定理3.2，这为弱先验为何有效提供了补充解释。信息丰富的测量通过固定或强约束大量像素来提供局部锚点，而先验有助于将这些约束传播到附近未观测或受损的像素。由于弱先验和较强的自然图像先验共享相似的短程局部相关性，即使弱先验也能为这种传播提供有用的局部结构信息。因此，弱先验可能是差的无条件生成器，但当测量提供足够锚点时，它们仍然可以作为有用的条件先验。

3.4. 弱先验何时失效

上述两种机制也阐明了弱扩散先验何时会失效。首先，当观测不能唯一确定一个与测量一致的信号时，数据主导性可能会失效。例如，在大块修复中，算子 A A移除一个连续区域。许多图像可以在匹配观测像素的同时，在缺失区域内部存在差异，因此假设2中的每维度得分差距可能非常小。此时后验不必集中于单一模态，重建将变为先验主导。其次，当任务需要全局语义生成时，仅靠局部结构信息是不够的。在大块修复中，缺失区域必须使用测量中很大程度上缺失的信息来填充。此时，不匹配的先验可能传播局部统计特征，但仍会生成与目标图像不一致的语义内容。

4. 实验

我们在四项任务上评估我们的方法：修复、高斯去模糊、超分辨率和带加性高斯噪声的非线性去模糊。在每个小节中，我们报告与所研究设定最相关的任务子集，而完整结果见附录C。与DAPS（Zhang等，2025）和DiffPIR（Zhu等，2023）、Deep Random Projector以及科学反问题的额外比较见附录C.3、C.4和C.5。我们在附录C.10中研究对测量噪声的敏感性。我们使用标准指标（例如PSNR、SSIM和LPIPS（Zhang等，2018））评估每种方法。

除非另有说明，所有实验均使用公开可用的预训练扩散检查点，这些检查点针对Bedroom（LSUN-Bedroom（Yu等，2015））、Church（LSUN-Church（Yu等，2015））和Human face（CelebAHQ（Liu等，2015））数据集。对于每种设定，我们随机选择100张测试图像进行评估。对于消融研究，我们使用减少的50张图像集。详细的实验设置见附录C.12。附录D提供了额外的可视化结果。

计算说明。我们的目标是研究对弱先验的稳健性，而不是提供计算量匹配的基准。因此，我们报告每种方法在其默认设置下的结果；计算量匹配的比较见附录C.11。

4.1. 跨领域反问题求解

回顾可知，弱先验可能源于（1）使用少步采样器，或（2）在不匹配的数据集上训练。因此，我们设计以下跨领域实验，以评估在两种弱先验下的性能。

我们考虑了四种恢复任务：修复、高斯去模糊、4倍超分辨率和针对卧室、教堂和人脸图像的非线性去模糊。对于每个任务-数据集对（例如，人脸修复），我们使用DPS算法（Chung等，2023）在强先验下进行基准测试，该算法使用与目标图像相同分布上训练的1000步DDPM。然后我们与两种弱先验设置进行比较：在匹配数据集上训练的3步DDIM先验，以及在不匹配数据集（例如，LSUN-Church或LSUN-Bedroom）上训练的3步DDIM先验。对于每个弱先验，我们使用第2.1节所述的初始噪声优化以及我们的优化器和HoldoutTopK早停策略来解决相应的任务。我们按照Wang等（2024）的建议选择3步DDIM先验，该文献包含关于DDIM步数的消融研究。

表3报告了修复和4倍超分辨率的结果，其余任务见附录C。结果表明弱先验能够实现准确的重建。通过初始噪声优化，少步、领域内先验在所有指标上总体上优于DPS基线（使用领域内1000步先验）。例如，我们的方法在修复上实现了0.88–1.80 dB的PSNR增益，在超分辨率上的增益更大。这些结果也与Wang等（2024）和Chihabou等（2024）一致。有些令人惊讶的是，即使使用最弱的先验（领域外且少步生成器），性能仍然可以匹敌或超过DPS。例如，使用卧室预训练模型进行CelebA修复时，我们的方法实现了PSNR 32.76，而DPS为31.98。

因此，这些结果表明，即使是少步、领域外的扩散生成器也可以作为有效的先验。¹

我们还研究了领域不匹配如何影响重建质量。具体来说，我们比较了在匹配与不匹配源-目标领域下使用少步生成器的方法。如表3所示，领域内生成器优于领域外生成器。差距有时适中（例如，CelebA修复），有时较小（例如，Bedroom修复）。同时，使用卧室训练模型与使用教堂训练模型通常产生相似的表现，尤其是与CelebA训练模型相比。这符合直觉，即卧室和教堂图像彼此之间的相似性高于它们与人脸图像的相似性。这些比较表明，领域不匹配可能影响性能，但影响通常是适度的，当源领域和目标领域在视觉上更接近时影响较小，相距较远时影响较大。

4.2. 与基于优化的方法及消融实验的比较

接下来，我们将我们的方法与最先进的基于优化的方法DMPlug（Wang等，2024）进行比较。两种方法都优化初始噪声，但使用不同的优化器和早停策略。为了隔离算法设计的影响，我们使用相同的领域内3步DDIM先验（如（Wang等，2024）中所建议），并从相同的随机采样初始噪声开始，以相同迭代次数运行两种算法。随机修复和非线性去模糊的结果总结在表4中。其他任务的结果见附录C。我们的PSNR在大多数情况下超过DMPlug，增益范围为0.15至1 dB；在其余情况下，差异低于0.1 dB。我们的LPIPS始终低于DMPlug，改进幅度最高达30%。

我们还对我们的新优化器ADAMSPHERE和早停策略HOLDOUTTOPK进行了小型消融研究；结果见表5。结果表明，ADAMSPHERE在优化性能上与标准Adam相当，同时显式地将噪声保持在典型高斯壳层附近，这已被发现对高质量生成很重要（Yang等，2024；Mannering等，2025）。同时，HOLDOUTTOPK始终优于Wang等（2024）中使用的基于方差的早停基线。因此，我们的策略为减少过拟合提供了一种简单而有效的替代方案。

4.3. 失效模式

我们考察弱先验的局限性。为了研究这一点，我们考虑了大块修复（box inpainting）和大规模超分辨率，这些任务更接近生成而非重建。例如，大块修复需要填充整个区域。

在这两个实验中，目标是恢复教堂图像。与之前一样，DPS使用在Church上训练的全1000步DDPM先验，而我们的方法分别使用在Church（领域内）和CelebA（领域外）上训练的3步DDIM先验。对于大块修复，我们遮罩一个连续的方形区域，其大小在不同试验中逐渐增大，并将我们的方法与DPS基线进行比较。结果绘制在图4中，并记录在附录C的表12中。我们观察到一个明显的失效模式：随着遮罩比例的增加，我们的方法性能下降并表现逊于DPS，且性能差距随着遮罩程度的加剧而扩大。特别是，领域外先验完全失效，这既反映在指标上，也体现在图3顶行中。填充区域呈现出类似人脸的 appearance，明显与教堂内容不一致。在超分辨率任务中也观察到类似现象。随着超分辨率倍数的增加，性能急剧下降，基本上所有方法都失效。然而，如图3底部所示，由于DPS具有更强的先验，它仍然能生成更高质量的样本。相比之下，弱先验产生模糊且不一致的样本。

4.4. ImageNet上的潜在扩散应用

我们使用Stable Diffusion 2.1（Rombach等，2022）和DiT（Peebles & Xie，2023）测试了少步潜在扩散先验。这些结果报告在附录C.7的表13中，显示出相同的定性模式：在数据信息充足的设定下，少步潜在先验仍然能给出准确的重建。

5. 结论、实践指南与讨论

本文研究了反问题性能何时对先验选择具有稳健性。我们表明，无论是源自低保真度生成器还是源自训练-重建领域不匹配的弱先验，仍然可以在许多反问题中表现良好。为了解释这一现象，我们结合了贝叶斯一致性理论与局部相关性诊断。理论表明，足够信息量的测量可以通过将后验集中在与测量一致的信号附近来降低对先验的敏感性。相关性诊断表明，弱且不匹配的自然图像先验仍然可以与更强的匹配先验共享局部空间结构。综合起来，这些结果解释了为什么弱先验在数据信息充足的条件下能够有效工作，以及为什么当测量提供的锚点太少时它们会失效。

在实际应用中，我们的结果提供了一个简单的指南：当测量提供大量局部锚点时，如随机修复、去模糊和中等程度的超分辨率中，弱先验是有用的默认选择。在这些设定中，重建主要由观测驱动，而先验通过共享的空间结构帮助传播局部约束。当观测留下大的零空间、噪声较高或需要全局语义补全时（如大块修复或高倍超分辨率），更强的匹配先验变得更加重要。

展望未来，这一现象呼吁进一步研究针对弱先验（尤其是少步先验）的算法。尽管初始噪声优化表现强劲，但现有工作仍然有限，且很大程度上集中在这一单一方法上。潜在的算法改进包括将测量注入与噪声优化相结合的混合方法，以及更有效的采样程序。在理论方面，需要进一步研究以确定锐利阈值，从而判定测量何时信息量足够，使得弱先验能够有效工作。

原文链接： https://arxiv.org/pdf/2601.22443