图贝叶斯潜在空间模型设定偏差：基于广义后验的稳健推理

图贝叶斯潜在空间模型设定偏差：基于广义后验的稳健推理

Bayesian Latent Space Models for Graphs Are Misspecified:Toward Robust Inference via Generalized Posteriors

https://hal.science/hal-05617023v1/file/main.pdf

摘要

图模型的贝叶斯潜在空间模型为网络表示提供了一种原则性的方法，但依赖于几何结构和链接函数两者的正确设定。现实世界的网络往往违反这些假设，表现出几何失配和结构异常，这些异常破坏了标准的度量性质。我们表明，这种误设定会将数据生成分布推至模型类之外，导致贝叶斯推断变得过度自信且校准不良。为了解决这一问题，我们为随机几何图提出了一种广义后验框架。我们引入了链接序列式R-SafeBayes，这是一种利用二元条件独立性来估计前序风险并自适应调整后验正则化的方法。在合成网络和真实世界网络上的实验表明，该方法改善了校准性，提升了链接预测性能，并为在欧几里得空间、球面空间和双曲空间中选择潜在几何结构提供了一个可靠的标准。

1 引言

潜在空间模型已成为网络科学和图机器学习领域的基石，致力于将图结构转化为连续的几何表示。自Hoff等人[2002]的开创性工作以来，将节点嵌入到一个度量空间中——在该空间中连接概率随成对距离衰减——已被证明对于建模同质性、传递性和社区结构非常有效。近年来，该领域已认识到底层流形几何结构的影响，非欧几里得空间，特别是双曲空间[Krioukov等人，2010]和球面几何，被用于捕获无标度度分布和层次图拓扑。与之平行的一项进展是这些模型的贝叶斯公式化，它为链接预测和网络重构等下游任务提供了原则性的不确定性量化[Newman，2018]。

尽管取得了这些成功，标准的贝叶斯潜在空间模型仍在一种危险的假设下运行：即真实的数据生成过程与所选的参数化模型和几何结构完美对齐。在实践中，现实世界的网络以众所周知的噪声大而闻名，并且内在地违反了严格的度量公理。例如，密集枢纽的存在可能超出欧几里得空间的堆积容量，而异配连接则违反了基于距离的链接函数的严格单调性。在本文中，我们主张贝叶斯随机几何图（RGG）模型几乎普遍被误设定。在标准的贝叶斯范式下，模型误设定并非无关紧要。当真实的数据生成分布位于纯模型类之外时，标准的贝叶斯更新可能导致过度自信和不一致的推断，将后验质量集中在一个次优的参数集上，该参数集产生次优的预测对数损失[Grünwald和van Ommen，2017]。具体而言，我们从理论上证明，几何失配迫使Kullback-Leibler最小化器从纯模型空间移出，并严格地进入其凸包。因此，任何单一的点估计或标准的后验样本都被迫做出错误预测（例如，对违反三角不等式的观测边赋予零概率）。

为了解决误设定问题，我们提出了一个鲁棒的广义后验框架。由于标准的边际似然在误设定下不可靠，我们设计了链接序列式R-SafeBayes，这是一种顺序吸收随机化的二元块以动态评估前序风险并选择最优后验正则化程度的算法。

本研究的主要贡献有三方面：

• 几何误设定的理论形式化。我们证明，堆积容量违反（定理1）和链接函数矛盾（定理2）两者都将真实网络分布驱动至模型类的凸包内，从而形式化了标准贝叶斯RGG失败的原因。

• 针对网络的鲁棒推断框架。我们为RGG引入了一种广义η-后验，并开发了链接序列式R-SafeBayes，将前序风险框架适配到条件独立的二元数据，以安全地学习最优学习率。

• 实证验证和几何模型选择。通过在合成网络和真实网络上的大量实验，我们证明，我们的框架不仅能防范过度自信并改善链接预测的下游平方损失，而且其前序对数损失本身就内在地作为一个鲁棒的标准，用于为给定网络识别最合适的底层几何结构（欧几里得、双曲或球面）。

2 相关工作

随机图模型与潜在几何。早期的网络概率模型，例如Erdős和Rényi [1960]以及Gilbert [1959]，假设二元组之间相互独立，并忽略了高阶结构。尽管这些模型在解析上易于处理，但它们无法捕获聚类和社区结构等关键的经验性质。随着潜在空间模型的引入[Hoff等人，2002]，该领域取得了一项重大进展，在该模型中节点被嵌入到一个度量空间中，边概率取决于成对距离。与此同时，随机几何图（RGG，Penrose [2003]）形式化了几何在网络形成中的作用，为将空间邻近性与连通性相关联提供了一个自然的框架。随后的工作建立了几何与高阶网络性质之间的深层联系，包括聚类[Krioukov，2016]和社区涌现[Zuev等人，2015]。此外，离散曲率概念，如Ricci曲率，已被证明能够控制图中三角形的存在和频率[Lin等人，2011，Jost和Liu，2014]，进一步强化了几何与拓扑之间的相互作用。

双曲与非欧几里得嵌入。越来越多的研究认为，非欧几里得几何，特别是双曲空间，为复杂网络提供了更忠实的表示。Krioukov等人[2009，2010]的开创性工作表明，异质的度分布和强聚类自然地从负曲率中涌现出来。这一观点在理论和实证两方面都得到了支持，包括对双曲嵌入的进一步分析[Sala等人，2018]，以及基于拉普拉斯谱性质的证明表明许多现实世界网络表现出双曲结构[Smith等人，2019]。替代性的嵌入方法探索了图的度量性质[Verbeek和Suri，2014]、庞加莱球中的确定性构造[Keller-Ressel和Nargang，2020，Chowdhary和Kolda，2018]，以及诸如高效最短路径计算等算法上的优势。双曲潜在空间已被证明对链接预测[Kitsak等人，2020]和网络比较[Asta和Shalizi，2015]特别有效，而理论结果证实，重尾度分布和聚类是双曲度量的直接后果[Gugelmann等人，2012]。除了黎曼设定之外，洛伦兹几何也被提出用于通过利用其因果结构来嵌入有向无环图[Clough和Evans，2017]。

贝叶斯潜在空间模型与不确定性。潜在空间模型的概率公式化由Hoff等人[2002]开创，他们在欧几里得空间中引入了一个具有逻辑链接函数的贝叶斯框架，后来由Raftery等人[2012]为可扩展性而进行了扩展。然而，大多数嵌入方法——无论是贝叶斯方法还是其他方法——都返回点估计，并且在很大程度上忽略了不确定性，尽管不确定性对链接预测等下游任务具有关键影响。早期针对随机几何图和网络重构的贝叶斯方法[Newman，2018]强调了网络数据中存在测量误差，这一思想被进一步发展以考虑异质噪声[Young等人，2020，Peixoto，2018]和社区检测[van der Pas和van der Vaart，2018]。

贝叶斯潜在空间模型中的一个关键挑战是不可识别性：潜在坐标仅在等距变换（例如，Procrustes变换）的意义上被定义。这一问题已通过锚定策略[Papamichalis等人，2021]或通过显式地对对称性和多峰后验进行建模来解决，特别是在双曲设定中[Lizotte等人，2025]。更广泛地说，贝叶斯方法也被用于推断几何性质，如流形曲率和维度，即使在严格的潜在位置模型之外也是如此[Lubold等人，2023]。

局限性与空白。尽管取得了这些进展，并且对贝叶斯潜在空间模型的兴趣日益增长，但现有的方法在很大程度上假设所选的几何空间和链接函数是被正确设定的。然而，在实践中，现实世界的网络是由任何单一的潜在空间模型都只能不完美地捕获的机制生成的。虽然参数的不确定性已被研究，但由模型误设定——特别是在几何和链接函数的联合选择方面——所引起的不确定性在很大程度上仍被忽视。这一空白推动了我们的工作，该工作明确地处理了随机几何图模型中的误设定问题，并提出了一个对此类偏差具有鲁棒性的贝叶斯框架。

3 方法

3.1现有模型的错误设定

3.2 误设定下的安全贝叶斯估计

为了规避这一问题，我们在图上设计了SafeBayes算法[Grünwald和van Ommen，2017]的一个类似物。为此，我们首先将自身限制在一个特定的RGG模型上（同时记住，无论这一具体选择如何，我们的论证都是有效的），然后我们描述我们的SafeBayes变体，最后我们构思一个测试平台来实证验证误设定的现实性。

3.2.1 我们的潜在空间模型

3.2.2 链接序列式 R-SafeBayes

累积对数损失在SafeBayes框架中充当前序后验风险，在模型吸收新的网络块时顺序地量化模型的预测惩罚。前序后验风险衡量了整体的模型质量，直接反映了所学表示在多大程度上有效地捕获了真实底层图结构并推广到未见数据。

虽然前序对数损失驱动着学习率的选择，我们同时追踪测试块上的累积平方损失（Brier分数）。对于实际的图表示而言，平方损失是我们关心的主要指标，因为它直接决定了模型在链接预测和下游预测任务中的可靠性。至关重要的是，正如Safe Bayes文献中所强调的，在严重误设定下执行标准贝叶斯推断（η = 1）会迫使模型做出过度自信的估计，这转化为人为膨胀的平方损失。

4 结果 4.1 几何误设定的普遍性

4.2 缓解过度自信并改善预测风险

R-SafeBayes施加的动态正则化直接转化为显著的下游性能提升，通过预测对数损失和累积平方损失（Brier分数）两者进行评估。如图4所示，标准贝叶斯随机几何图（RGG）可靠地陷入过拟合陷阱，严重优化了样本内二元组重构，而直接牺牲了样本外预测有效性。通过顺序吸收数据块来调整 η η，SafeBayes成功逃脱了这种退化的集中，找到了一个全局最小值，在欧几里得情形下，平均实现了15.6%的对数损失降低和11.6%的平方损失降低。

至关重要的是，这些性能提升并非在所有预测上均匀出现；相反，它们源于对灾难性预测失败的缓解。图5剖析了这些预测改进的分布，揭示了标准贝叶斯迫使模型在拓扑噪声较大的二元组上做出过度自信且错误的密度估计。在误设定下，一个纯度量状态被迫做出"确定但错误"的预测（例如，对违反三角不等式的观测边赋予可忽略不计的概率）。通过平坦化后验，SafeBayes采取了一种防御姿态。虽然在易于预测、低误差的二元组上它承受了轻微的正则化代价，但这一代价被高误差区域（误差 > 0.8）中预测惩罚的大幅减少所远远盖过。通过有效识别自身在结构失配下的认知不确定性，该模型避免了无界损失惩罚。

4.3 通过前序风险进行稳健的几何选择

除了防范过度自信之外，由R-SafeBayes评估的前序对数损失还作为一种高度可靠的、无监督的模型选择准则，用于揭示网络底层的潜在流形。通过顺序测量每种几何结构所导致的样本外预测惩罚，该框架能够区分欧几里得空间、球面空间和双曲空间，而无需依赖于严重偏倚的边际似然。

6 结论

原文链接：https://hal.science/hal-05617023v1/file/main.pdf