随机贝叶斯因子：为何、何时以及如何

随机贝叶斯因子：为何、何时以及如何

Stochastic Bayes factors: why, when, and how

https://arxiv.org/pdf/2608.29154

摘要

贝叶斯因子（BF）是贝叶斯假设检验和模型选择中的核心工具，但其实际使用常常面临挑战。经典BF严重依赖先验设定，无法应用于非正常先验，并且通常通过任意的证据尺度来解释。此外，它们无法捕捉数据中固有的不确定性，导致其与频率派p值形成类比，并且主要反映的是先验预测性能而非后验预测性能。我们引入随机贝叶斯因子（SBF），这是一个新框架，通过复制数据明确纳入不确定性，从而扩展了BF。形式上，SBF被定义为一个前推测度，将BF从观测数据空间转移到复制数据空间。这种方法推广了此前的校准方案，同时强调后验预测复制作为一种稳健的替代方案。我们建立了关键的理论性质，包括模型一致性、兼容性和支配性，确保SBF保留理想的贝叶斯保证。

随后提出了一种算法程序来操作化SBF，以有原则的方式指导模型判别，同时自然地提供模型校准。模拟研究和实际应用证实，与经典BF相比，SBF通过为模型比较提供有价值的工具，提供了更好的稳健性和预测可靠性。

关键词：贝叶斯模型选择；后验预测校准；前推测度；模型不确定性。

1 引言

从上述几点可以看出，BF是一种有效但在贝叶斯框架中进行模型选择时多少有些争议的工具。为此，在本文中，我们正式定义并引入随机贝叶斯因子（SBF）的概念，以明确统一和形式化那些表明有必要量化和考虑BF不确定性的方法。SBF的定义依赖于从适当的模型分布生成数据复制，然后在这些复制上评估BF：用形式化的测度论语言来说，SBF因此是一个前推测度（Bogachev 2007），将BF从观测数据空间转移到复制数据空间。

对假设数据采样并 consequently 评估BF的想法并不新鲜。García-Donato & Chen（2005）从先验预测分布中采样，而Schad等人（2022）提出了一种基于模拟的校准方法，在复制的后验预测数据集上计算贝叶斯因子，并评估在同一研究的不同模拟中结果有多可变。Robert（2014）提出关注并集中于贝叶斯因子的后验预测分布，而非先验预测分布。与后几位作者一致，我们主张使用后验预测样本为SBF提供一种稳健且有效的替代方案。为了推动这一选择，我们建立了诸如模型一致性、兼容性和支配性等理论性质。此外，通过实际例子，我们表明后验预测校准在 M M-封闭设置（Yao et al. 2018）中更有效地恢复真实的数据生成机制，其中真实模型被假定属于模型空间。

为了充分提供一种用于模型判别的实用工具，我们将上述SBF纳入一个算法程序，以有效驱动竞争模型之间的选择。我们认为这一提议在许多设置和应用中可能富有成果，其理想特性是承认两个模型的不确定性度量，并自动完成一种以后验预测分布（ppd）为 terms 的模型校准。

本文的其余部分组织如下。第2节介绍随机BF的一般概念。第3节呈现随机贝叶斯因子的关键理论性质，而第4节提供一种基于SBF使用的算法程序，用于区分两个竞争模型。在第5节中，通过模拟例子和真实数据应用考察SBF的行为。第6节总结全文。

2 随机贝叶斯因子的定义与计算

总而言之，方程（2）允许我们为期望 SBF 引入替代估计量。期望值可以相对于先验预测密度或后验预测密度等其他选择来取（后者见方程3）。在接下来的章节中，我们为上述量提供一些理论性质。

3 随机贝叶斯因子的模型判别性质

3.1 SBF 的一致性

模型选择一致性（Liang 等人 2008），或简称一致性（Kass & Raftery 1995, Walker 2004），代表了贝叶斯统计程序随着样本量增长而恢复真实模型（或假设）的众所周知的性质。作为贝叶斯统计学家，我们需要问自己，通过方程（1）提出的 ESBF 是否具有一致性，即

通过 BF 实现的模型一致性是贝叶斯设定中区分两个竞争模型的关键性质，并且应当始终从理论角度进行检查，因为它可能被视为合理模型选择程序的最低要求。出于这个原因，值得评估 ESBF 相对于我们生成复制数据的分布的极限行为。

与 BF 的一致性密切相关，后验一致性的关键概念由 Schwartz（1965）提出，并且通常被假定为一个工作技术条件。我们参考 Chib & Kuffner（2016）以获取相关的详细参考文献列表。

贝叶斯一致性通常是相对于观测数据来评估的。在 Schad 等人（2022）中，开发了基于模拟的校准技术，使用后验模拟数据集来评估贝叶斯因子的变异性；然而，该设置中并未提供一致性的理论保证。以下结果建立了证明 ESBF 一致性的充分条件。

3.2 使用观测BF的模型兼容性

3.3 随机支配

4 一种基于 SBF 的模型判别算法程序

一旦研究了 consistency、compatibility 和 dominance 的理论性质，我们就拥有了一个通过 SBF 进行模型选择的完整协议，如算法1所述。简而言之，在我们的程序下，用户需要：

1. 从两个竞争模型的预测分布生成 SBF；

2. 计算后验摘要，如 ESBF 和可信区间；

3. 通过第3.1–3.3节评估上述性质；以及

4. 执行最终的模型评估和选择（如果合适）。

5 应用

5.1 嵌套线性回归

5.2 非嵌套线性回归

现在假设处理如下三个非嵌套回归模型：

最后，作为额外的敏感性检查，补充材料电子附录B.3中的表III报告了第5.1节和5.2节的嵌套和非嵌套比较中，九个面板中每个性质得到满足的百分比。这些百分比是通过对18种不同场景中的每一种，在100个数据集上重复模拟获得的。总体而言，图2和图3中显示的模式与它们在重复数据集上的行为高度一致，表明结果具有稳定性。

5.3 过度离散泊松回归：高中出勤率

6 讨论

在本文中，我们引入了随机贝叶斯因子（SBF）的概念，将其作为一种前推测度，通过将BF等测度从观测数据转移到生成的预测数据而获得。尽管在文献中，使用BF并 consequently 在预测复制上进行模型判别并非新事（García-Donato & Chen 2005），但鉴于SBF在基于模拟的校准（Schad 等人 2022）和先验启发（Demartino 等人 2025）等场景中被大量非正式地使用，一个一般的理论表述至关重要。出于这个原因，我们提供了伴随SBF定义的兼容性和支配性概念；此外，依赖这些基础性质，我们提出了一种新颖的算法程序，使用来自两个竞争模型的预测样本进行模型判别。在模拟和真实数据上的应用证实了所提出方法的有效性，特别是与在先验预测样本上评估的BF相比。总的来说，这一程序很可能在广泛的模型选择设置中有益，并以坚实的理论方式承认内在的后验不确定性，从而刷新了BF的概念。

许多批评点仍然悬而未决。首先，这一程序实际上两次使用了数据，一次用于计算后验，另一次用于从每个模型的后验预测分布中抽样假设复制。为了淡化这种数据的双重使用，未来的研究应集中于SBF的预测版本，可能通过使用一部分数据作为训练集，另一部分作为验证/测试集，类似于内在贝叶斯因子（Berger & Pericchi 1996）的工作方式。

其次，可能存在一些模型判别不明确的灰色犹豫情况或弱证据；例如，当观测到的BF提供了支持某个模型的强证据，但未达到该模型预测分布下SBF所预期的程度时。

第三，探索所提出的SBF与交叉验证技术（如留一交叉验证）之间的联系将非常有趣：更深入的调查很可能将纯贝叶斯与现代深度/机器学习工具连接起来。

最后，在本文的早期版本中，我们还考察了所比较两个模型下SBF预测分布之间的可分离性概念。然而，在探索这一想法时，我们在依据可分离性刻画和解释SBF行为方面遇到了困难。在现阶段，对可分离性的考察似乎并未提供超出我们最终关注的支配性和兼容性概念之外的实质性额外洞见。

原文链接：https://arxiv.org/pdf/2608.29154