贝叶斯因子 Bayes Factors

贝叶斯因子Bayes Factors

https://sites.stat.washington.edu/raftery/Research/PDF/kass1995.pdf

我们强调以下几点：

• 从 Jeffreys 的贝叶斯观点来看，假设检验的目的是评估支持某一科学理论的证据。

• 贝叶斯因子提供了一种评估支持零假设的证据的方法。

• 贝叶斯因子提供了一种将外部信息纳入关于某一假设的证据评估的方法。

• 贝叶斯因子非常一般，并且不要求备择模型是嵌套的。

• 有若干技术可用于计算贝叶斯因子，包括使用最大化似然的标准软件包输出即可容易计算的渐近近似。

• 在不满足常见正则条件的“非标准”统计模型中，计算贝叶斯因子在技术上可能比推导非贝叶斯显著性检验更简单。

• Schwarz 准则（或 BIC）给出了贝叶斯因子对数的一个粗略近似，它易于使用，并且不需要评估先验分布。

• 当人们关注估计或预测时，贝叶斯因子可以被转换为附加到各种模型上的权重，从而可以获得一个考虑结构或模型不确定性的复合估计或预测。

• 已经提出了若干算法，使得在最初考虑的模型类非常大时，能够将模型不确定性纳入考虑。

• 贝叶斯因子有助于指导一个演化式的模型构建过程。

• 评估结论对所用先验分布的敏感性是重要的，而且是可行的。

关键词：贝叶斯假设检验；BIC；重要性抽样；拉普拉斯方法；马尔可夫链蒙特卡洛；模型选择；蒙特卡洛积分；后验模型概率；后验几率；求积；Schwarz 准则；证据强度。

1. 引言

贝叶斯假设检验方法由 Jeffreys（1935，1961）作为其科学推断纲领的一个主要部分发展而来。尽管 Jeffreys 将他的方法称为“显著性检验”，这显然是借用自 Fisher 的术语，但这是误导性的，因为 Jeffreys 的视角和目标相当不同。Jeffreys 关注的是对由两个竞争性科学理论所做的预测进行比较。在他的方法中，引入统计模型来表示根据这两个理论中每一个理论的数据概率，并使用贝叶斯定理来计算其中一个理论正确的后验概率。

相当多的注意力已被给予这两种方法之间的区别（例如，Berger 和 Delampady 1987，Berger 和 Berry 1988，以及其中引用的参考文献）。然而，在争论中经常被忽略的，是贝叶斯方法的实践方面：如何从中得出结论，当非贝叶斯方法难以构建时它们如何能提供答案，它们的优势和局限是什么。这些关切是本文的焦点。我们还将讨论贝叶斯方法在模型构建过程中考虑不确定性，这与假设检验的方法论密切相关。

在第2节中，我们通过来自遗传学、体育、生态学、社会学和心理学领域的若干应用来推动这项工作。这些有助于将假设检验与模型选择联系起来，并引入若干贝叶斯方法论可以解决的问题，包括评估支持零假设的证据、在证据权衡中纳入其他信息、比较非嵌套模型，以及在模型选择中考虑不确定性。在第3节中，我们引入贝叶斯因子，即当两个假设的先验概率相等时，其中一个假设的后验几率。

贝叶斯方法涉及积分，因此通常涉及数值积分。许多积分技术已被改编用于贝叶斯推断问题，包括贝叶斯因子的计算；这将在第4节中讨论。贝叶斯因子需要关于模型中出现的、代表竞争假设的参数的先验。这些先验的选择以及贝叶斯因子对这种选择的敏感程度将在第5节中讨论。

在第6节中，我们讨论考虑模型形式不确定性的问题。数据分析师经常面临许多涉及不同假设、分布形式或协变量集的模型。尽管他或她可能希望用单一模型来总结发现，但通常有许多选择要做，而在估计感兴趣的量时，最好提供一种考虑模型构建过程本身的不确定性评估。这可以用贝叶斯方法来完成，其中贝叶斯因子被用来计算所考虑模型的后验概率。

在第7节中，我们回到应用，并展示第3-6节中回顾的方法如何被用来解决第2节中提出的问题。

关于贝叶斯因子一直存在很多争议。在第8节中，我们讨论几个问题，包括检验尖锐假设的目的、贝叶斯因子与 P 值之间的分歧，以及替代的模型选择标准。在第9节中，我们简要提及一些其他工作，并提供针对某些特定模型的贝叶斯因子计算的参考文献。最后，在第10节中，我们通过总结最重要的要点并强调未解决的问题来结束。

2. 应用

在本节中，我们展示五个应用，它们提出了可借助贝叶斯因子有效解决的问题。在前两个中，目标是评估支持零假设的证据。第三个涉及不规则、非嵌套模型。第四个与在试图考虑建模中的不确定性时得出结论有关；第五个与确定两组备择解释变量中哪一组能更好地预测某些二元重复测量数据有关。后者将导致计算上的困难，而这些困难可通过本文回顾的某些技术来解决。这里我们描述这些问题；在第7节中我们描述它们的解决方案。

这第一个应用提出了几个问题。首先，研究者希望知道数据为他们的科学假设提供的证据强度，该假设被转化为一个统计假设。其次，所涉及的假设是零假设，而 Pearson 卡方统计量未能拒绝它，并不表明支持它的证据强度。第三，还有其他数据可用于构建备择假设；也就是说，存在先验信息。问题的这些方面表明，贝叶斯方法可能有用。

在下一个应用中，支持零假设的证据再次成为问题，但先验信息的记录较少。这个例子涉及反对超二项变异的证据。

应用2：热手

有人主张，对篮球中“热手”的信念是基于对随机序列的误感知（Gilovich, Vallone, 和 Tversky 1985）。也就是说，投篮行为的起伏可能并不反映球员具有良好连续或糟糕连续的真实倾向，而可能与稳定的投篮命中率一致。如果球员有强烈的良好和糟糕连续倾向，那么人们会期望看到这表现为状态好的日子和状态差的日子。事实上，许多参与体育活动的人似乎确实认为他们自己有好日子和坏日子。球迷通常对球员也有类似的看法。作为对 Gilovich 等人（1985）所报告结果的检验，我们中的一人（Kass）收集了 Larry Bird 在1986-1987赛季逐场比赛表现的数据。Bird 的投篮命中率范围从21%到92%，在《波士顿环球报》报道的44场比赛中平均为53.5%。零假设是 Bird 的投篮命中率来自44个二项分布，所有这些分布都具有相同的成功概率；也就是说，来自44批使用“Larry Bird 硬币”的独立抛硬币。

结果发现，零假设二项模型对这些数据拟合得相当好。也就是说，这些数据中没有足够的变异性来拒绝每个投篮都完全类似于抛硬币的零假设。然而，在这里，并不清楚数据未能拒绝零假设是因为零假设为真，还是因为样本量太小。为了检验这一点，可以构建一个二项模型的备择模型，并计算二项模型的后验几率。一个特别简单的备择模型是假设二项参数根据 beta 分布在比赛之间变化。此外，Kass 收集了更多数据，使用了 Vinnie Johnson，这位球员在当时似乎是最常被引用的“连续投篮手”例子，而不是 Larry Bird，后者被视为相对稳定的射手。Kass 获得了 Johnson 在1985-1989赛季380场比赛的投篮数据。

贝叶斯因子允许轻松比较非嵌套模型和不规则模型。这将在下一个应用中说明。

应用3：臭氧超标

正如 Smith (1989) 所描述的，地面臭氧是一个令人担忧的话题，因为高水平的臭氧表明空气被污染了。美国标准规定，在任何三年期内，超过阈值水平的天数不得超过三天。在包括德克萨斯州休斯顿在内的许多美国城市，这一标准远未达到，而德克萨斯州空气控制委员会等监管机构的任务是采取措施，降低高超标事件的频率和水平。

休斯顿的臭氧超标是否正在减少这一问题，可以通过1974年至1986年间去季节化后高于每亿分之16（pphm）阈值的超标集群发生时间来考察；数据由 Raftery (1989, 表1) 给出。超标可以被建模为一个泊松过程，其速率可能随时间变化。Raftery (1989) 考虑了三种速率模型，分别代表 (a) 无变化，(b) 逐渐减少，以及 (c) 突然减少。这个应用有几个有趣的特点。模型 (b) 和 (c) 是非嵌套的。此外，模型 (c) 不是一个正则统计模型，因为它有一个高度不连续的似然函数。因此，频率派检验 (a) 对 (c) 的方法很复杂，而贝叶斯因子则相当容易计算。我们不知道有任何频率派方法可以检验 (b) 对 (c)。该分析暗示了一个更精确的机制，以及可能一个更完善的统计模型，说明贝叶斯因子不仅限于比较先前表述的假设，而且也有助于指导一个演化式的模型构建过程。

在上述应用中，使用了简单合理的模型来表示竞争假设。然而，在每种情况下，人们都可以通过询问哪个模型更好地拟合数据来以不同方式表述问题。也就是说，检验一个假设的问题被等同于模型选择之一。但“模型选择”这一短语的含义会有所不同，取决于模型是来自底层理论，还是来自观察数据。如果是后者，那么贝叶斯因子仍然可以使用，但选择模型可能不再是主要目标。

例如，当人们关注一个变量对另一个变量的影响，并且还有其他几个可能的协变量要包含在回归方程中时，就会出现这种情况。人们常常不确定是否选择了完全正确的协变量集，而这是一个应该被考虑的不确定性来源。同样，其他函数或分布假设可能导致对感兴趣量的不同估计，并且再次，人们希望在估计过程中考虑关于这些假设的不确定性。贝叶斯方法允许以一种自然的方式做到这一点，即用候选模型的后验概率作为权重对它们进行平均。以下应用提出了这个问题，其中竞争模型对应于广义线性模型中的不同链接函数。

应用4：教育过渡

社会阶层背景、能力和所上学校类型是否影响教育成就？这些问题在爱尔兰的背景下由 Greaney 和 Kelleghan (1984) 处理，他们得出结论，爱尔兰教育系统正在接近精英主义的理想。他们这样说的意思是，系统内的进展在很大程度上由教育相关的属性决定，而不是由其他教育无关的属性（如社会阶层）决定。一个特别具有政策意义的问题是，职业（非学术性中学）学校的学生是否以及在多大程度上比具有相同能力和社会阶层出身的普通中学（学术性中学）的同龄人更早辍学。

这些问题可以通过使用基于逻辑回归的模型重新分析 Greaney 和 Kelleghan (1984) 的纵向数据来解决。然后它们归结为回归模型中感兴趣效应的存在与否及其大小的问题。关于这些效应大小的问题必须在存在若干竞争模型（在这种情况下是不同链接函数）的情况下回答，数据无法清楚地区分这些模型，但它们却产生非常不同的结果。考虑这种模型不确定性是至关重要的。

在最后一个应用中，简单近似方法被应用在一个中等复杂的设置中（即，带有备择预测变量的重复测量逻辑回归）。人们希望检查建模假设和所用渐近近似的准确性。这提出了计算和先验分布确定的问题。

应用5：基于计算机任务中的人类工作记忆失败

在人机交互中，描述倾向于导致人为错误的任务是很有意义的，这样就能编写程序来避免它们。Carlin, Kass, Lerch, 和 Huguenard (1992) 描述了在涉及数据库管理系统 SQL 的实验研究中的一项此类努力，该研究向受试者呈现不同复杂度的查询任务（例如“找出所有未结发票超过200美元的客户”）。对错误的理解由关于现在所谓的“工作记忆”（一个已经取代并改进了过去所谓短时记忆的概念）超负荷的认知心理学理论指导。因此，其观念是，当人类工作记忆由于任务中的过度需求而超负荷时，错误往往会发生。在这项研究中，争论点在于超负荷倾向于归因于 (a) 查询中条件的数量，还是 (b) 查询的复杂度。为了确定哪种特征能更好地预测错误率，基于备择预测变量构建了两个备择统计模型，要么是条件数量，要么是一对查询复杂度度量。

有20名实验受试者，每人被给予50个任务来完成。一半受试者收到一个“提示”，该提示旨在提醒他们问题的本质特征，并防止他们犯下所研究的错误。Carlin 等人 (1992) 使用了一个逻辑回归模型，其随机受试者能力效应（每个受试者一个单一数字）嵌套在提示效应内，连同各自的预测变量。这两个竞争模型有四个共同参数；条件数量模型有一个额外参数（预测变量的系数），而查询复杂度模型有两个额外参数（两个预测变量的系数）。由于随机受试者效应，任一模型中似然的评估都需要数值计算一个积分。

3. 贝叶斯因子

3.1 定义

3.2 解释

考虑贝叶斯因子的自然对数的两倍可能是有用的，它与熟悉的偏差和似然比检验统计量处于同一尺度。取整并使用20而不是10作为强证据的要求，我们得到一个轻微的修改：

4. 计算贝叶斯因子

在一些基本情况下，积分 (2)，我们将在本节中重写为

可以被解析地求值。更常见的是，它是难以处理的，因此必须通过数值方法计算。但是，数值分析学家开发的大多数可用软件对于这些积分来说通常效率太低，以至于几乎没什么用。一个原因是，当样本量适中或较大时，被积函数在其最大值附近变得高度尖峰，而该最大值可以通过其他技术找到，并且不以了解最大值为起点的求积方法很可能难以找到被积函数质量积累的区域。第二个原因是，有些问题是高维的。在这种情况下，可以使用蒙特卡洛方法，但这些方法也需要适应统计背景。Evans 和 Swartz (1995) 提供了对用于评估 (3) 中积分的各种数值积分策略的综述。

对于具有共轭先验的指数族分布，包括正态线性模型，积分 (3) 的精确解析求值是可能的 (DeGroot 1970, 第9章; Zellner 1971, 第10章)。

原文链接：https://sites.stat.washington.edu/raftery/Research/PDF/kass1995.pdf