随机变量和的拟贝叶斯经验贝叶斯估计

随机变量和的拟贝叶斯经验贝叶斯估计

Quasi-Bayes empirical Bayes estimation of sums of random variables

https://arxiv.org/pdf/2606.21707

摘要

估计可观测变量和不可观测变量的函数的和，是统计学中一个长期存在的问题，其应用遍及许多领域。经验贝叶斯方法为混合模型下的这一任务提供了自然的框架，但现有方法往往依赖于限制性的参数假设，或在非参数设置中仅适用于有限类别的泛函。我们提出了一种称为拟贝叶斯经验贝叶斯的非参数方法，通过基于牛顿算法的混合分布的递归估计来克服这些局限性。由此得到的目标和的插入估计具有计算高效、可扩展性强的优点，并适用于广泛的效用函数类别，同时能够通过基于高斯中心极限定理的渐近置信区间实现不确定性量化。我们通过证明拟贝叶斯估计与贝叶斯估计之间的融合，以及在正确设定的频率派模型下证明一致性，来建立大样本渐近理论保证。合成数据和真实数据分析证明了该方法的实际准确性和稳定性，其性能与现有经验贝叶斯方法相当，在某些情况下甚至更优。

关键词：经验贝叶斯，牛顿算法，拟贝叶斯，随机变量和

1 引言

1.1 问题设定

关于随机变量和 估计的早期研究主要集中于临床试验中的处理效应 (Robbins 和 Zhang, 1988, 1989, 1991)。Zhang (2005) 综述了更广泛的应用范围，突出了这类问题的普遍性和实际相关性。例子包括生物和物理科学中的物种抽样问题，例如，估计种群中的物种数量、缺失质量和未观测到的物种数量 (Good, 1953；Good 和 Toulmin, 1956；Efron 和 Thisted, 1976；Bunge 和 Fitzpatrick, 1993；Mao 和 Lindsay, 2002)；数据保密性，例如，估计披露风险度量 (Bethlehem 等, 1990；Skinner 和 Elliot, 2002；Rocher 等, 2019)；以及网络数据分析，例如，基于源-目的地数据估计节点度数 (Vardi, 1996；Tebaldi 和 West, 1998；Zhang, 2005)。

1.2 经验贝叶斯背景

1.3 我们的贡献预览

1.4 相关工作

“拟贝叶斯经验贝叶斯”这一术语由 Favaro 和 Fortini (2024) 引入，他们提出了一种拟贝叶斯 g g-建模方法，用于泊松混合模型中的均值估计（Brown 等，2013；Jana 等，2025；Shen 和 Wu，2024；Cannella 等，2026）。与 Favaro 和 Fortini (2024) 一样，本文提出的方法也依赖于牛顿算法，但在概念和技术上有所不同，因为它处理的是更具挑战性的随机变量和估计问题。Favaro 和 Fortini (2024) 以及本文都致力于将经验贝叶斯文献与日益增长的关于预测性或递归推断的研究工作（通常被称为“后贝叶斯”框架）相衔接。这一研究方向包括关于预测分布和鞅后验的发展（Hahn 等，2018；Fong 等，2023；Fortini 和 Petrone，2020，2025；Battiston 和 Cappello，2025），以及基于广义贝叶斯更新的方法（Bissiri 等，2016；Knoblauch 等，2022）。

1.5 论文结构

2 随机变量和的拟贝叶斯经验贝叶斯方法

2.1 预备知识与建模假设

2.2 拟贝叶斯性质

2.3 估计与置信区间

3 频率派保证

3.1 相合性

关于命题3.3的证明，见C.3节。对于其他核（例如指数族），可以给出保证KL近似误差至多为η量级的网格的显式构造，尽管泊松核和高斯核是最常见的（Zhang，2005，第2节）。基于一般核k的结构性质，其构造见C.4.4节。

4 泊松核的示例

5 真实数据分析

6 讨论与结束语

6.1 高斯核的示例

6.4 物种抽样问题

未来研究的另一个有前景的方向是将本文开发的拟贝叶斯经验贝叶斯方法应用于物种抽样问题（Good，1953；Good 和 Toulmin，1956；Efron 和 Thisted，1976；Mao 和 Lindsay，2002）。在这种情况下，诸如种群中的物种数量、缺失质量和未观测到的物种数量等感兴趣的量可以在泊松混合模型下表示为随机变量的和。然而，与第 4 节中考虑的示例不同，相关的“ u , v ”积分方程没有解，因此“ u , v ”估计不可用（Zhang，2005，第 3.2 节）。虽然在混合分布的参数假设下参数化经验贝叶斯方法仍然可行，但在这种情况下开发具有理论保证的拟贝叶斯经验贝叶斯估计将具有独立的意义。关于物种抽样公式及其与随机变量和的经验贝叶斯估计之间联系的更多细节见附录 I。

6.5 未来研究的进一步方向

与 Favaro 和 Fortini (2024) 一样，建立拟贝叶斯经验贝叶斯估计的收敛速度目前依赖于对参数空间 Θ 的离散化，这是一个标准且在实际中方便的假设，理想情况下应予以避免；在无限维设置中获得速率结果将需要新的工具来控制没有有限维近似的随机逼近误差。此外，虽然本文采用了 g -建模策略，但另一种直接对观测值边缘分布建模的 f -建模方法，在拟贝叶斯框架内基本上尚未被探索，可能提供互补的见解。最后，虽然拟贝叶斯方法为目标和提供了渐近置信区间，但其频率派覆盖性质仍然未知；确定这些区间达到有效覆盖的条件是一个重要的开放问题。

原文链接：https://arxiv.org/pdf/2606.21707