用经验贝叶斯方法重看点估计——从二项分布（Beta先验）到泊松分布的拓展

用经验贝叶斯方法重看点估计——从二项分布（Beta先验）到泊松分布的拓展

A Revisit to Point Estimation Through the Empirical Bayes Method: The Case of Binomial Distribution with Beta Prior and Extension to Poisson Distribution

https://arxiv.org/pdf/2608.12922

摘要

在纯粹基于数据的经典（频率学派）方法与假定模型参数具有先验分布的完全贝叶斯框架之间，存在着经验贝叶斯（EB）方法，它似乎是上述两种方法之间的一个良好折中。尽管许多研究者提出了经验贝叶斯方法的各种变体，但标准做法是在一族由自身参数（称为超参数）索引的合适先验下推导贝叶斯估计量，然后从数据的边际分布中估计这些未知超参数，并将其代入。但这里提出的根本问题是：经验贝叶斯方法是否真的能产生一个改进的估计量——即所谓的经验贝叶斯估计量（EBE）？

在本工作中，我们将重新审视一个被广泛引用的简单问题，即在二次损失函数下使用常规的双参数Beta先验族来估计二项分布参数，并证明第二类最大似然（ML‑II）步骤是无效的。如果我们进一步将注意力限制在单参数对称Beta先验族上，所得的经验贝叶斯估计量相对于最大似然估计（MLE）仍未表现出显著的改进，文中提供了详尽的计算细节予以说明。二项分布的研究已推广至泊松模型。

关键词：二项分布，Beta后验均值，第二类最大似然，均方误差（MSE），超参数。

1 经验贝叶斯估计：背景 1.1 预备知识

1.2 经验贝叶斯方法简要文献综述

当模型参数的数量超过某个临界值（“维数”）时，经验贝叶斯方法似乎在提供优于经典方法的估计方面往往表现良好，这为“Stein 型”收缩估计量的存在提供了合理性依据（关于详细的直观论证，见 Casella（1985））。但应注意，经验贝叶斯的合理性论证是后来引入的，而 Stein 最初的统一改进收缩估计量则更早地以完全不同的论证出现在文献中。该论证同样适用于多个泊松参数和 Gamma 尺度参数的同时估计，分别见 Ghosh 和 Parsian（1981）以及 Berger（1980）。有趣的是，尽管经验贝叶斯论证已被用于证明上述分布的一致改进收缩估计量的合理性，但同样的直观论证似乎不适用于多个二项分布参数的同时估计，因为在这种情况下不存在一致改进的收缩估计量，见 Johnson（1971）。

算法黑箱之谜可以通过一个完全不同的例子来说明。近来，人们对于将通常的一元正态分布推广为更灵活的偏态正态分布（SND）产生了浓厚兴趣，该分布除了位置和尺度参数外，还包含一个额外的偏度参数（参见 Azzalini（2013），他在 SND 方面做了一些开创性工作）。SND 的多元推广已使用一段时间，这是一个活跃的研究领域。有趣的是，给定一个数据集，即使在单变量情况下，找到 SND 三个模型参数的 MLE，尤其是偏度参数，也是一个挑战。（位置和尺度参数的估计直接与形状参数的估计相关。）当所有观测值落在位置参数的一侧时（或者在似然函数设定中，当位置参数被限制在最小观测值的左侧或最大观测值的右侧时），似然函数会在偏度参数趋近于负无穷或正无穷时达到最大化。换言之，SND 模型参数的 MLE 不存在，因为存在上述区域，无论它们携带的概率有多小。然而，在多元设定中，已经提出了 EM 算法来寻找模型参数的“MLE”（参见 Arellano-Valle 等（2018）），其中针对一个实际数据集获得了参数 MLE。

在接下来的第 2 节中，我们探讨带共轭 Beta 先验的二项分布，并检验 ML‑II 是否提供超参数的有限估计。我们表明，在本文所考虑的单观测值设定中，它并不提供。然后，我们研究具有固定超参数的相关 Beta 后验均值估计量族，并确定在平方误差损失下，哪些选择在最大风险意义上优于 MLE，尽管在逐点风险意义上并非一致优于。

2 二项参数的经验贝叶斯估计

2.1 ML‑II 方法：它适用于一般的 Beta 先验吗？

2.2 MM‑II 方法对超参数是否有效？

注意到（2.1）中的边际分布可用于得到 X X的边际矩，具体细节较为简单，为简洁起见此处省略：

3 经验贝叶斯估计量在对称 Beta 先验下是否有效？

4 风险比较与最大风险

备选加权损失下的二项分布

5 推广至泊松模型

5.3 ML‑II 方法在泊松–Gamma 族中的失效

5.4 泊松情形的结论

原文

6 结语

二项分布的例子表明，ML‑II 方法不能提供本文所考虑的 Beta 超参数的任何有意义的估计。对于边界观测值，数据的边际似然随着超参数不断向参数空间边界移动而单调递增。对于处于取值范围内侧的观测值，边际分布的上确界沿着超参数值的某个序列逼近，使得经验贝叶斯估计量与传统的 MLE 一致。泊松模型搭配 Gamma 先验族也得到了非常相似的结果。因此，ML‑II 方法在产生有意义的（不同于传统 MLE 的）经验贝叶斯估计量方面的失败并不局限于二项–Beta 组合，而且可能扩展到许多其他问题。然而，ML‑II 步骤的失败并不意味着后验均值形式的贝叶斯估计量无效。对于二项模型，可以选择超参数使得贝叶斯估计量在平方误差损失下具有比 MLE 更小的最大风险，而且极小极大估计量也属于这个可能的超参数集合。因此，困难来自于 ML‑II 方法本身，而非后验均值估计量。未来的工作可以研究类似的经验贝叶斯估计量不存在性是否也会在其他具有更多超参数的共轭先验以及不同损失函数下成立。本文的工作实际上源于我们研究几个具有未知且可能不相等的方差的正态分布的共同均值的经验贝叶斯估计量，并结合适当的共轭先验族的尝试。迄今为止，初步数值趋势表明，在二项分布情形中观察到的相同模式在此仍然存在，但具体细节将在未来的正式报告中分享。

原文链接：https://arxiv.org/pdf/2608.12922