Princeton提出COMET，用上下文与多重性分解多模态大模型不确定性

在开放式多模态理解场景中，不确定性估计是支撑模型自我评估、选择性回答与幻觉检测的重要基础能力。多模态大模型的可靠性不仅体现在能否正确回答，还取决于其能否判断输入证据是否充分，并据此自适应地调节置信度。现有多模态大语言模型的不确定性估计仍面临两项核心挑战：不确定性来源的多样性与答案空间的开放性。

本文介绍普林斯顿大学提出的 COMET。该方法是一种基于分解（decomposition-based）的 MLLM 不确定性估计框架。在冻结基座模型参数的前提下，COMET 将整体不确定性分解为两类分量：上下文特定不确定性，刻画给定上下文（如任务或提示）所引发的答案歧义程度；多样性特定不确定性，衡量在给定输入条件下，与上下文兼容的合理答案的数量规模。前者反映由上下文引入的模糊性，后者描述由输入约束后仍保留的答案多样性。实验表明，COMET 在开放式 VQA、幻觉检测和多项选择问答等基准上，AUROC 等核心指标整体优于现有基线。同时，其推理阶段无需自回归生成或重复采样，相较采样方法具有明显的效率优势。

论文题目： CoMet: Context and Multiplicity Decomposition for Multimodal Uncertainty Estimation 文章链接： https://arxiv.org/abs/2606.32012 项目主页： https://github.com/princetonvisualai/comet_uncertainty

不确定性估计是指模型在输出预测结果的同时，给出能够反映其可靠性的置信分数[1]。在传统闭集分类任务中，答案空间由固定类别集合构成，因此可以直接利用预测熵、最大类别概率或 logit 置信度衡量不确定性。然而，多模态大语言模型的输入通常由图像与文本共同构成，输出则是开放式自然语言，候选答案空间难以显式枚举，传统方法无法直接适用。

如上图所示，同一张图像在不同问题下会产生完全不同的不确定性。对于“这是一只三花猫吗”这类是非问题，上下文仅限定“是”与“否”两个候选答案。同时，图像提供了较为充分的视觉证据，因此最终不确定性较低。相比之下，“瓶子上是什么字母”具有更宽的候选答案空间，而目标区域较小、光照不足，图像无法有效排除多数候选字母，因而表现出更高的不确定性。这说明，多模态不确定性不仅取决于上下文本身所定义的答案空间，还取决于输入证据能够在多大程度上消除候选答案之间的歧义。

二、本文方法

上图展示了 COMET 的整体框架，整个流程分为三个阶段。第一阶段系统从 Cambrian 数据集中采集问题-答案对，并通过文本聚类为每一段上下文大致构建出一个候选答案集合。第二阶段，借助 MLLM-as-verifier 对图像、问题与候选答案三者之间的匹配概率进行估计，进而计算出训练所用的损失目标。第三阶段，训练一个轻量级后处理模块，该模块在推理阶段仅需输入图像 和上下文 ，即可直接输出不确定性分数，无需再访问候选答案集合或依赖生成过程。

2.1 用匹配变量定义后验分布

设 表示输入图像， 表示上下文或问题， 表示答案。传统方法通常直接对预测分布 进行建模，然而在开放式生成场景下，该分布往往由特定 MLLM 的解码近似得到，易受回答风格、措辞变化以及模型自身偏好等因素影响，难以反映真实的语义不确定性。

COMET 引入一个二值变量 ，用于指示答案 在给定上下文 下是否与输入 语义匹配。例如，对于一张猫的图像与问题“图里有什么？”，若答案为“猫”，则 ；若为“狗”，则 。基于该设定，论文进一步定义了匹配条件下的后验分布。

该方法将不确定性估计的核心从生成分布 转向语义兼容性 。COMET 并不关心模型是否恰好生成某个字符串，而关注在当前问题所定义的答案空间中，哪些候选答案仍能得到图像证据的支持。这一转换减少了对模型解码分布的依赖，同时也使得开放式答案空间可通过候选答案与匹配概率进行有效近似。

2.2 不确定性分解

为了衡量上述语义后验的集中程度，论文采用了 Rényi-2 熵（Rényi-2 entropy）。相较于离散 Shannon 熵，Rényi-2 熵关注概率质量是否集中于核心合理答案，而不会过度受开放式答案空间中尾部表述方式的影响，更契合本文的设定。记匹配概率为 ，并定义其在上下文答案分布 上的一阶矩与二阶矩：

在假设 在有限区域内近似均匀时，Rényi-2 不确定性可以写成：

其中， 表示上下文诱导出的有效答案空间大小。第一项， 是上下文特定不确定性，用来描述问题本身定义的答案空间有多宽。 例如“描述这张图”通常比“图里有猫吗”拥有更大的 。第二项， 是多样性特定不确定性。它还可以表示成与匹配概率变异系数相关的形式：

2.3 匹配概率和目标函数

COMET涉及两类关键量的估计：匹配概率 与上下文条件答案分布 。对于匹配概率，论文并未单独训练图文答案匹配分类器，这种方法容易只利用问题和答案之间的文本捷径，忽略图像内容。本文采用MLLM-as-verifier策略，利用冻结的 MLLM 判断候选答案是否得到图像的明确支持。验证提示词要求模型仅在图像充分支撑该答案时回答 “Yes”，否则回答 “No”。COMET 基于 Yes/No 概率进一步构造校准后的匹配概率。

给定候选答案集合 后，训练目标中的 和 可以用有限平均近似：

上下文项则通过自回归语言模型密度近似：

由于这个近似不再完全满足均匀分布假设，论文加入系数 控制上下文项权重，最终训练目标为：

该设计将开放的答案空间转化为可训练的监督信号，使模型不再直接学习生成答案的置信度，而是学习由上下文答案空间与图像匹配关系共同诱导出的不确定性。

三、实验结果

本文从开放视觉问答（VQA）、幻觉检测以及多项选择视觉问答三类任务出发，对 COMET 进行了全面评估。开放式 VQA 任务涵盖 VQA v2、VizWiz 和 OK-VQA 三个基准。可靠性评估方面，作者采用 VizWiz 的不可回答性检测任务与 HallusionBench 的幻觉检测任务。多选视觉问答则选取 MMMU Test、MMMU Pro 和 MMStar 作为评测基准。评价指标采用 AUROC、AUPRC 和 FPR@95，并将不确定性估计建模为区分正确预测与错误预测的二分类问题。作者在 Qwen3VL-2B/4B/8B-Instruct 及 InternVL3.5-1B 四个多模态大语言模型上验证方法的有效性，并保持各基座模型的原始权重冻结，不参与训练更新。

3.1 定量分析

上表对比了 COMET 与生成式、采样式、扰动式及候选式不确定性基线方法在开放式 VQA、幻觉检测与多项选择问答任务上的表现。比较核心主要在于不确定性分数对错误样本的判别能力。在开放式任务中，COMET 在四个基座模型上均取得最优 AUROC。在幻觉检测中，COMET 同样领先，Qwen3VL-2B 和 InternVL3.5-1B 上 AUROC 分别达 0.751 和 0.732，优于 P(Correct)[1]的 0.672 和 0.649。上述结果表明，COMET 所估计的不确定性不仅适用于常规 VQA，更能有效迁移至判断模型输出是否获得视觉证据支撑的可靠性任务，展现出良好的泛化能力。

3.2 两个分解项的有效性分析

为了验证所提出分解结构的必要性，作者对比了仅使用上下文特定不确定性 、仅使用多样性特定不确定性 以及同时使用两项时的性能表现。实验结果表明，在 Qwen3VL-8B 模型上，仅依赖 的平均 AUROC 为 0.686，仅使用 则提升至 0.780，而两者结合后进一步达到 0.798。上述结果揭示，问题本身所界定的答案空间范围与视觉输入对候选答案的排除能力构成两类互补信息。尤其在 VQA v2 这类需要依赖视觉证据的任务中，多样性特定不确定性作用更明显，而上下文特定不确定性则能补充数据集层面的答案空间先验。

3.3 定性分析

上图进一步展示了上下文特定不确定性与多样性特定不确定性之间的互补关系。以“这张照片是最近拍的吗”为例，上下文特定不确定性较低，但不同图像对应的多样性特定不确定性差异显著。当图像中年代线索明确时，模型预测更为可靠。反之，若视觉证据不足，多样性特定不确定性则显著升高，错误预测也随之增多。而在“这些动物是什么”这类问题中，上下文特定不确定性因答案空间较宽而较高，但当图像清晰显示为长颈鹿时，多样性特定不确定性仍可保持在较低水平。这些观察表明，COMET 的分解不仅提升了定量指标，更赋予不确定性估计以良好的可解释性。

3.4 运行时间分析

作者在 VQA v2 上随机选取了 100 个样本，并将最大生成长度设为 4096 token 来比较不同不确定性估计方法的运行时间。在 Qwen3VL-2B 上，Consistency 方法耗时 34.87 秒，VL-Uncertainty[2] 耗时16.33 秒，P(Correct) 耗时6.01 秒，而 COMET 仅需 5.88 秒，推理效率最高。

四、总结

本文提出的COMET，将多模态大模型的不确定性从单一置信度问题定义为上下文答案空间和输入答案兼容性的联合问题。COMET通过匹配变量构造语义后验，再用 Rényi-2 熵将不确定性分解为上下文特定项和多重性特定项。COMET不再把 MLLM 不确定性简单等同于模型置信度，而是把开放式多模态答案空间中的语义歧义拆解为可估计、可解释、可部署的两个来源。实验表明，COMET 在开放式 VQA、错误检测、幻觉检测和多选视觉问答中都能提供更可靠的不确定性分数，并且推理阶段不需要重复采样或额外生成。

参考

[1] Saurav Kadavath, Tom Conerly, Amanda Askell, Tom Henighan, Dawn Drain, Ethan Perez, Nicholas Schiefer, Zac Hatfield-Dodds, Nova DasSarma, Eli Tran-Johnson, et al. Language models (mostly) know what they know. arXiv preprint arXiv:2207.05221, 2022.

[2] Ruiyang Zhang, Hu Zhang, and Zhedong Zheng. VL-Uncertainty: Detecting hallucination in large vision-language model via uncertainty estimation. arXiv preprint arXiv:2411.11919, 2024.

Illustration From IconScout By IconScout Store

AI 学术长跑中的女性力量与科研定力：与 6 位高校老师的线上闭门交流

北京时间8月11日(周二) 晚20:00截止报名

详情点击图片跳转

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈