西安交大团队提出 HADUA 框架，提升脑电—眼动跨被试情绪识别性能

让情绪识别模型更好地适用于不同个体，是情感计算与智能人机交互面临的重要问题。脑电反映神经活动，眼动提供注视、瞳孔变化等行为线索，两类信号具有互补性；但个体差异与信号模态差异相互叠加，使模型在更换使用者后仍保持稳定表现并不容易。

围绕这一问题，西安交通大学生命科学与技术学院研究团队提出分层注意力与动态均匀对齐框架（HADUA），将多模态特征学习、伪标签可靠性控制与跨被试分布对齐有机结合，提升模型在脑电—眼动联合情绪识别任务中的跨被试适应能力。 西安交通大学博士研究生唐甲豪为论文第一作者，黄子罡教授为通讯作者。

研究在SEED、SEED-IV和SEED-V三个公开数据集上开展评估。在SEED-IV四分类任务中，HADUA取得92.00%的准确率和92.88%的宏平均F1值，在论文比较的方法中，这两项指标均为最高；在SEED和SEED-V上保持了有竞争力的识别表现。

相关成果获《IEEE Journal of Biomedical and Health Informatics》（IEEE JBHI）接收，作者版本已上线IEEE Xplore。论文题为：HADUA: Hierarchical Attention and Dynamic Uniform Alignment for Robust Cross-Subject Emotion Recognition

01

研究内容

领域挑战：跨越个体差异与模态差异

同样的情绪，不同人的脑电活动与眼动行为可能呈现不同模式。与此同时，脑电与眼动在生理来源、统计分布和信息表达上也存在差异。仅将两类特征直接拼接，往往不足以充分利用互补信息；仅对齐不同被试的数据分布，也难以避免不可靠预测对适应过程的干扰。

尤其在新用户缺少情绪标注时，模型需要利用自身预测生成伪标签来辅助学习。预测错误可能被带入后续训练，而对某些较易识别类别的偏好，又会造成伪标签分布失衡。如何同时获得更有效的多模态表征、更可靠的样本贡献和更均衡的类别适应，构成了HADUA的研究切入点。

分层注意力：让脑电与眼动有效协同

HADUA采用双分支网络分别编码脑电和眼动特征，先通过模态内自注意力增强各自的特征表达，再以脑电特征为引导，利用交叉注意力选择并聚合眼动中的互补信息，形成融合表征。

在此基础上，模型通过最大均值差异（MMD）缩小不同被试之间的整体分布差异，并通过条件分布对齐（CMMD）进一步匹配同一情绪类别。多模态融合因此不再是孤立的前处理步骤，而是与跨被试适应共同优化。

图1. HADUA整体框架。模型通过分层注意力融合脑电与眼动特征，并将边缘分布对齐、条件分布对齐与置信驱动的伪标签处理相结合。

可靠适应：样本置信与类别均衡协同

伪标签并非真实标注，其可靠程度会随样本和训练阶段变化。硬阈值筛选在保留多少样本和保证多高质量之间存在权衡：阈值较高可能舍弃仍有价值的样本，阈值较低又可能引入更多不可靠预测。

研究将截断高斯置信加权机制融入跨被试条件分布对齐，根据预测可靠性连续调节目标样本的贡献。对于置信度较高的样本，模型保留较大权重；对于不确定样本，则平滑降低其权重，而不是直接剔除。通过这种方式，模型在利用无标签数据的同时，减轻低可靠性伪标签对类别条件统计估计的干扰，提升跨被试适应过程的稳定性。

只有样本层面的置信控制仍然不够。模型可能持续偏向较容易识别的类别，使其他情绪类别缺少有效的适应信号。针对这一问题，HADUA引入动态均匀对齐：训练早期适度加强类别均衡约束，减轻伪标签向少数类别集中的趋势；随着训练推进，逐步减弱约束，让模型更多保留所估计的目标分布特征。

这一机制并不假定真实情绪必须均匀分布。均匀先验在这里是一种软约束，其作用是缓解模型预测偏差。调整后的概率用于形成类别感知的置信度，得到的可靠性权重再与原始软类别概率共同进入条件分布对齐，使样本可靠性与类别均衡协同发挥作用。

实验验证：兼顾识别精度与类别均衡

研究覆盖SEED三分类、SEED-IV四分类和SEED-V五分类任务。SEED采用同步脑电—眼动数据可用的12名被试，SEED-IV和SEED-V分别包含15名和16名被试。

评估采用留一被试的传导式无监督域适应：其他被试提供有标签数据，目标被试提供无标签数据参与适应，目标标签不用于模型训练和适应。论文同时说明，目标标签用于训练结束后的离线超参数选择。因此，这些结果对应可访问新用户无标签数据的适应场景。

图2. SEED与SEED-IV上的混淆矩阵。除总体准确率外，研究进一步考察不同情绪类别的识别表现。

在SEED上，负性、中性和正性情绪的类别识别率分别为92.92%、94.30%和96.73%；在SEED-IV上，四类情绪的识别率为88.83%—97.40%。类别间识别率的标准差分别为1.57和3.22，体现出较好的类别一致性。上述均衡性结论对应SEED与SEED-IV两个数据集。

论文还报告了更严格的20%—80%目标数据留出评估，三个数据集的准确率分别为92.72%、86.75%和83.39%。这一协议与主文的传导式评估不同，两类结果不宜直接等同比较。

模型分析：观察特征学习过程与判别线索

为进一步理解模型的学习过程，研究选取SEED与SEED-IV中各一个目标被试，通过t-SNE观察训练初始、第50轮和第200轮的融合特征分布。随着训练推进，不同情绪类别逐渐形成更清晰的聚类，同一类别内的源域与目标域特征也表现出更好的重叠。

图3. 融合特征随训练推进的演化。不同颜色表示情绪类别，圆点与星形分别表示源域和目标域样本；上、下两行对应SEED与SEED-IV。

研究还计算了62个脑电通道、5个频段的微分熵特征与模型预测概率之间的互信息，分析模型相关的特征重要性。在SEED上，额部部分电极及γ频段特征呈现较高的互信息值，为理解模型利用的空间与频谱线索提供了补充视角。

图4. SEED上模型相关脑电特征重要性的头皮分布。颜色表示特征与模型预测概率之间的互信息，展示不同情绪及频段的分布差异。

这些分析反映的是特征与模型预测的关联，并非神经机制的因果证明。论文也指出，头皮γ频段可能受到面部和头部肌电活动影响，不能完全排除残余肌电伪迹对高频特征的贡献。

02

研究意义

HADUA将多模态信息融合与跨被试适应紧密结合：分层注意力增强表征，连续置信加权控制不可靠样本的影响，动态均匀对齐缓解类别偏差。这为构建更稳定的情绪感知模型提供了一条协同优化路径，也为情感交互和非诊断性情绪状态感知研究提供了方法参考。

目前的验证基于健康被试在实验室中观看影片所诱发的情绪，尚不能直接代表日常自发情绪或临床人群。面向实际应用，还需在低通道可穿戴设备、运动与生理伪迹、模态缺失等条件下开展验证；按照本研究的适应设置，新用户仍需提供无标签校准数据。

论文作者

西安交通大学为论文第一作者和通讯作者单位。唐甲豪（Jiahao Tang）为论文第一作者，黄子罡（Zi-Gang Huang）教授为通讯作者。 合作作者来自西安交通大学生命科学与技术学院，以及西安理工大学理学院、自动化与信息工程学院。

论文链接与开源代码

论文链接：https://doi.org/10.1109/JBHI.2026.3738383

开源代码：https://github.com/XuanSuTrum/HADUA

作者｜唐甲豪、黄子罡

来源｜西安交通大学生命科学与技术学院研究团队

审核|@脑机学苑

脑机接口社区是国内首家脑机接口(BCI)产业服务平台、国内脑机接口新媒体开创者与引领者。主要为企业、科研团队、投资机构和从业者提供以下服务：

宣传报道：图文、短视频、直播形式报道企业动态、技术解读、产品介绍等内容，提升曝光和行业影响力。

资源对接：根据需求匹配资本、供应链、临床机构、渠道方等资源，完成真实对接，促进合作。

成果转化：协助技术团队寻找产业方、投资人及落地场景，推动技术到产品的转化。

活动策划执行：承接线上线下路演、沙龙、论坛等活动的策划与执行。

其他定制需求：包括报告定制、市场调研、人才招聘支持等个性化服务。

合作洽谈，请联系微信：ZuoLeiLeiya

（备注：姓名-单位-合作）