ECCV 2026｜不再无脑融合RGB：InfraNet用质量感知引导提升红外目标检测

在复杂天气或夜间场景中，退化的 RGB 图像往往会拖累多模态目标检测的准确性。本文解析了 ECCV 2026 入选工作 InfraNet，该框架创新性地将 RGB 从推理依赖转变为训练期的质量辅助，实现了仅靠红外单模态推理即可获得强鲁棒性的检测表现，为自动驾驶与安防场景提供了更灵活的部署方案。

论文标题： InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection 论文链接： https://arxiv.org/abs/2607.03795

RGB 与红外图像经常被放在同一个检测框架里：RGB 提供纹理和颜色，红外图像在夜间、弱光和复杂天气中更稳定。沿着这一直觉，很多方法会在训练和推理阶段都保留两条分支，并持续融合两种模态。

但如果系统最后只准备部署红外相机，问题就变了。此时真正需要的不是一个必须同时读取 RGB 与 IR 的融合模型，而是一个能够从配对数据中获益、上线后又能独立工作的红外检测器。

InfraNet 中的InfraNet-IR正是围绕这一目标设计：训练阶段让 RGB 参与辅助学习，推理阶段彻底移除 RGB 分支和融合模块，最终只留下 IR 主路径。换句话说，RGB 是训练资源，不是部署条件。

一、为什么传统 RGB-IR 融合不完全适合 IR-only 部署？

双模态融合通常把训练条件与部署条件绑定在一起。模型在训练时习惯同时接收 RGB 和 IR，推理时也需要两路输入共同完成预测。只要其中一路缺失、不同步或质量明显下降，整套系统就会受到影响。

这种绑定在红外应用中尤其值得讨论。夜间、雾天、眩光或低照度环境里，RGB 可能变暗、过曝或充满噪声，而 IR 仍能保留相对稳定的目标响应。更现实的是，不少夜间安防、车载热成像和无人机巡检系统，本来就希望把最终模型建立在红外传感器上。

因此，InfraNet-IR 不把问题定义为“怎样永久保留两种模态”，而是从最终部署目标反推训练方式：怎样利用训练时能够获得的 RGB，提升一个推理时只看 IR 的模型。

二、InfraNet-IR：从训练开始就把预测责任留给红外分支

InfraNet-IR 采用非对称双分支结构。IR 分支是主路径，负责提取多尺度特征并承担检测任务；RGB 分支只在训练阶段出现，为 IR 表示提供辅助信息。

在多个尺度上，RGB 特征通过 QualGate 与 IR 特征发生受控交互。训练完成后，RGB 分支、QualGate 以及相应的跨模态计算全部被移除，保留下来的只有 IR backbone、neck 和检测头。

图1：InfraNet-IR 的整体结构。训练阶段引入 RGB 辅助分支，推理阶段仅保留 IR 主路径和检测头。

这里有一个容易被误解的地方：InfraNet-IR 并不是先训练一个普通双模态网络，再在测试前简单删除 RGB 分支。它从优化阶段就把 IR 放在主位。论文采用非对称检测损失，主分支负责主要优化，辅助分支的损失权重默认设为 0.25。RGB 可以帮助学习，但不能替代 IR 承担最终预测。

论文中的 InfraNet-IR 与 InfraNet-RGB-IR 也是分别训练的两套架构。前者服务于纯红外推理，后者面向 RGB 与 IR 均可稳定提供的双模态场景，二者并不是同一个模型临时切换输入。

三、QualGate：让辅助信息进入训练，但不要支配主路径

只把 RGB 限定在训练阶段仍然不够。如果低质量 RGB 特征未经控制地进入 IR 分支，辅助模态依旧可能干扰红外表示。

InfraNet 为此设计了QualGate。该模块根据当前辅助特征产生任务相关的控制信号，并同时调节两条路径：一方面抑制不可靠的 RGB 贡献，另一方面在 RGB 引导减弱时补偿多尺度 IR 特征。

图2：QualGate 结构。模块同时执行 RGB suppression 与 IR amplification，使训练期的跨模态交互始终围绕 IR 主路径展开。

QualGate 的作用并不是判断一张 RGB 图像“看起来是否清晰”，而是限制它对当前检测训练的干预强度。这样，RGB 中有用的结构线索可以参与学习，退化信息却不容易直接污染最终要保留的 IR 路径。

四、训练时增加信息，部署时不增加分支

InfraNet-IR 最直接的特点，是把训练开销和推理开销分开处理。

训练时，网络需要配对 RGB-IR 数据、辅助 RGB 分支和 QualGate；部署时，这些组件不再保留。因此，最终导出的模型与对应的纯 IR baseline 使用相同的红外主干和检测头。

论文在 M3FD 上给出了直接对照：纯 IR baseline 的参数量为 28.2M，推理时间为 12.5 ms，AP50 和 AP 分别为 84.8 和 57.2；InfraNet-IR 的参数量仍为 28.2M，推理时间仍为 12.5 ms，而 AP50 提升到 86.2，AP 提升到 59.0。

这组结果说明，RGB 带来的增益被留在了 IR 模型中，而额外分支没有被带到推理阶段。对于最终只部署红外传感器的系统，性能提升不需要用双模态输入和额外推理结构来交换。

五、InfraNet-IR 在四个数据集上的表现

论文在 LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle 四个 RGB-IR 检测数据集上进行了实验，覆盖夜间行人、车载热成像、复杂照明以及无人机车辆检测。

如果只看 InfraNet-IR，几组代表性结果如下：

• 在 LLVIP 上，YOLOv8 版本达到 68.8 mAP；

• 在 FLIR-Aligned 上，YOLOv5 版本达到 88.1 mAP50 和 53.8 mAP；

• 在 DroneVehicle 上，YOLOv12 版本达到 84.7 mAP50 和 63.9 mAP；

• 在 M3FD 的 Night 子集上，YOLOv8 版本达到 92.1 AP50，在 Challenge 子集上达到 99.5 AP50。

这些结果所回答的并不是“双模态模型能否继续抬高精度上限”，而是另一件事：当 RGB 在推理阶段完全退出后，训练期的辅助信息是否仍然能够转化为 IR 分支自身的检测能力。从四类任务的结果看，这种转化是有效的。

六、可视化结果：模型最后依赖的仍然是 IR 表示

M3FD 的检测结果展示了 InfraNet-IR 在不同照明条件下的定位表现。与部分融合方法相比，InfraNet-IR 在一些样例中减少了背景误检和重复框，对车辆与行人的定位也更紧凑。

图3：M3FD 上的检测结果对比。InfraNet-IR 在多种照明条件下保持较稳定的目标定位。

需要注意的是，这些结果来自完成 RGB 辅助训练后的 InfraNet-IR，但真正推理时输入仍然只有红外图像。RGB 的作用已经在训练过程中转化为 IR 主路径的表示能力，而不是作为第二路输入继续参与预测。

七、这种设计适合哪些场景？

InfraNet-IR 适合一类很明确的使用条件：训练阶段能够获得成对 RGB-IR 数据，但部署时希望只依赖红外传感器。

例如，夜间安防系统更关心弱光下的稳定性；车载热成像和无人机巡检常会遇到雾霾、眩光和远距离成像；边缘设备则需要控制输入链路与推理负担。在这些条件下，RGB 可以作为训练阶段的额外信息来源，却不必成为系统长期运行的前提。

InfraNet-IR 并不否定双模态推理。如果现场能够持续获得高质量、严格对齐的 RGB 与 IR，InfraNet-RGB-IR 仍然提供了更高容量的选择。但当最终目标明确是纯红外检测时，InfraNet-IR 给出了一条更直接的路线：训练时借助更多信息，部署时保留更少依赖。

总结

InfraNet-IR 的重点不是构建一个更复杂的融合网络，而是训练一个更强、同时保持独立部署能力的 IR-only 检测器。

它把红外分支设为主要预测路径，通过 QualGate 控制训练期 RGB 辅助的强弱，再利用非对称优化把检测能力集中到 IR 表示中。训练完成后，RGB 分支与跨模态模块全部移除，最终模型以纯红外输入完成推理，并保持与对应 IR baseline 相同的参数量和推理速度。

对红外应用而言，这项工作的核心可以概括为：让 RGB 帮助训练，但让 IR 独立完成部署。

Illustration From IconScout By IconScout Store

AI 学术长跑中的女性力量与科研定力：与 6 位高校老师的线上闭门交流

北京时间8月11日(周二) 晚20:00截止报名

详情点击图片跳转

-The End-

本周上新！

扫码观看！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线700+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信（aceyiming）投稿，沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈