水下图像增强与目标检测：标签缺失的“锅”？

在水下计算机视觉领域，图像增强和目标检测一直是研究热点。然而，一个有趣的现象引起了研究者的关注：在某些情况下，增强后的水下图像用于目标检测时，性能反而下降了。这到底是为什么呢？最近，Evan Lucas等人在他们的论文《Underwater Image Enhancement and Object Detection: Are Poor Object Detection Results On Enhanced Images Due to Missing Human Labels?》中，对这一问题进行了深入探讨，并提出了一个令人意想不到的解释：这可能是因为人类标注的缺失！

在这里插入图片描述

背景知识：水下图像的挑战

水下图像由于光在水中的传播特性，常常面临质量不佳的问题，比如颜色失真、动态范围降低和雾化效应增强等。这些问题使得水下图像的处理和分析变得尤为困难。为了应对这些挑战，水下图像增强（UIE）技术应运而生，旨在改善图像质量，以便更好地进行后续的分析和处理。然而，当将增强后的图像用于目标检测时，结果却不尽如人意：一些研究发现增强后的图像目标检测性能有所提高，而另一些研究则发现性能反而下降了。这种矛盾的现象让研究者们感到困惑。

研究方法：从增强到检测

为了探究这一现象背后的原因，研究者们采用了以下方法：

水下图像增强模型

论文主要研究了AutoEnhancer模型，这是一种基于U-Net架构的水下图像增强模型，通过神经架构搜索（NAS）优化，能够有效改善水下图像质量。此外，论文还对比了其他几种图像增强方法，包括TEBCF、PCDE、ICSP、ACDC、BayesRet、TUDA、USUIR和Semi-UIR等，以验证不同方法对目标检测性能的影响。

目标检测框架

论文选择了YOLO-NAS模型作为目标检测工具。YOLO-NAS是YOLO系列模型的一个变体，通过神经架构搜索优化，具有较高的检测效率。研究者从预训练的COCO数据集开始，然后在选定的数据集（原始或增强图像）的训练部分上进行微调，并在测试部分上进行测试。

数据集

研究使用了Real-world Underwater Object Detection（RUOD）数据集，包含14,000张高分辨率的水下标注图像，涵盖十个不同的类别，共有约75,000个标注。

实验设置与评估指标

实验分为三个主要部分：

性能基准测试：在RUOD数据集上对YOLO-NAS模型进行测试，评估不同增强方法对目标检测性能的影响，并报告了典型的目标检测指标（如mAP、准确率等）以及水下图像质量评估指标（UCIQE）。
人工审查预测标签：随机选择100张图像，审查其预测标签，判断所谓的“假阳性”是否实际上是由于标注缺失导致的。
重新标注实验：雇佣标注者对增强后的测试集图像进行重新标注，并比较原始标注和重新标注后的标签统计信息。

实验结果：增强与标注的“爱恨交织”

增强对目标检测性能的影响

表1显示了在不同增强方法下YOLO-NAS模型的平均性能。结果显示，AutoEnhancer增强后的图像在真阳性（TP）数量上优于未增强图像，但在假阳性（FP）数量和平均精度（mAP）上表现稍差。这表明，增强后的图像可能会检测到更多未被人类标注的目标，从而导致FP数量增加，但这些“假阳性”实际上可能是真实的目标。
在这里插入图片描述

标注错误分析

表2展示了人工审查100张图像的结果。研究发现，无论是未增强图像还是AutoEnhancer增强图像，实际的假阳性比例都非常低，且增强图像的假阳性比例更低。这进一步支持了论文的假设，即所谓的“假阳性”实际上是由于人类标注缺失导致的。

在这里插入图片描述

重新标注结果

表3和图2显示了重新标注后的标签统计信息。重新标注后，每张图像的平均标签数量从5.5增加到14.4，中位数从3增加到6。这表明原始标注中存在大量缺失的标签。使用重新标注后的标签对YOLO-NAS模型进行评估，结果显示精度（Pr）有所提高，但召回率（Rc）和mAP分数大幅下降。这可能是由于模型在原始标注上训练时，未能学习到所有目标的特征。

在这里插入图片描述

结论：增强无罪，标注有责？

论文得出结论，水下图像增强后目标检测性能的下降主要是由于人类标注的缺失，而非增强本身的问题。增强后的图像能够检测到更多未被标注的目标，从而导致FP数量增加。为了解决这一问题，建议在人类标注过程中使用图像增强作为预处理步骤。此外，论文指出，未来的研究需要进一步量化缺失标注对目标检测性能的影响，并探索如何通过重新标注训练数据集来提高模型的性能。