ICL-Net：用于皮肤病灶分割的全局和局部像素间相关性学习网络
作者：Weiwei Cao
期刊：JBHI 2023
摘要：皮肤病灶分割是计算机辅助黑色素瘤诊断的基本步骤。然而，由于病变区域形状多样、大小不一、边界模糊以及噪声干扰，现有方法可能面临类内不一致和类间不区分的挑战。鉴于此，我们提出了一种从全局和局部两个方面学习和建模像素间相关性的新方法，该方法可以增加类间方差和类内相似性。具体而言，在编码器-解码器架构下，我们首先设计了一个金字塔转换器像素间相关性（PTIC）模块，旨在捕获不同层次的非局部上下文信息，并进一步探索全局像素级关系，以处理形状和尺寸的巨大差异。进一步，我们设计了一个局部邻域度量学习（LNML）模块来增强局部语义相关学习能力，提高特征空间中类之间的可分性。这两个模块可以通过利用像素间的语义相关性来互补增强特征表示能力，从而进一步提高类内一致性和类间方差。在公共皮肤病变分割数据集ISIC 2018、ISIC2016和PH2上进行综合实验，并进行实验
主要贡献：
1)总结了类内不一致和类间不区分是皮肤病变分割的主要挑战，提出了全局和局部像素间语义关系学习策略来缓解这一问题，实现皮肤病变的准确分割。
2)基于编解码器网络，设计了两个新颖的PTIC和LNML模块。PTIC模块使用金字塔转换器和全连接层来捕获多层次的非局部上下文信息，并进一步建模全局像素间相关性，而LNML模块利用度量学习来建模目标和背景类之间局部邻域的局部像素间语义关系。这两个模块相辅相成，引导分割网络在特征空间中学习更多的判别表示。
3)在ISIC2018数据集和ISIC2016+PH2数据集上进行了数值实验，验证了该方法的有效性，达到了最先进的性能。实验结果表明，我们的ICL-Net可以有效、准确地从皮肤镜图像中分割出皮肤病变。
ICL-Net概述。将输入图像送入编码器网络，生成语义特征。然后通过金字塔变换像素间相关性（PTIC）模块捕获多层次非局部信息，学习全局逐像素关系。接下来，局部邻域度量学习（LNML）模块利用解码器网络的特征来学习两个类之间的局部语义相关性。最后，将PTIC模块的输出YF C和解码器网络YD的输出相加并归一化，作为最终的预测。
Pyamid transformers模块
其中Rh，Rw是两个给定的可学习的参数化向量，用于得到注意力逻辑att
式中R为可学习位置矩阵，T为转置运算，◦为矩阵乘法。
生成邻域信息特征图
损失函数：Lg是PTIC模块的全局损失；Ltriplet， LNML模块的度量损耗；和Lseg，分割损失的最终预测。为了结合全局和局部信息共同做出最终的分割决策。
实验结果：
