今天给大家介绍一种针对配饰的高保真虚拟试穿解决方案IDM-VTON，该方案旨在填补当前虚拟试穿技术在高端配饰（如珠宝和手表）领域的空白。现有的虚拟试穿模型主要集中在服装上，IDM-VTON结合了2D虚拟试穿技术与其他计算机视觉模型，特别是MediaPipe手部标记器，来提升配饰的虚拟试穿效果。
相关链接
论文地址：http://arxiv.org/abs/2409.14553v1
概述
本研究旨在填补当前虚拟试穿技术在高端配饰（如珠宝和手表）领域的空白。现有的虚拟试穿模型主要集中在服装上，缺乏针对配饰的高保真虚拟试穿解决方案。为此，研究者们提出了一种新的扩散模型IDM-VTON，结合了2D虚拟试穿技术与其他计算机视觉模型，特别是MediaPipe手部标记器，来提升配饰的虚拟试穿效果。通过对配饰特定数据集的定制和重训练，IDM-VTON显著改善了生成图像的真实性和准确性，实验结果表明其在小型数据集上的表现优于现有模型，为未来的虚拟配饰试穿应用提供了新的可能性。
方法
在方法部分，研究者们首先构建了一个高分辨率的配饰数据集，利用网络爬虫技术从多个来源收集了包含手表和珠宝的图像。接着，采用了多种模型进行人类解析，以提取图像中的关键特征。具体而言，使用了OpenPose、MediaPipe和Simple Out-of-Box Extractor等模型来进行人体关键点检测和手部特征提取。数据预处理包括生成无关的掩膜和人类无关图像，以确保模型训练时能够准确识别和对齐配饰与人类图像中的相应部位。此外，IDM-VTON模型架构基于VITON-HD，采用几何匹配模块和ALIAS生成器，通过对输入图像进行几何变换来实现配饰的虚拟试穿。
实验
在实验部分，研究者们对基线模型和改进后的IDM-VTON模型进行了比较。实验使用了一组包含人和配饰的图像对，评估生成图像的质量。通过定量指标（如SSIM和LPIPS）和定性评估（如视觉观察和问卷调查），对生成图像的真实感和保真度进行了评估。实验结果显示，改进后的模型在生成配饰的形状和大小方面表现更佳，尽管在位置预测上仍有待提高。此外，研究者们还发现，背景复杂度对生成图像的质量有显著影响，未来的工作将集中在增强模型对复杂背景的适应能力上。
定性对比。虽然图像显示出强烈的扭曲，但我们（右二）显示身体其余部分的扭曲较少。
模型的 LPIPS 得分。该得分与基线得分非常相似。提出的方法得分与基线得分略有不同。
严重扭曲的网格和图像。
使用基线模型进行实验。
