AI一键换衣：虚拟试穿项目IDM-VTON

什么是 IDM-VTON 技术?

IDM-VTON 是一种基于扩散模型的虚拟试穿技术，由 KAIST 和 OMNIOUS.AI 共同开发。

IDM-VTON 透过改进扩散模型，增强虚拟试穿任务中的影像保真度和细节保留，特别是在真实世界场景中产生高保真度的虚拟试穿图像。

IDM-VTON 透过分析人物和服装的图像，即使在复杂背景和多样姿势下，IDM-VTON 也能保持服装的细节特征，产生逼真的试穿效果。

【使用步骤】

1、进入IDM-VTON，上传个人照片，或选择软件提供的内置模特；

2、上传服装照片，或选择服装库中选择合适的服装样式；

3、点击Try-on，软件会模拟服装在模特身上的效果，如上图。

二、训练教程

【配置要求】

Win 环境：windwos10/11操作系统；英伟达显卡GPU 8G以上

Mac环境：MacOS（Apple Silicon-M1/M2/M3）；推荐内存8G以上

【安装】-扩散模型

1.克隆仓库

2.安装Python依赖

3.下载预训练的VGG检查点并放置在models/vgg/目录下

【安装】-扭曲模块

4.克隆仓库

5.将代码移动至相应目录

【数据准备】-VITON-HD

1.下载VITON-HD数据集

https://github.com/shadow2496/VITON-HD

2.下载预先扭曲的衣物图像/掩模，将其放在你的VITON-HD数据集目录下

https://pan.baidu.com/share/init?surl=ss8e_Fp3ZHd6Cn2JjIy-YQ&pwd=x2k9

完成后文件结构如下：

推理】-VITON-HD

1.下载预训练模型：

https://pan.baidu.com/s/13Rp_-Fbp1NUN41q0U6S4gw?pwd=6bfg#list/path=%2F

【推理】-扭曲模块

2.先将 warp_vtion.pth 移动到 checkpoints 目录：

3.然后运行测试命令：

4.推断后，你可以将结果用于VITON-HD中扩散模型的推理和训练。

【推理】-扩散模型

或者直接运行：

【训练】-扭曲模块

1.运行以下命令来训练扭曲模块

【训练】-扩散模型

1.我们使用Paint-by-Example的预训练模型作为初始化，可以下载预训练模型并保存到checkpoints目录。建议使用科学加速软件下载：

下载链接：https://drive.google.com/file/d/15QzaTWsvZonJcXsNv-ilMRCYaQLhzR_i/view

要使用VITON-HD训练新模型，首先需要在configs/viton512.yaml中修改VITON-HD数据集的根目录，然后使用main.py进行训练。例如：

或简单运行：

使用演示

论文地址：

https://arxiv.org/pdf/2403.05139v2

论文官方实现github地址：

https://github.com/yisol/IDM-VTON

在线体验地址(不仅可以换衣服，还可以换发型和胡须)：

https://huggingface.co/spaces/yisol/IDM-VTON

输出效果

 萨姆·奥尔特曼

工作流

输出效果

机器学习算法AI大数据技术