它可以生成具有更詳細細節的高度逼真的虛擬試衣圖像。
IDM-VTON能夠捕捉服裝細節，如紋理，圖案和縫合，這些都準確地再現在試衣圖像。
即使在戶外或複雜背景的照片中，該技術也能準確地顯示服裝的試穿效果，保持高質量的圖像輸出。
當在多個不同的角色身上展示相同的服裝時，IDM-VTON仍然保持服裝細節的一致性。
本文考慮了一種基於圖像的虛擬試穿，通過一對分別描繪人和衣服的圖像，渲染穿著選定衣服的人的圖像。與其他方法（例如基於GAN）相比，之前的作品使用現有的基於樣本的修復擴散模型進行虛擬試穿，以提高生成視覺效果的自然度，但無法保留服裝的身份。
為了克服這一限制，我們提出了一種新穎的擴散模型，可以提高服裝的保真度並生成真實的虛擬試穿圖像。
我們的方法稱為TON，使用兩個不同的模塊來編碼服裝圖像的語義;給定擴散模型UNet的基礎，
1)將從視覺編碼器提取的高級語義集成到交叉注意層，然後
2)將從並行UNet提取的低級特徵集成到自我注意層中。
此外，我們還為服裝和人物形象提供了詳細的文字提示，以增強生成的視覺效果的真實性。最後，我們提出了一種定製方法，使用一對字符服裝圖像，顯著提高保真度和真實性。
我們的實驗結果表明，我們的方法在保留服裝細節和生成逼真的虛擬試穿圖像（定性和定量）方面優於以前的方法（基於擴散和基於GAN）。此外，提出的定製方法證明了其在現實世界場景中的有效性。我們的項目頁面提供了更多可視化。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
項目地址：https://idm-vton.github.io
在線體驗：https://huggingface.co/spaces/yisol/IDM-VTON
視頻：