ZeST（Zero-Shot物料轉移）是一種基於零樣本的方法
引入ZeST，這是一種零樣本、免訓練方法，
（a）圖像到圖像材料轉移。
（b）ZeST可以輕鬆擴展以在單個圖像中執行多個素材編輯，並且
（c）對紋理網格的渲染執行隱式光感知編輯。
摘要
ZeST是一種在給定材料樣本圖像的情況下將零樣本材料轉移到輸入圖像中的對象的方法。ZeST利用現有的擴散適配器從示例圖像中提取隱式材料表示。這種表示用於使用對輸入圖像中的對象預先訓練的修復擴散模型、深度估計作為幾何線索以及灰度對象著色作為照明線索來傳輸材料。該方法適用於無需任何訓練的真實圖像，從而實現了零樣本方法。來自真實和合成數據集的定性和定量結果表明，ZeST可以輸出帶有轉移材料的真實圖像。%我們評估我們對一組現實生活中的圖像進行定性和定量評估的方法。我們還展示了ZeST在不同照明下執行多次編輯和強大的材料分配的應用程式。
方法概述
該方法由3個分支組成。給定材料樣本M和輸入圖像I，我們首先使用圖像編碼器編碼材料樣本（例如，IP適配器）。同時，我們將輸入圖像轉換為深度圖和前景灰度圖像，以分別輸入幾何和潛在照明引導分支。通過將兩個引導源與材料編碼的潛在特徵相結合，ZeST可以將材料屬性轉移到輸入圖像中的對象，同時保留所有其他屬性。
結果庫
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
原文：https://ttchengab.github.io/zest/
紙張：https://arxiv.org/abs/2404.06425
視頻：