它可以顯著提高文本到圖像生成模型的性能。
從演示圖片來看，效果相當不錯。
通過獎勵功能優化，它可以提高圖像質量和文本對齊，而不需要額外的數據集。
項目詳情：
文本Craftor的提議和應用：
為了解決現有模型的局限性，研究人員提出了文本編碼器的端到端微調技術TextCraftor。TextCraftor的核心思想是通過獎勵功能增強預訓練的文本編碼器，從而顯著提高圖像質量和文本圖像對齊的準確性。這種方法不需要額外的文本-圖像配對數據集，而是僅使用文本提示進行訓練，從而減輕了存儲和加載大規模圖像數據集的負擔。
現有模型的局限性：
儘管文本到圖像生成模型在多個領域取得了成功，但它們在生成與文本提示高度一致的圖像方面仍然面臨挑戰。例如，生成的圖像可能與提供的文本提示不一致，或者可能需要多次運行和不同的隨機種子來生成視覺上令人滿意的圖像。這些問題限制了模型在實際應用中的效率和有效性。
文本Craftor改進：
TextCraftor通過使用審美模型或文本圖像對齊評估模型等獎勵函數以可區分的方式改進文本編碼器。這種方法允許在訓練期間生成圖像，並通過最大化獎勵分數來優化文本編碼器權重。TextCraftor還展示了如何通過不同獎勵函數的插值來控制生成的圖像的風格，從而實現更多樣化和更可控的圖像生成。
TextCraftor與其他模型的比較：
在多個公共基準測試和人工評估中，TextCraftor在圖像質量和文本圖像對齊方面優於現有的預訓練文本到圖像模型，基於強化學習的模型和提示工程方法。這些結果證明了TextCraftor在提高生成質量方面的優越性。
TextCraftor的控制項生成功能：
TextCraftor不僅提高了圖像的整體質量，還通過調整獎勵函數的權重來控制生成圖像的風格。例如，風格混合可以通過混合經過不同獎勵功能優化的文本編碼器來實現，從而在生成過程中靈活地調整圖像的藝術性和細節。
TextCraftor的培訓成本和數據使用：
TextCraftor在64個NVIDIA A100 80 G圖形處理器上進行了訓練，並觀察了總共約256萬個數據樣本。儘管訓練成本相對較高，但TextCraftor表現出強大的概括能力，可以直接應用於更大的擴散模型，從而降低訓練成本。
TextCraftor的應用前景：
TextCraftor的引入為文本到圖像生成領域帶來了新的視角。它在圖像編輯和視頻合成等領域具有廣闊的應用前景，特別是在要求高質量和與文本高度對齊的圖像生成任務中。此外，TextCraftor的控制生成功能還為個性化內容創建提供了新的可能性。
論文地址：https://arxiv.org/pdf/2403.18978.pdf
視頻：