您只需提供一兩個參考圖像，系統就會根據參考圖像的顏色和風格對輸入草圖進行著色。
ToonCrafter可以適應不同的動畫風格，無論是簡單的線條動畫還是複雜的卡通場景，都可以輕鬆處理。
以下內容來自原文翻譯
我們引入了ToonCrafter，這是一種新方法，超越了傳統的基於通信的卡通視頻插值，為生成插值鋪平了道路。傳統方法隱含地假設線性運動，並且沒有去遮擋等複雜現象。它們經常與漫畫中常見的誇張非線性和大運動作鬥爭，導致插值結果令人難以置信甚至失敗。
為了克服這些限制，我們探索了在生成框架內調整現實生活中的視頻先驗以更好地適應卡通插值的潛力。ToonCrafter有效解決了應用現實生活中的視頻運動先驗生成卡通插值的挑戰。
首先，我們設計了卡通糾正學習策略，將現實視頻先驗地無縫適應卡通領域，解決了領域差距和內容泄露的問題。接下來，我們引入了基於雙參考的3D解碼器，以補償由於高度壓縮的潛在先驗空間而丟失的細節，確保在插值結果中保留精細細節。最後，我們設計了一個靈活的草圖編碼器，允許用戶交互式控制插值結果。實驗結果表明，該方法不僅可以產生視覺上令人信服、更加自然的動態效果，而且可以有效地處理去遮擋。比較評估表明，我們的方法明顯優於現有競爭對手。
如果您想了解更多信息，可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡，請訂閱並點讚。謝謝
GitHub：https://github.com/ToonCrafter/ToonCrafter
原文：https://doubiiu.github.io/projects/ToonCrafter
阿爾西夫：https://arxiv.org/abs/2405.17933v1
輸油管：