繁中

LGM:生成高質量的3D模型

支持文本生成模型和圖像生成模型,解析度為512 x512,可在5秒內生成。

3D內容創作在質量和速度上都取得了重大進步。儘管當前的前向模型可以在幾秒鐘內生成3D對象,但其解析度受到訓練期間所需的密集計算的限制。在本文中,我們居間了大型多視圖高斯模型(LGM),這是一種新穎的框架,旨在從文本提示或單視圖圖像生成高解析度3D模型。我們的主要見解有兩個:
(1)3D代表:多視圖高斯特徵被提出為一種高效且強大的表示,然後可以融合在一起進行微渲染。
(2)3D主幹:我們提出了一種非對稱U-Net作為在多視圖圖像上運行的高吞吐量主幹,該圖像可以通過利用多視圖擴散模型從文本或單視圖圖像輸入生成。大量實驗證明了我們方法的高保真度和高效性。
值得注意的是,保持了5秒內生成3D對象的快速速度,同時訓練解析度提高至512,從而實現高解析度3D內容生成。

注意:由於訓練中使用的數據集基於AWS,因此無法直接用於新環境中的訓練。
提供了必要的訓練代碼框架,請檢查並修改數據集實現!

致謝

這項工作基於許多令人驚嘆的研究工作和開源項目,非常感謝所有作者的分享!

如果您想了解更多信息,可以單擊視頻下方的連結。
感謝您觀看此視頻。如果您喜歡,請訂閱並點讚。謝謝

在線體驗:https://huggingface.co/spaces/ashawkey/LGM
項目地址:https://me.kiui.moe/lgm/
Github:https://github.com/3DTopia/LGM

輸油管:

返回頂端