繁中

BakedAvatar:實時創建和渲染逼真的動態3D化身

只需一段短視頻,BakedAvatar就可以從該視頻中複製角色的3D頭部模型。同時,準確捕捉其面部特徵,模擬表情和頭部運動。

並且還可以實時渲染3D頭部,編輯和調整化身的表情和姿勢。

甚至在普通行動裝置上也可以實現。

以下是一個特定應用場景示例,可幫助理解此項目的功能:

假設您是一名虛擬實境(VR)遊戲開發人員,正在開發一款新遊戲,其中角色需要根據玩家的實際外觀進行定製。使用BakedAvatar,您可以:

阿凡達創建:為玩家提供一段短視頻,BakedAvatar從中創建了一個高度逼真的3D頭部模型。該模型不僅準確捕捉玩家的面部特徵,還模擬他們的表情和頭部運動。

實時渲染:在遊戲中,這個頭部模型可以實時渲染,這意味著當玩家在遊戲中移動或改變表情時,他們的虛擬角色會實時做出相應的反應。

新視角合成:即使原始視頻僅從一個角度拍攝,您也可以從不同的角度觀看頭部。這意味著該軟體可以創建完整的3D頭部供您從任何角度觀看。

多設備兼容性:無論玩家使用的是高性能遊戲PC還是移動終端,BakedAvatar都能確保化身在不同平台上流暢運行,沒有延遲。

互動編輯:您還可以對3D角色進行面部再現、表情編輯和姿勢編輯,增強遊戲的交互性和真實感。例如,您可以修改化身的表情,例如將微笑更改為驚訝的表情,這些變化會立即顯示在化身上。

所有這些功能都能夠實時執行,而不會犧牲渲染質量,這對於需要快速響應和實時更新的應用程式(如視頻遊戲,虛擬實境和電話會議)非常重要。簡而言之,BakedAvatar提供了一個高度靈活和交互式的工具,用於創建和操作逼真的虛擬化身。

項目和演示:https://buaavrcg.github.io/BakedAvatar/
紙張:https://arxiv.org/abs/2311.05521
GitHub:https://github.com/buaavrcg/BakedAvatar

返回頂端