該技術可以在照片中添加一個鍍鉻球,看起來像環境的真實反映。這個鍍鉻球可以幫助計算照片中的燈光看起來是什麼樣子。
然後,他們使用這些照明信息將新對象添加到照片中,使它們看起來就像是在原始照明條件下拍攝的一樣。
簡單來說,就是檢測圖片中的光源(照明信息),然後根據光源將其他物體插入到圖片中,達到相同的照明效果,沒有任何不一致的感覺。
工作原理如下:
1.輸入圖片:您提供一張照片,例如室內場景。
2.添加鍍鉻球:使用擴散光技術在照片中的正確位置繪製鍍鉻球。這個球將反射場景中的光和顏色。
3.生成環境地圖:鍍鉻球體的反射可以轉換為高動態範圍(HDR)環境地圖,其中包含有關場景照明的信息。
4.照度估計:通過分析鍍鉻球體上的反射,DistusionLight估計圖像中光源的位置和亮度。
5. 3D對象插入:使用估計的照明信息,可以將3D模型添加到照片中,並以看起來自然真實的方式反映照明效果。
這項技術的一個關鍵創新是,它不需要昂貴或複雜的設備來捕捉照明條件。它所需要的只是一張圖片和強大的算法。這意味著它可以用於從專業電影製作到手機攝影的各種應用,為藝術家和開發人員創造新的可能性。
該技術可用於各種輸入圖像,例如室內和室外場景、特寫、繪畫和面部照片。
項目和演示:https://diffusionlight.github.io
紙張:https://arxiv.org/abs/2312.09168
GitHub:https://github.com/DiffusionLight/DiffusionLight