要點:
Meta 的 Codec Avatars Lab 提出了一種高保真、光線可調(diào)節(jié)的虛擬頭像合成方法。
該方法使用可學(xué)習(xí)輻射傳輸和球面高斯實現(xiàn)了全頻率反射的實時重新照明。
通過 Relightable Gaussian Codec Avatars 可以捕獲3D 一致的亞毫米細(xì)節(jié)。
站長之家（ChinaZ.com）12月9日 消息:Meta 的 Codec Avatars Lab 最近提出了一種名為 Relightable Gaussian Codec Avatars 的方法，可以合成逼真且光線可調(diào)節(jié)的虛擬頭像。這個方法通過可學(xué)習(xí)輻射傳輸和球面高斯實現(xiàn)了全頻率反射的實時重新照明。傳統(tǒng)的頭像合成方法存在著一些挑戰(zhàn)，例如如何準(zhǔn)確地表示人體頭部的多種材質(zhì)，以及如何精確跟蹤和建模運(yùn)動中的底層幾何體。Relightable Gaussian Codec Avatars 通過引入可重新照明的外觀模型和基于3D 高斯的幾何模型，解決了這些挑戰(zhàn)。
論文地址:https://arxiv.org/pdf/2312.03704.pdf
項目主頁:https://shunsukesaito.github.io/rgca/
Relightable Gaussian Codec Avatars 的核心思想是使用可學(xué)習(xí)輻射傳輸來表征人體頭部的多種材質(zhì)。由于人類視覺對于頭部外觀非常敏感，因此需要一種能夠準(zhǔn)確地表示皮膚、頭發(fā)和眼睛等不同材質(zhì)的方法。這個方法使用球面高斯來實現(xiàn)全頻率反射的實時重新照明，能夠捕獲3D 一致的亞毫米細(xì)節(jié)。此外，該方法還引入了基于3D 高斯的可驅(qū)動化身，使用 Gaussian Splatting 技術(shù)來渲染復(fù)雜的幾何細(xì)節(jié)。
Relightable Gaussian Codec Avatars 在實驗中展現(xiàn)出了令人印象深刻的結(jié)果。重建的虛擬人物可以擁有新的表情、視圖和光照，包括點光源和高分辨率環(huán)境圖。即使是眼睛中的光反射也能忠實地再現(xiàn)周圍環(huán)境，不會丟失高頻細(xì)節(jié)。該方法在幾何表征和外觀表征上都取得了優(yōu)異的性能，能夠更好地建模皮膚細(xì)節(jié)和發(fā)絲，并且可以實現(xiàn)高頻反射。實驗結(jié)果顯示，Relightable Gaussian Codec Avatars 可以捕獲動態(tài)面部序列上的發(fā)絲和毛孔等亞毫米細(xì)節(jié)。
Relightable Gaussian Codec Avatars 的推出為實時3D 頭像合成提供了一種高保真、光線可調(diào)節(jié)的方法。該方法能夠捕獲頭部多種材質(zhì)的細(xì)節(jié)，實現(xiàn)了全頻率反射的實時重新照明。通過引入可重新照明的外觀模型和基于3D 高斯的幾何模型，這個方法能夠精確地表示人體頭部的復(fù)雜特征。這種虛擬頭像合成方法在元宇宙和虛擬現(xiàn)實等領(lǐng)域具有廣泛的應(yīng)用前景，有助于提高用戶體驗和真實感。
Relightable Gaussian Codec Avatars 是一種創(chuàng)新的實時3D 頭像合成方法，具有高保真、光線可調(diào)節(jié)的特點。通過使用可學(xué)習(xí)輻射傳輸和球面高斯來表征人體頭部的多種材質(zhì)，該方法能夠捕獲頭部細(xì)節(jié)的亞毫米級精度。實驗結(jié)果顯示，重建的虛擬人物能夠擁有新的表情、視圖和光照，并且能夠忠實地再現(xiàn)周圍環(huán)境。Relightable Gaussian Codec Avatars 為實時3D 頭像合成提供了一種先進(jìn)的解決方案，有望在元宇宙和虛擬現(xiàn)實等領(lǐng)域得到廣泛應(yīng)用。
（舉報）