劃重點(diǎn):

?? SIFU模型創(chuàng)新性解決單張圖像重建3D人體模型問(wèn)題

?? 引入側(cè)視圖條件隱函數(shù)及3D一致性紋理編輯方法

?? 在幾何和紋理重建上表現(xiàn)出色，具有更高魯棒性和廣泛應(yīng)用場(chǎng)景

站長(zhǎng)之家（ChinaZ.com）1月18日 消息:在AR、VR、3D打印、場(chǎng)景搭建以及電影制作等多個(gè)領(lǐng)域中，獲得高質(zhì)量穿著衣服的人體3D模型變得至關(guān)重要。然而，傳統(tǒng)的創(chuàng)建方法耗時(shí)且需要專(zhuān)業(yè)設(shè)備捕捉多視角照片，還依賴(lài)技術(shù)熟練的專(zhuān)業(yè)人員。

與此相反，浙江大學(xué)ReLER實(shí)驗(yàn)室的研究人員提出了一種名為SIFU的模型，該模型能夠從單張圖像準(zhǔn)確重建3D人體模型，從而顯著降低了成本并簡(jiǎn)化了獨(dú)立創(chuàng)作的過(guò)程。

傳統(tǒng)的深度學(xué)習(xí)模型用于3D人體重建通常需要經(jīng)歷從圖像中提取2D特征、將2D特征轉(zhuǎn)換到3D空間，以及將3D特征用于人體重建的三個(gè)步驟。然而，在2D特征轉(zhuǎn)換到3D空間的階段，過(guò)去的方法常常忽略了人體先驗(yàn)的引入，導(dǎo)致特征提取不充分，從而影響最終的重建結(jié)果。

為了解決這個(gè)問(wèn)題，SIFU模型引入了側(cè)視圖條件隱函數(shù)，通過(guò)在2D特征轉(zhuǎn)換到3D空間時(shí)加入人體側(cè)視圖作為先驗(yàn)條件，增強(qiáng)了幾何重建效果。此外，在紋理預(yù)測(cè)的階段，模型還引入了預(yù)訓(xùn)練的擴(kuò)散模型，以解決不可見(jiàn)區(qū)域紋理預(yù)測(cè)較差的問(wèn)題。

SIFU模型的運(yùn)行分為兩個(gè)階段。在第一階段，借助側(cè)隱式函數(shù)，模型重建人體的幾何和粗糙的紋理。在第二階段，通過(guò)3D一致性紋理優(yōu)化流程，模型對(duì)紋理進(jìn)行精細(xì)化。這一流程中，作者設(shè)計(jì)了一種獨(dú)特的Side-view Decoupling Transformer，通過(guò)全局編碼器提取2D特征后，在解碼器中引入人體先驗(yàn)?zāi)Ｐ偷膫?cè)視圖，使得在圖像2D特征中解耦出人體不同方向的3D特征，從而用于重建。

實(shí)驗(yàn)結(jié)果顯示，SIFU模型在幾何重建和紋理重建方面均表現(xiàn)出色，不僅在全面多樣的測(cè)試集上取得了最好的效果，而且在模型面對(duì)有誤差的人體先驗(yàn)?zāi)Ｐ蜁r(shí)依然具有較好的重建精度。

該模型的高精度和高質(zhì)量重建效果使得其在3D打印、場(chǎng)景搭建、紋理編輯等領(lǐng)域具有廣泛的應(yīng)用前景。SIFU模型為單張圖片人體重建提供了一種創(chuàng)新的方法，為未來(lái)的研究和實(shí)際應(yīng)用提供了新的思路。

論文地址:https://arxiv.org/abs/2312.06704

項(xiàng)目代碼:https://github.com/River-Zhang/SIFU

（舉報(bào)）