站長(zhǎng)之家（ChinaZ.com）9月19日 消息:最近，3D生成領(lǐng)域經(jīng)歷了迅猛的進(jìn)展，其中一個(gè)備受矚目、在GitHub Repo上廣受歡迎的項(xiàng)目備受關(guān)注。這個(gè)項(xiàng)目被認(rèn)為是最為穩(wěn)定和通用的，用戶只需提供一張圖像，模型就能自動(dòng)合成多個(gè)視圖并生成相應(yīng)的3D模型。

項(xiàng)目地址:https://github.com/liuyuan-pal/SyncDreamer

這一突破性技術(shù)不僅有助于推動(dòng)3D生成領(lǐng)域的進(jìn)步，還為相關(guān)領(lǐng)域的研究人員和開發(fā)者提供了一個(gè)強(qiáng)大的工具，幫助他們更深入地探究和應(yīng)用3D生成技術(shù)。

這個(gè)項(xiàng)目就是SyncDreamer，一個(gè)端到端的框架，可以從單個(gè)視角的圖像生成多視圖一致的圖像。 SyncDreamer包含了一個(gè)diffusion模型和一個(gè)不同iable renderer。

SyncDreamer 的核心流程是:

首先采樣一系列隨機(jī)向量，并通過diffusion模型生成對(duì)應(yīng)的圖像。

將生成的圖像傳入renderer，生成對(duì)應(yīng)的多視圖圖像。

計(jì)算多視圖圖像之間的一致性損失，并反向傳播優(yōu)化diffusion模型和renderer。

通過先預(yù)訓(xùn)練后微調(diào)的策略，SyncDreamer可以生成質(zhì)量高、多視圖一致的圖像。實(shí)驗(yàn)表明，SyncDreamer生成的圖像可以用于高質(zhì)量的3D重建。

（舉報(bào)）