站長之家（ChinaZ.com）6月11日 消息:在CVPR2024上，美國英特爾研究院的蔡志鵬博士及其團(tuán)隊(duì)提出了一種名為L-MAGIC（Language Model Assisted Generation of Images with Coherence）的新技術(shù)。這項(xiàng)技術(shù)通過結(jié)合語言模型和圖像擴(kuò)散模型，實(shí)現(xiàn)了高質(zhì)量、多模態(tài)、零樣本泛化的360度場景生成。

核心特點(diǎn):

• 結(jié)合語言模型和擴(kuò)散模型:L-MAGIC利用自然圖像連接不同模態(tài)的輸入，并通過條件擴(kuò)散模型如ControlNet從各種模態(tài)輸入生成自然圖像。

• 迭代變形和填充:在獲得自然圖像后，L-MAGIC通過迭代變形（warping）和填充(inpainting)生成360度場景的多個(gè)視角，使用基于擴(kuò)散的圖像填充模型(如Stable Diffusion v2)生成缺失像素。

• 語言模型控制:L-MAGIC使用語言模型自動控制擴(kuò)散模型，根據(jù)每個(gè)視角需要生成的場景內(nèi)容，有效保持語言及擴(kuò)散模型的泛化性。

• 多樣化場景生成:L-MAGIC能夠生成多樣化的全局場景結(jié)構(gòu)，無需微調(diào)，從而實(shí)現(xiàn)多樣化場景的高質(zhì)量生成。

• 多模態(tài)輸入:除了自然圖像，L-MAGIC還能接受文字、手繪草圖、深度圖等多種模態(tài)的輸入。

實(shí)驗(yàn)結(jié)果表明:

L-MAGIC在圖像到360度場景生成及文字到360度場景生成任務(wù)中均達(dá)到了SOTA（State of the Art）。

能夠生成具有多樣化360度場景結(jié)構(gòu)的全景圖，并且能夠平滑地完成360度閉環(huán)。

除了文字和自然圖像，L-MAGIC還能夠使用ControlNet接受多樣化的輸入，如深度圖、設(shè)計(jì)草圖等。

技術(shù)應(yīng)用:

L-MAGIC還能夠利用深度估計(jì)模型生成場景的沉浸式視頻和三維點(diǎn)云，為場景理解和可視化提供了更多可能性。

項(xiàng)目主頁：https://zhipengcai.github.io/MMPano/

（舉報(bào)）