站長之家（ChinaZ.com）4月29日 消息:HaLo-NeRF是一款創(chuàng)新的系統(tǒng)，它結(jié)合了場(chǎng)景的神經(jīng)表示和描述場(chǎng)景語義區(qū)域的文本，以實(shí)現(xiàn)對(duì)大型地標(biāo)場(chǎng)景的深入理解和探索。該系統(tǒng)利用最新的視覺和語言模型，特別針對(duì)地標(biāo)場(chǎng)景的語義理解進(jìn)行了優(yōu)化，將場(chǎng)景的視覺信息與描述性文本緊密相連。

HaLo-NeRF的關(guān)鍵特點(diǎn)包括:

• 語義區(qū)域定位: 系統(tǒng)能夠準(zhǔn)確地定位與建筑地標(biāo)相關(guān)的各種語義概念。

• 超越傳統(tǒng)模型: HaLo-NeRF的結(jié)果超越了其他3D模型和強(qiáng)2D分割基線。

• 利用互聯(lián)網(wǎng)數(shù)據(jù): 系統(tǒng)通過分析大型互聯(lián)網(wǎng)數(shù)據(jù)集，包括類似地標(biāo)的圖像和弱相關(guān)的文本信息，來增強(qiáng)模型的細(xì)節(jié)知識(shí)。

• 3D兼容的分割指導(dǎo): 利用場(chǎng)景視圖之間的對(duì)應(yīng)關(guān)系來啟動(dòng)空間理解，并為3D兼容的分割提供指導(dǎo)。

• 立體場(chǎng)景表示: 最終形成立體的場(chǎng)景表示，為數(shù)字化探索大型旅游景點(diǎn)提供了新的可能性。

先前工作的局限性:

以往的研究主要集中在幾何重建和可視化上，而沒有充分利用語言在提供導(dǎo)航和細(xì)粒度理解方面的語義界面作用。此外，受限的3D領(lǐng)域中的方法雖然利用了視覺和語言模型，但在處理無約束照片集合時(shí)面臨挑戰(zhàn)，因?yàn)樗鼈內(nèi)狈?duì)建筑領(lǐng)域的專業(yè)知識(shí)。

HaLo-NeRF的創(chuàng)新之處:

HaLo-NeRF通過在互聯(lián)網(wǎng)上大規(guī)模的圖像數(shù)據(jù)中使用場(chǎng)景視圖之間的對(duì)應(yīng)關(guān)系，提供了語義的空間理解指導(dǎo)。這不僅增強(qiáng)了模型對(duì)建筑地標(biāo)的專業(yè)知識(shí)，還提供了3D兼容的分割，為形成立體場(chǎng)景表示奠定了基礎(chǔ)。

應(yīng)用前景:

HaLo-NeRF系統(tǒng)在數(shù)字化探索大型旅游景點(diǎn)方面具有巨大潛力，它為互聯(lián)網(wǎng)圖像集合的探索提供了一種新的語義理解方法。

論文地址:https://huggingface.co/papers/2404.16845

（舉報(bào)）