**劃重點:**

1. ??3D畫筆通過文本描述自動為網(wǎng)格上的局部語義區(qū)域著色，實現(xiàn)了直接在網(wǎng)格上進行紋理編輯的目的。

2. ?? 研究團隊采用級聯(lián)分?jǐn)?shù)蒸餾（CSD）和神經(jīng)場來提高局部紋理區(qū)域的細(xì)節(jié)和分辨率。

3. ?? 該方法使用在3D表面上定義的多層感知器，創(chuàng)建產(chǎn)生在3D中平滑變化的神經(jīng)紋理，減少了紋理的噪點，并具有超分辨率能力。

站長之家（ChinaZ.com）11月27日 消息:芝加哥大學(xué)的研究人員與Snap Research合作，推出了一種名為3D畫筆（3D Paintbrush）的人工智能方法，通過文本描述自動生成網(wǎng)格上的局部語義區(qū)域的紋理。這一創(chuàng)新使得用戶可以通過直觀的、自由形式的文本輸入控制紋理編輯，為各種網(wǎng)格描述其編輯。

為了提高局部紋理區(qū)域的細(xì)節(jié)和分辨率，研究團隊引入了級聯(lián)分?jǐn)?shù)蒸餾（CSD）和神經(jīng)場的概念。通過這些方法，他們能夠修改定位區(qū)域并在局部區(qū)域內(nèi)變形幾何形狀。采用多層感知器對神經(jīng)場進行編碼，以表示定位和紋理映射，確保了紋理的一致局部風(fēng)格。

與現(xiàn)有模型相比，研究人員表示，3D畫筆的定位更加清晰，并使用級聯(lián)分?jǐn)?shù)蒸餾控制監(jiān)督的粒度和全局理解，實現(xiàn)了比其他SDS更高分辨率的紋理和定位。

該方法通過在3D表面上定義的多層感知器（MLPs）創(chuàng)建神經(jīng)紋理，產(chǎn)生在3D中平滑變化的輸出。這在2D紋理圖在紋理接縫處存在不連續(xù)性時尤為重要。MLPs提供的平滑性減少了紋理的偽影，減少了噪點，并具有超分辨率能力。

研究團隊同時優(yōu)化了定位和紋理區(qū)域，他們發(fā)現(xiàn)同時優(yōu)化可以產(chǎn)生高度詳細(xì)的紋理，有效地符合預(yù)測的定位區(qū)域。未來，他們計劃將局部編輯能力擴展到文本化以外，并學(xué)習(xí)使用相同的局部紋理圖在多個形狀之間提供對應(yīng)關(guān)系。

這一研究為3D建模和紋理編輯領(lǐng)域帶來了新的可能性，為游戲、動畫、電影等各個行業(yè)提供了更加高效和直觀的紋理編輯工具。

項目網(wǎng)址:https://threedle.github.io/3d-paintbrush/

論文地址:https://arxiv.org/abs/2311.09571

（舉報）