站長(zhǎng)之家(ChinaZ.com)11月1日 消息:近日,清華大學(xué)和東京大學(xué)共同發(fā)布了一項(xiàng)名為CustomNet的技術(shù),該技術(shù)旨在更好地將指定物品的圖片融合到新生成的圖片中,并確保原物品的樣式和紋理細(xì)節(jié)得以還原。這項(xiàng)技術(shù)給SD商品圖融合帶來(lái)了一線生機(jī)。從發(fā)布的測(cè)試案例來(lái)看,還原度也相當(dāng)不錯(cuò)。
項(xiàng)目地址:https://jiangyzy.github.io/CustomNet/
CustomNet是一種新穎的對(duì)象定制方法,它明確將3D新視角合成能力納入對(duì)象定制過(guò)程中。通過(guò)整合這一能力,CustomNet能夠調(diào)整空間位置關(guān)系和視角,從而產(chǎn)生多樣化的輸出,并有效地保留對(duì)象的身份。這一技術(shù)的提出對(duì)于推動(dòng)對(duì)象定制領(lǐng)域的發(fā)展具有重要意義。
核心功能:
零拍攝對(duì)象定制:CustomNet 提供了一種零拍攝的對(duì)象定制方法,克服了現(xiàn)有優(yōu)化和編碼方法的時(shí)間消耗問(wèn)題。與優(yōu)化方法不同,CustomNet 無(wú)需在測(cè)試時(shí)進(jìn)行優(yōu)化,節(jié)省了時(shí)間和計(jì)算資源。
明確視角和位置控制:該模型引入了3D新視角合成能力,使對(duì)象定制過(guò)程中可以明確調(diào)整空間位置關(guān)系和視角,產(chǎn)生多樣的輸出,同時(shí)有效地保留了對(duì)象的身份。這為用戶提供了更多的控制權(quán)。
靈活的背景控制:CustomNet 具有精細(xì)的設(shè)計(jì),使用戶可以通過(guò)文本描述或特定用戶定義的圖像來(lái)控制背景。這有助于克服現(xiàn)有3D新視角合成方法的局限性,使背景與對(duì)象更和諧。
復(fù)雜場(chǎng)景數(shù)據(jù)處理:CustomNet采用了數(shù)據(jù)集構(gòu)建管道,可以更好地處理現(xiàn)實(shí)世界的對(duì)象和復(fù)雜的背景。這增強(qiáng)了模型的適用性,使其能夠處理更具挑戰(zhàn)性的情境。
高質(zhì)量輸出:通過(guò)以上功能,CustomNet確保了對(duì)象身份的完整性,并生成多樣、和諧的個(gè)性化輸出。這使它在識(shí)別保持、視角控制和圖像和諧方面具有卓越能力。
CustomNet 是一款強(qiáng)大的文本到圖像生成模型,為用戶提供了多方面的控制,使他們能夠創(chuàng)建個(gè)性化的圖像,同時(shí)保持圖像的身份。這對(duì)于多種應(yīng)用,如廣告、創(chuàng)意設(shè)計(jì)和虛擬世界創(chuàng)建都具有潛力。
(舉報(bào))