站長之家(ChinaZ.com)6月5日 消息:只要給出一張圖片作為參考,StyleDrop就能學習圖片的風格,并幫助生成復(fù)刻出同風格作品。據(jù)稱,谷歌的方法優(yōu)于 Dreambooth、LoRA 或 Textual Inversion 等其他方法。
谷歌的新方法可以使用Muse(Muse 是一種文本到圖像的生成視覺轉(zhuǎn)換器)文本圖像模型合成特定風格的圖像。StyleDrop 捕捉自定義樣式的復(fù)雜性,包括配色方案、陰影、設(shè)計模式以及局部和全局效果。根據(jù)谷歌的說法,所需的操作只需輸入一張圖片即可。大家可以看看以下官方案例:
設(shè)計出原風格的水彩繪畫:
設(shè)計出原風格的logo:
設(shè)計出原風格的字母:
StyleDrop通過微調(diào)少量可訓練的網(wǎng)絡(luò)參數(shù)來學習新的風格,然后通過人工或自動反饋的迭代訓練來提高模型的質(zhì)量。
學習速度快且示例很少
具體來說,StyleDrop 在輸入圖像上進行訓練并生成一組圖像來重現(xiàn)該圖像。從這些圖像中,最高質(zhì)量的圖像通過 CLIP 評分或人工反饋選出,并用于進一步的訓練。如果圖像不是重現(xiàn)原始圖像的內(nèi)容,而是重現(xiàn)原始圖像的風格,則該圖像被認為是高質(zhì)量的。
該團隊表示,即使加上工反饋,整個過程也不到三分鐘。這是因為 StyleDrop 無需大量的圖片來進行迭代訓練。
據(jù)該團隊稱, StyleDrop 優(yōu)于其他從文本到圖像模型的樣式轉(zhuǎn)換方法,包括 Dreambooth、LoRAs 和Imagen和Stable Diffusion中的文本反轉(zhuǎn)。
與其他方法和模型相比,使用 Muse 的 StyleDrop作品效果
官方還稱,StyleDrop 能夠捕捉各種風格的紋理、陰影和結(jié)構(gòu)的細微差別,明顯優(yōu)于以前的方法,從而比以前模型更能控制風格。
該團隊還將 StyleDrop 與 Dreambooth 相結(jié)合,以學習和創(chuàng)建不同樣式的新對象作為圖像,并可以使用 Muse 的方法以自定義樣式創(chuàng)建自定義對象。
StyleDrop學習一種風格,Dreambooth學習一個新對象,比如一只狗
谷歌將 StyleDrop 視為一種多功能工具,其中一個用例是允許設(shè)計師或公司使用他們的品牌資產(chǎn)進行訓練,并以他們的風格快速制作新想法的原型。
StyleDrop項目網(wǎng)址:https://styledrop.github.io/
(舉報)