站長之家(ChinaZ.com)3月27日 消息:近日,小米發(fā)布了一項名為SDXS的項目,該項目旨在大幅增強(qiáng)SD圖像生成速度。據(jù)悉,SDXS可以在單個GPU上實(shí)現(xiàn)SD1.5每秒100張圖的生成速度,而SDXL則能達(dá)到每秒30張圖的生成速度。這一項目估計是為了在小米的本地設(shè)備上運(yùn)行SD模型而研究的。
擴(kuò)散模型在圖像生成任務(wù)上取得了優(yōu)異的性能,但由于模型龐大且需要多步采樣,推理速度很慢,難以部署在低功耗設(shè)備上。為了解決這些問題,可以采用剪枝、知識蒸餾、量化等常見的模型壓縮方法。本文的優(yōu)化思路主要有兩個方面:一是模型微型化,二是減少采樣步數(shù)至1步。
項目地址:https://top.aibase.com/tool/sdxs
在項目介紹中,小米采用了知識蒸餾技術(shù)來簡化U-Net架構(gòu)和圖像解碼器。同時,他們還引入了一種創(chuàng)新的單步訓(xùn)練技術(shù),這種技術(shù)通過特征匹配和成績蒸餾來訓(xùn)練擴(kuò)散模型?;谶@些優(yōu)化措施,小米開發(fā)了兩款模型,SDXS-512和SDXS-1024。這兩款模型在單個GPU上分別能達(dá)到大約每秒100幀(比SD v1.5快30倍)和每秒30幀(比SDXL快60倍)的處理速度。
此外,小米表示,這種訓(xùn)練方法在圖像條件控制方面展現(xiàn)出巨大的潛力,有效地實(shí)現(xiàn)了圖像到圖像的快速轉(zhuǎn)換。這一突破性的進(jìn)展將有助于推動圖像生成技術(shù)的發(fā)展,同時也為小米在人工智能領(lǐng)域的研究和應(yīng)用提供了有力支持。
(舉報)