聲明：本文來自于微信公眾號AIGC開放社區(qū)，授權(quán)站長之家轉(zhuǎn)載發(fā)布。

今天凌晨，OpenAI發(fā)布了全新擴散模型方法sCM，僅需2步就能生成高質(zhì)量圖片、3D模型等實現(xiàn)50倍時鐘加速，尤其是在高分辨率任務(wù)上相當出色。

例如，通過sCM訓練了一個15億參數(shù)的模型，在單個A100GPU上無需任何推理優(yōu)化0.11秒內(nèi)就能生成內(nèi)容。

目前，擴散模型生成圖片最快的是Stability AI開源的SD快速版本，4步就能生成高質(zhì)量圖片。而Scm在保證質(zhì)量的前提下又將推理效率提升了1倍，同時簡化了連續(xù)時間一致性模型的理論公式，允許模型在更大數(shù)據(jù)集上進行穩(wěn)定的訓練和擴展。

sCM的核心原理是基于一致性模型思路，通過直接將噪聲轉(zhuǎn)換為無噪聲樣本來生成數(shù)據(jù)。在傳統(tǒng)擴散模型中，數(shù)據(jù)生成過程被視作一條從噪聲到數(shù)據(jù)的漸進路徑，每一步都通過去噪來逐漸恢復(fù)數(shù)據(jù)的清晰度。

一致性模型則恰恰相反，可找到一條更直接的路徑，在單步或少數(shù)幾步內(nèi)直接從噪聲狀態(tài)跳躍到數(shù)據(jù)狀態(tài)。

sCM采用了連續(xù)時間框架，使得模型在理論上可以在連續(xù)的時間軸上進行操作，從而避免了離散時間模型中的離散化誤差。在連續(xù)時間于一致性模型中，模型的參數(shù)化、擴散過程和訓練目標都被重新定義，以適應(yīng)連續(xù)時間的設(shè)置。

例如，模型的參數(shù)化不再依賴于離散的時間步，而是直接依賴于時間本身。這種連續(xù)時間的參數(shù)化方式使得模型能夠更精確地捕捉數(shù)據(jù)生成過程中的動態(tài)變化。

在網(wǎng)絡(luò)架構(gòu)方面，sCM引入了改進的時間條件、自適應(yīng)組歸一化、新的激活函數(shù)和自適應(yīng)權(quán)重，以提高模型的訓練穩(wěn)定性和生成質(zhì)量。改進的時間條件使得模型能夠更準確地感知時間t的變化，從而在生成過程中做出更合理的決策。

自適應(yīng)組歸一化則有助于模型在訓練過程中保持內(nèi)部特征的穩(wěn)定性，減少訓練過程中的噪聲干擾。新的激活函數(shù)被引入以增強模型的非線性表達能力，使得模型能夠更好地學習復(fù)雜的數(shù)據(jù)分布。

而自適應(yīng)權(quán)重的引入允許模型根據(jù)訓練數(shù)據(jù)的分布動態(tài)調(diào)整損失函數(shù)中的權(quán)重，從而減少了不同時間步長之間的損失方差。

為了評估sCM的性能，研究人員在CIFAR-10、ImageNet64×64和ImageNet512×512多個數(shù)據(jù)集上進行了綜合評測。結(jié)果顯示，sCM成為目前最高效的擴散生成方法。

例如，在ImageNet512×512數(shù)據(jù)集上，sCM的模型達到了1.88FID，同時使用的算力更少、更高效。

有網(wǎng)友表示，如果把這個方法用在視頻領(lǐng)域，那實時視頻可能很快會到來。Sora的推理負擔也會降低很多。

很高興又看到OpenAI分享技術(shù)論文了。

如果把這個技術(shù)用在Sora，它應(yīng)該快公測了吧?

這種簡化的模型非常適合需要快速結(jié)果而不影響質(zhì)量的應(yīng)用!

這個模型相當有前途啊。

2步就能生成內(nèi)容，這會再一次改變游戲規(guī)則啊。

把這個技術(shù)用在Sora，應(yīng)該就快來了吧?

目前，OpenAI已經(jīng)分享了該論文方法，是由兩位華人提出來的。

論文地址:https://arxiv.org/abs/2410.11081

（舉報）