站長(zhǎng)之家（ChinaZ.com）1月24日 消息:Lumiere 是谷歌發(fā)布的第三個(gè)視頻生成模型，這次的模型演示視頻質(zhì)量非常高，運(yùn)動(dòng)幅度和一致性表現(xiàn)也很好。除了視頻生成，該模型還支持各種視頻編輯和生成控制能力。

Lumiere 是一款先進(jìn)的模型，專(zhuān)門(mén)用于將文本轉(zhuǎn)換為視頻，這在視頻合成領(lǐng)域是一大挑戰(zhàn)。為了實(shí)現(xiàn)這一目標(biāo)，谷歌采用了一種創(chuàng)新的空間-時(shí)間 U-Net 架構(gòu)。

項(xiàng)目地址:https://top.aibase.com/tool/lumiere

這種架構(gòu)能夠一次性完成整個(gè)視頻時(shí)長(zhǎng)的生成，與傳統(tǒng)視頻模型不同。傳統(tǒng)模型通常是先合成關(guān)鍵的遠(yuǎn)程幀，然后通過(guò)時(shí)間上的超級(jí)分辨率技術(shù)來(lái)處理，這種方法難以保持視頻的全局時(shí)間連貫性。

Lumiere 通過(guò)在空間和關(guān)鍵的時(shí)間維度進(jìn)行上下采樣，并利用預(yù)先訓(xùn)練好的文本到圖像擴(kuò)散模型，使得該模型能夠直接生成全幀率、低分辨率的視頻，并且在多個(gè)空間-時(shí)間尺度上進(jìn)行處理。

該模型在將文本轉(zhuǎn)換成視頻方面取得了領(lǐng)先成果，并證明了該設(shè)計(jì)能夠輕松應(yīng)用于各種內(nèi)容創(chuàng)作和視頻編輯任務(wù)，包括將圖像轉(zhuǎn)換為視頻、視頻修補(bǔ)和風(fēng)格化視頻創(chuàng)作。

（舉報(bào)）