要點(diǎn):

1. AnimateDiff是一個(gè)開源框架，可以將定制化文本到圖像模型應(yīng)用于動(dòng)畫生成，保持原有模型的圖像質(zhì)量的基礎(chǔ)上生成動(dòng)畫片段，豐富了靜態(tài)圖像的表達(dá)能力。

2. 框架在文生圖模型中插入動(dòng)作建模模塊，通過訓(xùn)練和參數(shù)更新，使模型能夠生成個(gè)性化的動(dòng)畫圖像，而無需對(duì)每個(gè)模型進(jìn)行特定優(yōu)化。

3. AnimateDiff開源項(xiàng)目在GitHub上備受關(guān)注，連續(xù)數(shù)天在Trending Research榜單排名第一，作者還提供了一個(gè)簡單易用的在線應(yīng)用，供用戶體驗(yàn)?zāi)Ｐ偷哪芰Α?/p>

站長之家（ChinaZ.com）10月7日 消息:眾所周知，訓(xùn)練文生圖模型的成本非常高昂。為了減輕微調(diào)模型的費(fèi)用，出現(xiàn)了一些相應(yīng)的模型定制化方法，如DreamBooth和LoRA，這使得用戶可以在使用少量數(shù)據(jù)和消費(fèi)級(jí)顯卡的情況下提高模型的個(gè)性化和特定風(fēng)格下的圖像生成質(zhì)量，而這是建立在開源權(quán)重的基礎(chǔ)上的。

這一趨勢推動(dòng)了HuggingFace、CivitAI等開源模型社區(qū)的發(fā)展。眾多的藝術(shù)家和愛好者為這些社區(qū)貢獻(xiàn)了許多高質(zhì)量的微調(diào)模型。在不知不覺中，宛如平靜的海洋一下子涌起了洶涌的浪潮，海灘上留下了無數(shù)色彩斑斕的鵝卵石，這些都是愛好者們精心調(diào)制的AI畫作。

然而，與動(dòng)畫相比，靜態(tài)圖像的表現(xiàn)能力是有限的。最新的開源框架AnimateDiff能夠?qū)⑷魏味ㄖ苹纳鷪D模型擴(kuò)展到動(dòng)畫生成領(lǐng)域，而且在保持原有定制化模型畫面質(zhì)量的基礎(chǔ)上，還能生成相應(yīng)的動(dòng)畫片段。這使得色彩斑斕的鵝卵石增添了一些動(dòng)態(tài)的光澤。

AnimateDiff 是一款強(qiáng)大的工具，它允許您輕松地將文本轉(zhuǎn)化為動(dòng)畫圖像，而無需特定的調(diào)整。它為用戶提供了無限的創(chuàng)意和探索空間，讓您可以將文本描述轉(zhuǎn)化為令人驚嘆的動(dòng)畫場景。

它的優(yōu)勢在于將真人電影視頻轉(zhuǎn)換成的動(dòng)畫，在激烈的動(dòng)作下，視頻依然可以異常的穩(wěn)定。該項(xiàng)目提出了一個(gè)有效的框架，可以一次性為大多數(shù)現(xiàn)有的個(gè)性化文本到圖像模型提供動(dòng)畫效果，節(jié)省了模型特定調(diào)整的工作。

項(xiàng)目地址:https://github.com/guoyww/animatediff/

核心功能:

MotionLoRA 模型支持: 最新發(fā)布的 MotionLoRA 模型以及其模型庫，為您提供了對(duì)相機(jī)運(yùn)動(dòng)的控制能力。您可以輕松地實(shí)現(xiàn)縮放、平移、傾斜和旋轉(zhuǎn)等相機(jī)動(dòng)作，從而打造生動(dòng)的動(dòng)畫場景。

強(qiáng)大的 Motion 模塊: 這個(gè)工具提供了多個(gè) Motion 模塊，包括 mm_sd_v14.ckpt、mm_sd_v15.ckpt 和 mm_sd_v15_v2.ckpt，它們支持高分辨率和批處理訓(xùn)練，提供卓越的圖像質(zhì)量。

簡便的環(huán)境設(shè)置: 安裝和配置 AnimateDiff 非常簡單，只需幾個(gè)命令即可輕松啟動(dòng)。您可以在單個(gè) RTX3090GPU 上進(jìn)行推理，而且僅需大約12GB的顯存。

模型庫: AnimateDiff 提供了豐富的模型庫，包括 Motion 模塊和 MotionLoRA 模塊，以及各種可用于不同場景的模型參數(shù)。您可以根據(jù)自己的需求選擇合適的模型進(jìn)行推理。

Gradio 演示: 為了讓用戶更容易使用 AnimateDiff，該團(tuán)隊(duì)還開發(fā)了 Gradio 演示。只需運(yùn)行幾個(gè)命令，就可以在本地主機(jī)上啟動(dòng)演示，通過用戶友好的界面進(jìn)行互動(dòng)。

（舉報(bào)）