幺妹直播官方版_幺妹直播直播视频在线观看免费版下载_幺妹直播安卓高清版下载

首頁(yè) > 業(yè)界 > 關(guān)鍵詞  > MagicDance最新資訊  > 正文

MagicDance:基于擴(kuò)散的人體運(yùn)動(dòng)傳遞框架生成逼真舞蹈視頻

2024-01-02 11:01 · 稿源:站長(zhǎng)之家

站長(zhǎng)之家(ChinaZ.com)1月2日 消息:近年來(lái),計(jì)算機(jī)視覺(jué)領(lǐng)域的關(guān)鍵突破之一是MagicDance框架的問(wèn)世,這是一種基于擴(kuò)散的模型,旨在徹底改變?nèi)梭w運(yùn)動(dòng)傳遞。MagicDance框架通過(guò)兩階段訓(xùn)練策略,聚焦于人體動(dòng)作解纏和外觀因素,為特定目標(biāo)身份生成逼真的人類舞蹈視頻,成為計(jì)算機(jī)視覺(jué)和人工智能領(lǐng)域的新秀。

QQ截圖20240102110222.jpg

在計(jì)算機(jī)視覺(jué)領(lǐng)域,人體運(yùn)動(dòng)轉(zhuǎn)移一直是一個(gè)極具挑戰(zhàn)性的任務(wù)。雖然現(xiàn)代模型在分析實(shí)時(shí)場(chǎng)景中的面部特征和物體方面已經(jīng)取得了顯著進(jìn)展,但人體運(yùn)動(dòng)轉(zhuǎn)移依然是一個(gè)巨大的挑戰(zhàn)。這一任務(wù)要求將面部和身體運(yùn)動(dòng)從源圖像或視頻重新定位到目標(biāo)圖像或視頻,涉及到復(fù)雜的姿勢(shì)序列和面部表情。

MagicDance框架的獨(dú)特之處在于其專注于舞蹈視頻生成,通過(guò)將2D人類面部表情和動(dòng)作轉(zhuǎn)移到具有挑戰(zhàn)性的人類舞蹈視頻中,實(shí)現(xiàn)了高度逼真的效果。MagicDance采用了穩(wěn)定擴(kuò)散模型,結(jié)合外觀控制和姿勢(shì)控制,以實(shí)現(xiàn)精準(zhǔn)而有效的圖像到運(yùn)動(dòng)傳遞。該框架在兩階段訓(xùn)練過(guò)程中關(guān)注外觀解纏和膚色、面部表情、服裝等外觀因素,使其能夠生成既逼真又具有原始身份信息的舞蹈視頻。

QQ截圖20240102110229.jpg

通過(guò)在TikTok數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練,MagicDance框架展現(xiàn)了卓越的泛化能力和高質(zhì)量的生成結(jié)果。在外觀和運(yùn)動(dòng)方面的泛化性表現(xiàn)使得MagicDance框架不僅在復(fù)雜的運(yùn)動(dòng)序列中表現(xiàn)出色,而且在不同人類身份和面部表情下也能夠保持高水準(zhǔn)的逼真性。與現(xiàn)有框架相比,MagicDance框架在Face-Cos得分等指標(biāo)上實(shí)現(xiàn)了明顯的提升,表明其在保存身份信息和生成逼真舞蹈視頻方面具有顯著的優(yōu)越性。

QQ截圖20240102110317.jpg

然而,MagicDance框架也面臨一些挑戰(zhàn),如在復(fù)雜場(chǎng)景中面部標(biāo)志和姿勢(shì)骨架檢測(cè)方面的困難,可能導(dǎo)致生成圖像中的偽影。盡管存在一些局限性,MagicDance框架仍然在人體運(yùn)動(dòng)傳遞和舞蹈視頻生成領(lǐng)域取得了顯著進(jìn)展,為計(jì)算機(jī)視覺(jué)和人工智能領(lǐng)域帶來(lái)了新的可能性。

項(xiàng)目地址:https://top.aibase.com/tool/magicdance

舉報(bào)

  • 相關(guān)推薦
  • 榮耀200系列/Magic Vs2/Magic4系列開(kāi)啟MagicOS 9.0公測(cè)

    今天榮耀宣布,榮耀MagicVs2、榮耀Magic4系列、榮耀200系列開(kāi)啟MagicOS9.0公測(cè),公測(cè)活動(dòng)在我的榮耀APP報(bào)名參與。報(bào)名入口及方法:請(qǐng)?jiān)谑謾C(jī)上打開(kāi)我的榮耀”APP-俱樂(lè)部-MagicOS9.0-升級(jí)嘗鮮-公測(cè)申請(qǐng),然后根據(jù)提示進(jìn)行報(bào)名升級(jí)即可。值得注意的是,MagicOS9.0加持平臺(tái)級(jí)AI內(nèi)核的大模型能力,推出全新自研的魔法大模型家族,涵蓋語(yǔ)言大模型、圖像大模型、語(yǔ)音大模型以及多模態(tài)大模型,在不同設(shè)備上實(shí)現(xiàn)靈活部署。

  • 榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)將首發(fā)潛望長(zhǎng)焦超大光圈

    榮耀Magic7RSR保時(shí)捷設(shè)計(jì)近日宣布,將在行業(yè)中首次推出配備潛望長(zhǎng)焦超大光圈的智能手機(jī),這一創(chuàng)新技術(shù)預(yù)計(jì)將再次突破業(yè)界在暗光長(zhǎng)焦攝影方面的極限解析力。該機(jī)型還首次引入了雙電磁對(duì)焦馬達(dá),以實(shí)現(xiàn)在疾馳瞬間精準(zhǔn)定格畫(huà)面。榮耀Magic7RSR保時(shí)捷設(shè)計(jì)將于12月23日正式發(fā)布,這款新機(jī)的推出將進(jìn)一步鞏固榮耀在高端智能手機(jī)市場(chǎng)的地位,并為消費(fèi)者帶來(lái)更加卓越的攝影體驗(yàn)。

  • 榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)上架預(yù)訂 預(yù)計(jì)將于本月發(fā)布

    榮耀公司今日宣布,榮耀Magic7RSR保時(shí)捷設(shè)計(jì)已在官網(wǎng)上架,并開(kāi)始接受意向預(yù)訂,預(yù)訂金為100元。參與預(yù)訂的用戶在支付尾款時(shí)可享受24期免息分期付款,以及9.9元的優(yōu)惠套餐,包括一年碎屏寶、一年延長(zhǎng)寶和兩年電量寶。新機(jī)將于本月正式發(fā)布,屆時(shí)消費(fèi)者將能體驗(yàn)到這款融合了高端設(shè)計(jì)和先進(jìn)技術(shù)的智能手機(jī)。

  • 榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)首發(fā)大王影像:長(zhǎng)焦進(jìn)光量無(wú)敵

    博主數(shù)碼閑聊站爆料,榮耀Magic7RSR保時(shí)捷設(shè)計(jì)配備2億像素潛望長(zhǎng)焦,采用1/1.4英寸超大底,支持3倍光學(xué)變焦,等效光圈大概是f/7.1。所有超大杯長(zhǎng)焦等效光圈最大是f/10,榮耀Magic7RSR保時(shí)捷設(shè)計(jì)的長(zhǎng)焦進(jìn)光量刷新行業(yè)紀(jì)錄了。該機(jī)將于12月23日正式發(fā)布。

  • 趙明換上榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì):發(fā)布會(huì)放大招

    今天上午,榮耀終端CEO趙明用榮耀Magic7RSR保時(shí)捷設(shè)計(jì)發(fā)了一條微博,表示大家翹首期待的榮耀Magic7RSR保時(shí)捷設(shè)計(jì)終于要來(lái)了,更強(qiáng)大的影像大王”也會(huì)一起亮相,榮耀Magic7全系列產(chǎn)品即將迎來(lái)影像能力的全面升級(jí),12月23日14:00放大招。榮耀自研的全新大王影像算法在長(zhǎng)焦方面有了全面突破,根據(jù)工程師羅巍曬出的樣張,在100倍變焦場(chǎng)景下,榮耀Magic7Pro拍攝的樣張依然清晰可見(jiàn)。該機(jī)將矩陣排布、標(biāo)志六邊形以及峰線設(shè)計(jì)等保時(shí)捷跑車經(jīng)典元素巧妙融入其中,賦予了無(wú)與倫比的動(dòng)態(tài)美學(xué)和先鋒潮流體驗(yàn)。

  • 榮耀CEO趙明:今年沒(méi)有手機(jī)顏值能超過(guò)Magic7 包括華為Mate 70、小米15

    在今天下午舉辦的榮耀Magic7RSR保時(shí)捷設(shè)計(jì)及影像技術(shù)發(fā)布會(huì)上,榮耀CEO趙明表示,今年國(guó)產(chǎn)手機(jī)品牌發(fā)布了很多旗艦機(jī),包括包括華為Mate70、小米15,但沒(méi)有一款手機(jī)顏值能超過(guò)Magic7。Magic7系列于11月8日正式發(fā)布,定位史上最強(qiáng)Magic旗艦,包括榮耀Magic7和榮耀Magic7Pro兩款產(chǎn)品。榮耀Magic7RSR保時(shí)捷設(shè)計(jì)首發(fā)100xAI超級(jí)長(zhǎng)焦,通過(guò)AI超級(jí)長(zhǎng)焦,結(jié)合榮耀AI大模型計(jì)算攝影系統(tǒng),對(duì)焦迅速且精準(zhǔn),在極限變焦場(chǎng)景下依然能夠捕捉到畫(huà)面細(xì)節(jié)。

  • 開(kāi)啟手機(jī)自動(dòng)駕駛時(shí)代!榮耀Magic7獲評(píng)AI手機(jī)年度標(biāo)桿機(jī)型

    在今天榮耀Magic7RSR保時(shí)捷設(shè)計(jì)的發(fā)布會(huì)上,趙明先回顧了Magic7系列的成績(jī)。在2024版中國(guó)電信終端洞察報(bào)告中,榮耀Magic7榮獲AI手機(jī)智能度評(píng)測(cè)的標(biāo)桿機(jī)型。核心配置上,榮耀Magic7Pro采用6.8英寸12802800屏幕,搭載高通驍龍8至尊版平臺(tái),后置5000萬(wàn)主攝、2億像素潛望長(zhǎng)焦以及5000萬(wàn)超廣角,主攝擁有1/1.3英寸超大底,支持F1.4-F2.0智能可變光圈,電池是5850mAh,支持100W有線和80W無(wú)線閃充。

  • 趙明曬榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)100倍長(zhǎng)焦樣張:非常震撼

    榮耀CEO趙明曬出了榮耀Magic7RSR保時(shí)捷設(shè)計(jì)實(shí)拍樣張。小伙伴在河北廊坊拍攝北京CBD的中國(guó)尊,在1x照片中幾乎看不見(jiàn)100xAI超級(jí)長(zhǎng)焦卻將中國(guó)尊清晰呈現(xiàn),非常震撼。該機(jī)將于12月23日登場(chǎng)。

  • 榮耀Magic7 RSR 保時(shí)捷設(shè)計(jì)官宣 將于 12 月 23 日發(fā)布

    榮耀公司宣布,將于12月23日舉辦榮耀Magic7RSR保時(shí)捷設(shè)計(jì)及影像技術(shù)發(fā)布會(huì),屆時(shí)將推出其最新旗艦手機(jī)。根據(jù)官方預(yù)熱信息,此次發(fā)布會(huì)將展示榮耀在影像技術(shù)方面的重大突破,被譽(yù)為“年度王炸”。這兩款配色不僅展現(xiàn)了榮耀對(duì)色彩美學(xué)的深刻理解,也體現(xiàn)了品牌對(duì)細(xì)節(jié)的極致追求。

  • 蘋(píng)果新款Magic Mouse要2026年底才推出!充電位置終于改了

    蘋(píng)果公司正計(jì)劃對(duì)其MagicMouse進(jìn)行重大重新設(shè)計(jì),并預(yù)計(jì)在2026年底與OLEDMacBookPro一同亮相。韓國(guó)爆料者yeux1122稱,全新MagicMouse3的推出時(shí)間將與OLEDMacBookPro發(fā)布時(shí)間一致,這意味著距離USB-C版本MagicMouse2發(fā)布約兩年后,我們將迎來(lái)新一代的MagicMouse。還有報(bào)道稱MagicMouse3將支持聲控功能,應(yīng)該是對(duì)爆料內(nèi)容的誤解,爆料確實(shí)提到了現(xiàn)代計(jì)算環(huán)境融合觸控屏、聲控與手勢(shì)操作,但這僅指MagicMouse的設(shè)計(jì)需適應(yīng)現(xiàn)代多元化的輸入方式,并非指該裝置將內(nèi)置聲控功能,不過(guò)具體還是要等官方發(fā)布。

熱文

  • 3 天
  • 7天