站長(zhǎng)之家（ChinaZ.com）4月23日 消息:在視頻分割領(lǐng)域，Segment Anything 模型（SAM）被用于探索新的視頻對(duì)象分割技術(shù)。研究團(tuán)隊(duì)測(cè)試了兩種不同的模型，旨在結(jié)合 SAM 的分割能力和光流技術(shù)的優(yōu)勢(shì)，以提高視頻分割的性能。

SAM 與光流結(jié)合的模型:第一種模型中，研究者對(duì) SAM 進(jìn)行了修改，使其能夠直接使用光流數(shù)據(jù)作為輸入，而非傳統(tǒng)的 RGB 圖像。光流數(shù)據(jù)能夠提供關(guān)于圖像中物體運(yùn)動(dòng)的信息，這對(duì)于分割和識(shí)別移動(dòng)物體特別有用。

SAM 與 RGB 圖像結(jié)合的模型:第二種模型則保持了 SAM 使用 RGB 圖像作為主要輸入的方式，但引入了光流數(shù)據(jù)作為輔助提示，以增強(qiáng)模型對(duì)視頻中物體運(yùn)動(dòng)的識(shí)別和分割能力。

這兩種方法都展示了在視頻對(duì)象分割任務(wù)中的潛力，即使沒(méi)有進(jìn)行復(fù)雜的修改或優(yōu)化，也已經(jīng)在單對(duì)象和多對(duì)象的視頻基準(zhǔn)測(cè)試中取得了顯著的性能提升。

此外，研究者還探索了將這些基于幀的分割方法擴(kuò)展到整個(gè)視頻序列上，以實(shí)現(xiàn)對(duì)同一物體在視頻連續(xù)幀中的身份進(jìn)行追蹤。這種序列級(jí)別的分割技術(shù)能夠連續(xù)地識(shí)別和追蹤視頻中的特定對(duì)象，即使在物體運(yùn)動(dòng)、場(chǎng)景變化或光照條件變化的情況下也能保持一致性。

這些研究成果不僅提升了視頻分割的精度和效率，而且通過(guò)簡(jiǎn)化模型的設(shè)計(jì)，降低了計(jì)算復(fù)雜度和資源消耗，使得實(shí)時(shí)視頻分割和物體追蹤變得更加可行。這些技術(shù)的進(jìn)展對(duì)于視頻編輯、安防監(jiān)控、自動(dòng)駕駛車輛的視覺(jué)系統(tǒng)以及許多其他應(yīng)用場(chǎng)景都具有重要意義。

目前，具體的技術(shù)細(xì)節(jié)、模型性能指標(biāo)以及未來(lái)的研究方向尚未詳細(xì)公布，但這些初步的研究成果已經(jīng)為視頻分割技術(shù)的發(fā)展提供了新的方向和可能性。

演示頁(yè)面：https://www.robots.ox.ac.uk/~vgg/research/flowsam/

（舉報(bào)）