豐色 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
只需
第一幀影象
+邊界提示,就能將影片中各物體
“摳”
出來並進行
軌跡跟蹤
:
以上就是谷歌的最新研究成果。
該方法透過在影片中引入
注意力機制
,成功地解決此前採用了無監督學習的多目標分割和跟蹤方法的一些不足。
現在的它,不僅可以泛化到更多樣、視覺上更復雜的影片中,還能處理更長的影片序列。
透過實驗還發現,相比此前的模型,谷歌這個新方法在MOVi資料集上的mIoU直接提高了
近30%
。
為“動態摳圖”引入注意力機制
方法被命名為
SAVi
(Slot Attention for Video)
。
而此前的無監督目標分割和跟蹤方法最大的問題,就是隻能應用到
非常簡單
的影片上。
為了處理視覺效果更復雜的影片,SAVi採用
弱監督學習
:
(1)以
光流
(optical flow)
預測為訓練目標,並引入注意力機制;
(2)在第一幀影象上給出
初始提示
(一般是框出待分割物體,或者給出物體上單個點的座標)
,進行分割指導。
具體來說,受到常微分方程的“預測-校正器”方法的啟發,SAVi對每個可見的影片幀執行
預測和校正
步驟。
為了描述影片物體隨時間變化的狀態,包括與其它物體的互動,SAVi在進行光流預測時在slot之間使用
自注意力
。
slot就是指影片中各物體,用不同顏色區分。
校正階段,帶有輸入的slot-normalized交叉注意用於校正
(更新)
slot表示集。
然後預測器的輸出根據時間來初始化矯正器,使模型最終能夠以一致的方式隨時間跟蹤物體。
△ SAVi模型架構圖
在訓練中,每個影片被分成六個6幀子序列,第一幀接收提示訊號,每幀兩輪slot注意力。
在完全無監督影片分割中,研究人員以64的batch size訓練了十萬步。
沒有提示,也能進行簡單影片的分割和跟蹤
在CATER資料集上,測試表明,SAVi架構完全適用於無監督的物體表示學習。
在光流條件監督的情況下,SAVi在MOVi資料集上獲得72。1%的mIoU,比基線模型CRW和T-VOS分別
高了近30%和近20%
。
SAVi在MOVi++資料集上的mIoU得分為45。9%,比T-VOS略高一點,比CRW低了5%。
另外,還可以看到,在第一幀影象上給出質心形式的提示效果會比邊界框好一點,但區別不大。
值得注意的是,
即使沒有任何提示
,該方法也能分割一些具有簡單紋理的動態場景,比如在資料集Sketchy上。
不過,在將SAVi完全用於現實世界裡的複雜影片時,還有一些挑戰需克服:
1、所採用的訓練方法
假設
在訓練時光流資訊是可用的,而在真實影片中,這不一樣有;
2、研究中所涉及的都是一些簡單物體的基本運動,
現實遠比這個複雜
。
最後,作者表示,SAVi在分割和跟蹤方面仍然表現出色,在第一幀給出提示資訊的做法也可能會衍生出各種相關的
半監督
方法。
論文地址:
https://arxiv。org/abs。2111。12594
參考連結:
[1]https://slot-attention-video。github。io/(程式碼即將開源)
[2]https://www。marktechpost。com/2021/11/28/google-research-open-sources-savi-an-object-centric-architecture-that-extends-the-slot-attention-mechanism-to-videos/
— 完 —
量子位 QbitAI · 頭條號簽約