明敏 發自 凹非寺
量子位 | 公眾號 QbitAI
機械臂常見,但你見過這麼聰明的嗎?
從工作臺上一眼找到合適的螺母、穩穩拿住。
再送到目標螺桿上,整個動作一氣呵成:
即使是相似度極高的兩個部件,也能準確區分並“揪”出正確的那個:
要知道,平時我們自己做實驗、或是拼裝沒見過的機械零件時,面對各個相似的零件都可能拿錯,更何況機器人。
(想象一下拼裝樂高零件的痛苦)
但這隻機械臂沒有使用過任何
人工標註
,就能從模擬器立刻遷移到真實世界,同時泛化到機器人沒見過的新物體上,準確率能達到
87.8%
。
這就是谷歌X最近開源的類別級機械臂
CaTGrasp
。
論文一作為華人博士Bowen Wen,現就讀於羅格斯大學計算機系,本科畢業於西安交通大學。
目前,這項研究已經登上機器人領域頂會
ICRA 2022
。
讓機械臂自己總結抓取經驗
這項研究的提出,主要是想要解決普通工業場景中,對不同機械零件進行分類的問題。
實際情況下,機械臂難免會遇到自己不認識的新零件,如果只依靠資料集、不會舉一反三可不太行。
為了不依賴資料集和人工標註,研究人員想到了在模擬器內進行訓練的辦法。
透過在模擬器內不斷訓練試錯,機械臂就能自己總結出一套經驗,並將它歸結成熱力圖表徵。
在這裡,研究團隊提出了一種新的表示方法:Non-Uniform Normalized Object Coordinate Space (
NUNOCS
)。
統一的NUNOCS表徵能夠讓同一類物體的資訊整合到一起。
給定一個物體模型,這種方法能讓所有的點沿著每個維度都歸一化。
歸一化讓不同維度之間的特徵在數值具有一定
比較
性,從而可以對不同物體分類。
最終NUNOCS能夠將不同物體按照類別劃分,並能夠給出一個代表模板。
在這個過程中,它是把距離所有其他模型的
倒角距離最小
的物體,設定為模板。
(倒角距離:是一種對於影象的距離變換,對於一個有特徵點和非特徵點的二值影象,此距離變換就是求解每一個點到最近特徵點的距離)
這些模板將成為之後整合熱力圖表徵、儲存抓取姿態分部的密碼本。
給出點雲輸入後,NUNOCS Net就能預測點雲在NUNOCS空間中的位置,這一網路基於pointnet設計。
(點雲:逆向工程中透過測量儀器得到的產品外觀表面的點資料合集)
根據確定點雲和預測到的點雲,二者最終可以求解得到類別級的6D轉換和3D的維度變換,從而得到更為準確的密集點雲對匹配。
比如下圖中,相同顏色表示相互匹配,NUNOCS方法優於此前的NOCS方法。
在掌握了抓取秘籍後,還要保證每次抓取都能穩定釋放“功力”。
因此,研究人員對每個抓取姿態進行50次隨機的微小擾動,並記下了成功的次數,得到連續的機率分佈。
然後根據上一步整理好的不同模型模板,將抓取姿態也進行分類整合。
測試時,一旦遇到了沒接觸過的情況,就可以將之前歸結好的抓取姿態分佈遷移到新穎的物體空間裡,從而得到更為全面的抓取姿態取樣。
抓取姿態和模擬器中得到的機率分佈,可以分別作為輸入和標籤,用來訓練神經網路。
最後,透過自監督訓練學習,在進行過足夠多的抓取姿態模擬後,機械爪和物體的接觸經驗累計就能得到如下這樣的熱力圖。
而且過程中所有模組都能從合成數據集上訓練,之後能直接遷移到真實世界的場景中。
從實驗結果來看,模擬情況下這一方法的平均成功率有93。1%,抓取次數大概為600次。
實際情況下的成功率為87。8%。
團隊介紹
本項研究的一作為羅格斯大學計算機專業博士生
Bowen Wen
,目前正在GoogleX實習。
他師從Kostas Bekris教授,研究方向包括機器人感知,計算機視覺。
此前他還在Facebook Reality、Amazon Lab 126和商湯實習過。
本科畢業於西安交通大學,碩士畢業於俄亥俄州立大學。
目前該專案的所有模擬器環境、資料集生成、訓練和實驗均已開源。
GitHub地址:
https://github。com/wenbowen123/catgrasp
論文地址:
https://arxiv。org/abs/2109。09163
— 完 —
量子位 QbitAI · 頭條號簽約