Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

明敏 發自 凹非寺

量子位 | 公眾號 QbitAI

機械臂常見,但你見過這麼聰明的嗎?

從工作臺上一眼找到合適的螺母、穩穩拿住。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

再送到目標螺桿上,整個動作一氣呵成:

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

即使是相似度極高的兩個部件,也能準確區分並“揪”出正確的那個:

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

要知道,平時我們自己做實驗、或是拼裝沒見過的機械零件時,面對各個相似的零件都可能拿錯,更何況機器人。

(想象一下拼裝樂高零件的痛苦)

但這隻機械臂沒有使用過任何

人工標註

,就能從模擬器立刻遷移到真實世界,同時泛化到機器人沒見過的新物體上,準確率能達到

87.8%

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

這就是谷歌X最近開源的類別級機械臂

CaTGrasp

論文一作為華人博士Bowen Wen,現就讀於羅格斯大學計算機系,本科畢業於西安交通大學。

目前,這項研究已經登上機器人領域頂會

ICRA 2022

讓機械臂自己總結抓取經驗

這項研究的提出,主要是想要解決普通工業場景中,對不同機械零件進行分類的問題。

實際情況下,機械臂難免會遇到自己不認識的新零件,如果只依靠資料集、不會舉一反三可不太行。

為了不依賴資料集和人工標註,研究人員想到了在模擬器內進行訓練的辦法。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

透過在模擬器內不斷訓練試錯,機械臂就能自己總結出一套經驗,並將它歸結成熱力圖表徵。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

在這裡,研究團隊提出了一種新的表示方法:Non-Uniform Normalized Object Coordinate Space (

NUNOCS

)。

統一的NUNOCS表徵能夠讓同一類物體的資訊整合到一起。

給定一個物體模型,這種方法能讓所有的點沿著每個維度都歸一化。

歸一化讓不同維度之間的特徵在數值具有一定

比較

性,從而可以對不同物體分類。

最終NUNOCS能夠將不同物體按照類別劃分,並能夠給出一個代表模板。

在這個過程中,它是把距離所有其他模型的

倒角距離最小

的物體,設定為模板。

(倒角距離:是一種對於影象的距離變換,對於一個有特徵點和非特徵點的二值影象,此距離變換就是求解每一個點到最近特徵點的距離)

這些模板將成為之後整合熱力圖表徵、儲存抓取姿態分部的密碼本。

給出點雲輸入後,NUNOCS Net就能預測點雲在NUNOCS空間中的位置,這一網路基於pointnet設計。

(點雲:逆向工程中透過測量儀器得到的產品外觀表面的點資料合集)

根據確定點雲和預測到的點雲,二者最終可以求解得到類別級的6D轉換和3D的維度變換,從而得到更為準確的密集點雲對匹配。

比如下圖中,相同顏色表示相互匹配,NUNOCS方法優於此前的NOCS方法。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

在掌握了抓取秘籍後,還要保證每次抓取都能穩定釋放“功力”。

因此,研究人員對每個抓取姿態進行50次隨機的微小擾動,並記下了成功的次數,得到連續的機率分佈。

然後根據上一步整理好的不同模型模板,將抓取姿態也進行分類整合。

測試時,一旦遇到了沒接觸過的情況,就可以將之前歸結好的抓取姿態分佈遷移到新穎的物體空間裡,從而得到更為全面的抓取姿態取樣。

抓取姿態和模擬器中得到的機率分佈,可以分別作為輸入和標籤,用來訓練神經網路。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

最後,透過自監督訓練學習,在進行過足夠多的抓取姿態模擬後,機械爪和物體的接觸經驗累計就能得到如下這樣的熱力圖。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

而且過程中所有模組都能從合成數據集上訓練,之後能直接遷移到真實世界的場景中。

從實驗結果來看,模擬情況下這一方法的平均成功率有93。1%,抓取次數大概為600次。

實際情況下的成功率為87。8%。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

團隊介紹

本項研究的一作為羅格斯大學計算機專業博士生

Bowen Wen

,目前正在GoogleX實習。

Google X開源抓取機械臂,無需人工標註就能一眼找到目標零件

他師從Kostas Bekris教授,研究方向包括機器人感知,計算機視覺。

此前他還在Facebook Reality、Amazon Lab 126和商湯實習過。

本科畢業於西安交通大學,碩士畢業於俄亥俄州立大學。

目前該專案的所有模擬器環境、資料集生成、訓練和實驗均已開源。

GitHub地址:

https://github。com/wenbowen123/catgrasp

論文地址:

https://arxiv。org/abs/2109。09163

— 完 —

量子位 QbitAI · 頭條號簽約

頂部