Facebook探索利用深度學習帶來靈巧細微的手部互動操作

檢視引用/資訊源請點選:映維網

由愛丁堡大學、香港大學和Facebook Reality Labs組成的團隊

(映維網 2021年07月06日)據統計,人類平均每天與140個物件互動。在不同的文化和地理環境中,我們互動的日常用品的形狀和形式非常不同。迄今為止,行業尚未出現能夠與人手靈巧程度相媲美的智慧代理。在動畫和遊戲中,手指運動涉及繁瑣的手部動畫製作或動捕資料清理,尤其是涉及物件互動的資料。

對於虛擬現實或增強現實,基於控制器或基於手指捏合的物件互動模型無法產生真實的和微妙的手指運動,並會打破沉浸感。利用深度強化學習的最新進展,機器手可以學習精確地執行專門的任務,例如求解魔方等等。然而,一個能夠就各式各樣物件執行一系列操作任務的通用模型依然遙不可及,更不用說優雅且自然地執行。

Facebook探索利用深度學習帶來靈巧細微的手部互動操作

由愛丁堡大學、香港大學和Facebook Reality Labs組成的團隊利用了行業在深度學習方面的成功,嘗試透過深度神經網路直接從資料中學習自然操作行為。然而,操縱的組合性質加劇了對高質量資料的要求。操作不僅取決於物件的形狀、大小和功能,同時取決於預期任務、手部解剖結構,甚至個人喜好。儘管現在可以實時捕捉手物互動,但巨大的情景可變性令人望而生畏。

針對這種情況,有研究人員致力於提高社群資料集的質量和數量,而愛丁堡大學、香港大學和Facebook Reality Labs則嘗試研究是否能夠將基於小量物件形狀的學習類推到幾何變化情景,並將目標驅動的抓取擴充套件到人類經常自然和無意地執行的微妙手指姿態和手部操作。日前,團隊發表了一篇名為《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》的相關論文。

愛丁堡大學、香港大學和Facebook Reality Labs的中心思想是利用代表手部和物件空間關係的特徵,並結合有關抓取的生物力學文獻。早前的研究指出,總體的抓取姿勢位於低維空間中,而這在很大程度上取決於任務。手部姿態的高階變化取決於物件形狀的細節。另外,隨著手部越來越靠近物件,手部姿態的變化將會開始形成。所以,研究人員為全域性物件形狀選擇一個粗略表示,但僅當手部接近時為物件表面的區域性幾何細節選擇一個密集表示。

業界存在一系列用於表示神經網路三維幾何的解決方案,如體素佔用網格,符號距離場和點樣本。在愛丁堡大學、香港大學和Facebook Reality Labs的例子中,研究人員嘗試減少特徵維數以避免過度擬合,同時依然捕獲重要資訊。團隊使用低解析度的體素佔用網格來表示物件的形狀,並發現手部和物件表面之間的距離取樣是有效的低維訊號,能夠很好地捕獲細節。

對於《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》的研究, 愛丁堡大學、香港大學和Facebook Reality Labs的團隊訓練一個能夠根據控制訊號和物件幾何特徵來預測操作物件時的手指姿勢的神經網路。控制訊號是手腕和物件的6D軌跡。

早前的研究已經證明了所述控制訊號在限制手指操作運動方面的有效性。然而,一個深入的學習公式同時需要一個最小和明確的輸入表示。

研究人員設計的網路只處理一個手部-物件。團隊映象另一隻手,執行網路兩次,從而為兩隻手生成預測。這種設計允許研究人員在手部空間中變換輸入特徵,以消除世界座標的模糊性,並允許其能夠在一個統一的框架中處理互動手部和物件的不同組合。

研究人員提出的系統無需詳盡的資料集即可成功地合成各種手指姿態,可用於協調雙手任務或針對不同物件集進行手部操作,例如端茶或在轉動大圓環。團隊同時演示了它在遊戲和AR/VR中的實時互動潛力。團隊表示,將公佈在這項研究的操作資料集,以支援精細手指姿態的研究。

Facebook探索利用深度學習帶來靈巧細微的手部互動操作

研究人員提出的系統概述如圖2所示。它將手腕和操縱物件的軌跡,以及手的蒙皮網格和物件的三維幾何圖形作為輸入。然後,系統使用深度神經網路ManipNet作為自迴歸模型,逐幀生成雙手的詳細手指姿勢。儘管網路本身只考慮一隻手,但系統能夠在統一的框架中處理手和物件的不同組合。

為了提高網路的通用性和避免對訓練資料的過度擬合,團隊提出了三種虛擬感測器來編碼物件的幾何結構及其與手的空間關係。所述感測器以粗體素網格的形式捕捉全域性物件形狀,以點樣形式捕捉區域性幾何細節。全域性特徵有助於規劃整體姿態和預測未來運動,而區域性特徵在實現對幾何變化的泛化方面起著重要作用。ManipNet是一種基於剩餘稠密網路結構的時間序列模型。網路的輸入包括前一幀中的手姿勢、感測器特徵和控制訊號,其中包括手腕和圍繞前一幀物件的過去和未來軌跡。

所述網路然後預測手指和物件之間的距離,以及一個新的手部姿態。然後,使用預測的距離進一步處理預測的手部姿勢,從而校正手部和物件之間的空間關係。接下來,在下一幀使用校正的姿態來計算到網路的輸入。

Facebook探索利用深度學習帶來靈巧細微的手部互動操作

總的來說,《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》主要有三個貢獻:

一種基於神經網路的運動合成系統,其可為單手/雙手靈巧物件操作生成詳細的手指運動。

手部-物件空間關係的表示,其允許神經網路能夠將操作運動類推到各種物件形狀和操作任務

手部-物件互動運動資料集,包括16個物件的詳細手指運動和靈巧操作。

團隊坦誠,當前的研究存在一系列的侷限,如資料可變性(暫時無法類推到微小或複雜的物件),物理合理性(離真正的自然尚有一定的距離),合成數據捕捉成本高昂,以及尚未在全身互動進行實驗等等。不過,研究人員希望這篇論文的發現能夠激發社群的新想法和探索。

相關論文:

ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation

https://paper。nweon。com/10266

更多關於論文的研究說明和計算原理請訪問《ManipNet: Neural Manipulation Synthesis with a Hand-Object Spatial Representation》。

頂部