達摩院論文入選CVPR 2022口頭報告,自動駕駛工業實踐推動技術創新

6月23日訊息,阿里巴巴達摩院自動駕駛實驗室創新知識蒸餾方法,在多個計算機視覺基準測試中,顯著提升演算法效能,超越業界最優方法。相關論文已被頂會CVPR 2022收錄為口頭報告(Oral)。該技術集成於達摩院自動駕駛演算法庫,未來有望應用於末端物流無人車“小蠻驢”和自動駕駛卡車“大蠻驢”。

知識蒸餾是一種模型壓縮/模型訓練方法,指將訓練好的大模型(教師模型)的知識“蒸餾”提取到有待訓練的小模型(學生模型)中,讓小模型獲得與大模型相當的泛化能力。大模型往往體積較大、部署成本高,小模型靈活小巧,能夠最大限度降低對計算資源的消耗。

達摩院論文入選CVPR 2022口頭報告,自動駕駛工業實踐推動技術創新

CVPR 2022官網的論文分享

知識蒸餾是業界和學界的熱門研究課題。達摩院論文Knowledge Distillation via the Target-aware Transformer指出,以往的知識蒸餾方法,大多以一對一的空間匹配方式,將教師模型的特徵提取到學生模型。但由於結構差異,大小模型在同一空間位置上的語義資訊通常是不同的,這極大削弱了一對一蒸餾方法的基本假設。

論文提出一種新的基於transformer的一對多空間匹配方法,將教師模型特徵的每個畫素提取到學生模型特徵的所有空間位置,透過引數相關性來衡量以學生特徵和教師特徵的表徵成分為條件的語義距離,並對這種相關性進行建模。

在ImageNet、Pascal VOC和COCOS-tuff10k等基準測試中,新方法表現出色。如,針對ImageNet資料集的影象分類任務,基於同一個學生模型(tiny ResNet18),新方法將模型的top-1準確率從70。04%提高到72。41%,顯著高於之前最優蒸餾方法的71。61%。;針對COCO-Stuff10k上的語義分割任務,新方法將mobilenetv2結構的mIoU提高1。75%。

達摩院論文入選CVPR 2022口頭報告,自動駕駛工業實踐推動技術創新

達摩院研發的物流無人車小蠻驢現已配送訂單超過1000萬

知識蒸餾方法廣泛應用於知識遷移、半監督學習、計算機視覺等下游演算法。自動駕駛技術團隊更關注其對線上模型效能的提升,讓小模型也能起大作用,論文作者於開丞介紹,“自動駕駛是個超級AI系統,每天都要處理海量的影象、點雲資訊,演算法效能關係到終端產品的智慧性、安全性、可靠性,可以說,是工業實踐推動著技術創新。”

據悉,達摩院研發的L4級自動駕駛產品小蠻驢現已落地超過500輛,在學校、社群等末端場景配送訂單超過1000萬。達摩院已啟動面向幹線物流的無人卡車“大蠻驢”的研發。

— 完 —

頂部