浪潮儲存 為中汽創智自動駕駛訓練提速

北京2021年11月11日 /美通社/ —— 中汽創智科技有限公司由中國一汽、東風公司、長安汽車、南京江寧經開科技等企業共同出資160億元設立,落戶南京江寧經濟技術開發區。

中汽創智選擇浪潮分散式儲存AS13000G5系列的M和H節點,構建了自動駕駛訓練模型,進一步提升GPU叢集自動駕駛模型訓練過程中的資料讀寫速度,大大加快研發速度。

中汽創智科技有限公司的成立,是落實製造強國、科技強國、汽車強國等國家戰略的重要舉措央企新能源汽車整車領域的產業投資、技術研發將集中在中汽創智,有利於推動產業資源整合和開放合作,加快在制約當前產業發展的“卡脖子”技術和下一代關鍵核心技術領域的集中攻關和突破中汽創智聚焦智慧底盤、氫燃料動力、智慧網聯三大業務領域,致力於成為汽車行業技術創新的引領者、產業孵化的踐行者、資料服務的驅動者。

部署自動駕駛訓練平臺,推進自動駕駛技術發展

中汽創智計劃建設一套自動駕駛模型訓練平臺藉助平臺的運算能力和儲存能力,為自動駕駛、人工智慧等領域相關技術的研發,提供IT資源支撐。

模型訓練需要頻繁在儲存裝置中讀寫資料,對儲存系統性能要求較高,原始模型開發的過程中需要呼叫TB級的圖片資料集,且模型在開發的過程中也會產生很多中間資料需要儲存。

除了資料讀寫和大量圖片的處理,中汽創智自動駕駛訓練模型的搭建還給資料傳輸帶來挑戰,傳統儲存在面對資料短時間內增長迅速,傳統硬碟效率低,無法發揮資料的及時性和準確性。

浪潮

AS13000-H,如何HOLD住海量資料?

浪潮為中汽創智提供了高效能AS13000G5-H型號和13000G5-M儲存組合方案提供了不低於50GB/s的聚合頻寬和PB級儲存空間,滿足了自動駕駛訓練模型對大量圖片處理和資料頻繁讀寫的需求助力中汽創智自動駕駛訓練模型平臺的建設。

浪潮AS13000-H分散式檔案儲存系統採用元資料節點與資料節點分離的網路架構,元資料與資料的讀寫互不影響同時,AS13000-H的軟體系統面向小檔案進行了專門的調優和設計,使得AS13000-H更加適合圖片資料集訓練這種小檔案頻繁讀寫的場景從而進一步提升GPU叢集自動駕駛模型訓練過程中的資料讀寫速度,推薦配置2個元資料節點和2個數據節點元資料節點之間,資料節點之間開啟映象模式,實現元資料和資料的兩副本儲存,透過雙副本機制,保障中汽創智自動駕駛模型訓練過程中資料的安全每臺元資料節點和資料節點均配有2套網路一套為10Gb萬兆乙太網絡,接入業務交換機,實現研發人員和管理人員對於儲存裝置的前端接入和訪問另外一套為100Gb EDR Infiniband網路,接入叢集內部用於資料交換的IB交換機,實現模型訓練過程中計算節點與儲存節點之間的資料讀寫,最大化保障資料傳輸效率。

考慮到用於模型訓練的圖片資料集及部分中間結果需要在開發機之間共享,因此,儲存裝置應具備共享網盤功能,以便不同開發機之間對同一份訓練資料集進行讀寫,並對中間結果進行共享浪潮儲存採用3臺4U36盤位儲存伺服器構成分散式儲存系統的硬體平臺軟體層面,使用經過浪潮商業化開發的Ceph檔案系統透過軟體定義儲存技術,將3臺儲存伺服器定義為一臺分散式儲存系統該系統可以同時支援檔案、物件、塊三種儲存型別,本專案中使用檔案儲存格式進行開發及儲存環境搭建,幫助使用者實現對儲存資源的最大化利用,有效降低儲存開銷,實現高效資料存取和維護,確保資料安全可靠。

目前,中汽創智自動駕駛訓練模型平臺已經全面投入使用,在智慧座艙、模擬與測試、自動駕駛等多個業務中開展大資料分析和高效能訓練,與中汽創智的雲平臺進行對接,形成統一的資料中心級別的大平臺。

頂部