阿里達摩院研發存算一體AI晶片,效能提升超10倍,能效比提升300倍

阿里達摩院研發存算一體AI晶片,效能提升超10倍,能效比提升300倍

芯東西(公眾號:aichip001)

作者 | ZeR0

編輯 | 漠影

芯東西12月3日訊息,阿里雲今日宣佈,阿里達摩院已成功研發新型架構晶片,稱其是

全球首款基於DRAM的3D鍵合堆疊存算一體AI晶片

從效能來看,該晶片可滿足AI等場景對高頻寬、高容量記憶體和極致算力的需求。

在特定

AI

場景中,其效能提升超

10

,能效比提升達

300

該技術的研究成果已被國際晶片頂會ISSCC 2022收錄,未來可應用於VR/AR、無人駕駛、天文資料計算、遙感影像資料分析等場景,發揮高頻寬、低功耗的優勢。

目前達摩院已在存算一體架構方向積累大量領先成果,曾在ISCA、MICRO、HPCA等計算機體系結構頂會上發表多篇論文。

#FormatStrongID_1#

此次存算一體晶片是

達摩院計算技術實驗室在計算機體系結構上的創新成果之一

達摩院計算技術實驗室是達摩院設立的16個實驗室之一,致力於計算、儲存、互聯晶片的前沿技術研究。研究方向涵蓋系統架構、計算機體系結構、晶片設計最佳化等領域。

該團隊的研究成果也將用於阿里巴巴旗下半導體公司平頭哥的晶片產品研發。

選擇研發存算一體晶片,是為了打破傳統計算機晶片普遍存在的記憶體牆等難題。

過去70年,計算機一直遵循馮·諾依曼架構設計,計算與記憶體分離,執行時資料需要在處理器和記憶體之間傳輸,這一過程會造成大量時延及功耗。

但面對AI等高併發計算場景,資料在儲存與計算單元之間的傳輸過程限制了系統算力的提升。

阿里達摩院研發存算一體AI晶片,效能提升超10倍,能效比提升300倍

一方面,傳統架構下資料搬運帶來大量能耗,資料從記憶體單元到計算單元所需功耗,是計算本身的約200倍;另一方面,記憶體效能提升速度遠落後於處理器的效能提升速度,處理器的算力以每兩年3。1倍的速度增長,而記憶體的效能每兩年只有1。4倍的提升。

有限的記憶體頻寬無法保證資料高速傳輸。因此,模仿人腦特性、將資料儲存單元和計算單元融合的存算一體技術開始興起。

存算一體技術透過大幅減少資料搬運,可極大地提高計算並行度和能效,故而成為解決計算機效能瓶頸的一類關鍵技術。

這一技術早在上世紀90年代就被提出,但因技術複雜度、設計成本高、應用場景匱乏等限制,過去幾十年存算一體晶片相關研究進展緩慢。

近年隨著儲存器件等底層技術的發展,加上以AI為代表的新興技術快速擴容計算市場,業界迫切需要解決算力瓶頸,越來越多的高校及研究機構開始推動存算一體技術的研究與創新。

#FormatStrongID_2##FormatStrongID_3##FormatStrongID_4#

目前實現存算一體有三種主流技術路線:

1

)近存計算:

計算操作由位於儲存晶片外部的獨立計算晶片完成。

2

)存內計算:

計算操作由位於儲存晶片內部的獨立計算單元完成,儲存單元、計算單元相互獨立存在。

3

)記憶體執行計算:

儲存晶片內部的儲存單元完成計算操作,儲存單元和計算單元完全融合,沒有一個獨立的計算單元。

此次達摩院研發的晶片是

沿著近存計算方向,集成了多個創新型技術,是全球首款使用混合鍵合

3D

堆疊技術實現存算一體的晶片

HBM是將記憶體和計算結合的主要方案之一,但該技術存在單位容量頻寬不足、功耗高等限制,難以有效解決記憶體牆問題。

而混合鍵合(Hybrid Bonding)的3D堆疊技術擁有高頻寬、低成本的特點,被認為是低功耗、近存計算的完美載體之一。因此達摩院的晶片採用混合鍵合的3D堆疊技術,將計算晶片和儲存晶片face-to-face地用特定金屬材質和工藝進行互聯。

阿里達摩院研發存算一體AI晶片,效能提升超10倍,能效比提升300倍

設計方面,該晶片記憶體單元採用異質整合嵌入式DRAM(SeDRAM),擁有超大記憶體容量和超大頻寬優勢。

計算晶片方面,達摩院研發設計了流式的定製化加速器架構,對推薦系統進行“端到端”加速,包括匹配、粗排序、神經網路計算、細排序等任務。

得益於整體架構的創新,該晶片同時實現了高效能和低系統功耗,有效解決了頻寬受限的問題,在大幅提升頻寬的同時,實現了超低功耗。

在實際推薦系統應用中,

相比傳統

CPU

計算系統,存算一體晶片的效能提升

10

倍以上,能效提升超過

300

倍。

#FormatStrongID_5#

達摩院計算技術實驗室科學家鄭宏忠認為:“存算一體是顛覆性的晶片技術,它天然擁有高效能、高頻寬和高能效的優勢,可以從底層架構上解決後摩爾定律時代的晶片效能和能耗問題,達摩院研發的晶片將這一技術與場景緊密結合,實現了記憶體、計算以及演算法應用的完美融合。”

從達摩院最終的測試晶片來看,其創新架構有效緩解了由於資料搬運產生的瓶頸,並與資料中心的推薦系統對於頻寬/記憶體的需求匹配。這展示了近存計算在資料中心場景的潛力。

目前,整個行業對存算一體晶片技術的研究依舊處於探索階段,在工藝成熟度、典型應用、生態系統等方面仍不成熟。

達摩院希望逐步攻克技術難題,先研究基於三維堆疊的近存晶片,透過拉近儲存單元與計算單元的距離、增加頻寬,來降低資料搬運的代價,緩解由於資料搬運產生的瓶頸。

未來,達摩院會進一步攻克存內計算技術,在應用方面與阿里內部業務緊密合作,逐步針對內部AI應用場景適配最佳化。

頂部