設計困境,GPU未來何解?

設計困境,GPU未來何解?

圖片來源@視覺中國

文 | 半導體產業縱橫

處理器晶片經歷了從專用到通用,再從通用到專用的兩次轉變。Henessy和Patterson提出了特定領域架構(DSA)的概念,以馮·諾依曼體系的誕生作為分界線,在此之前電晶體計算機、錄音機、計算器等使用不同的晶片,而在馮·諾依曼體系誕生後,晶片逐漸走向通用CPU。

領域特定架構

隨著摩爾定律的減速,通用CPU對於圖形處理計算的速度較慢,也因此GPU誕生,解放了原本CPU的部分工作。Henessy和Patterson提出的特定領域架構(DSA)的概念,而GPU就是用於3D圖形領域的DSA。

下圖對CPU和GPU的邏輯架構進行了對比。其中Control是控制單元,ALU是邏輯運算單元,Cache是其內部快取,DRAM就是記憶體。可以看到,CPU雖然也是多核,但總數沒有超過兩位數,且需要複雜的控制單元和快取。

設計困境,GPU未來何解?

而GPU的優勢在於多核,其核數遠超CPU可以達到數百個,每個核擁有的快取相對較小,數字邏輯運算單元少且簡單。從實際來看,CPU晶片空間的5%是ALU,而GPU空間的40%是ALU,這也成為GPU計算能力超強的原因。

正因為GPU的原理,今天的GPU不僅具備高質量和高效能圖形處理能力,還可以用於通用計算。事實證明,在浮點運算、並行運算等部分計算方面,GPU可以提供數十倍乃至於上百倍於CPU的效能,GPU使得顯示卡減少了對於CPU的依賴,並進行部分原本CPU的工作。

因此,GPU具有雙重屬性:一是影象處理,另一個是高速計算。

GPU未來發展趨勢

作為創造出GPU的公司,英偉達對於GPU的定位和探索對於窺探行業未來發展非常重要。GPU未來如何發展,從歷年英偉達舉辦的中國GTC大會中可見一二。在2019年中國GTC大會上英偉達設定了兩大主題,分別是AI和圖形。在2020年,GTC大會的主題分論壇則包含深度學習、自主機器和邊緣計算、高效能計算與專業圖形等。

設計困境,GPU未來何解?

不難看出,GPU未來徘徊於其雙重屬性AI DSA和3D DSA之間,並且人工智慧計算、大規模擴充套件計算能力的高效能計算、專業影象顯示是目前GPU的主要發展方向。

儘管GPU具有雙重屬性,但這兩重屬性是無法同時得到拓展的。AI DSA需要加速張量運算,這是一種在AI中很常見的運算,但是在3D視覺中是沒有的,同時,為3D用途準備的固定功能硬體對於AI來說一般是不需要的。

在論文《GPU Domain Specialization via Composable On-Package Architecture Share on》中,也展示了GPU中高精度與低精度數學運算吞吐量強烈的差異。這個鴻溝導致設計一個能夠同時支援高效能計算和深度學習使用的儲存系統是非常困難的。

因此,儘管GPU適用於多領域運用,但遺憾的是目前GPU無法同時出色實現某兩個領域的極致。

1.高效能計算

高效能計算(HPC)常用於大資料分析、超級計算、高階建模和模擬,超級計算機代表著高效能計算系統最尖端的水平。

其工作原理是異構計算,透過多個計算節點利用GPU主力的並行處理能力,HPC能夠高效、可靠、快速地執行先進的大型應用程式專案,速度提升後可大幅提升吞吐量並降低成本。

英偉達最新發布的Tesla V100s高效能計算GPU,其有640個Tensor核心,整合5120個CUDA Core,640個Tensor Core,採用32 GB HBM2視訊記憶體,視訊記憶體頻寬達1134GB/S,單精度浮點計算能力達16。4 TFLOPS。

2.AI領域

由於GPU良好的矩陣計算能力和平行計算的特性,是最早被用於AI計算的,這也是為什麼英偉達CEO多次表達過:“英偉達不是一家遊戲公司,而是一家AI公司。”AI運算指以“深度學習”為代表的神經網路演算法,需要系統高效處理大量結構化資料,例如文字、影片、影象、語言等。

自2012年以來,人工智慧訓練任務所需求的算力每3。43個月就會翻倍,大大超越了晶片產業長期存在的摩爾定律(每 18個月晶片的效能翻一倍)。

深度學習需要處理海量資料,並進行大量簡單運算,對於平行計算有較高的要求。而GPU的優勢就在於,第一核數較多,可以執行海量資料的平行計算;第二,有更高的訪存速度;第三,有更高的浮點運算能力。

人工智慧執行過程中有兩部分:訓練與推理。

設計困境,GPU未來何解?

深度學習模型的訓練與推理

訓練(Training)可以看作是“教育”的過程,透過大資料訓練出一個複雜的神經網路模型。推理(inference)可以看作是演算法應用的過程,利用訓練好的模型,使用新資料推理出各種結論。

GPU是AI“訓練”階段比較合適的晶片,在雲端訓練晶片中佔據較大份額,達到64%,2019年-2021年年複合增長率達到40%。

3.光線追蹤

IDC認為,2019年第二季度全球遊戲PC和遊戲顯示器出貨量同比增長16。5%,其原因在於“支援光線追蹤遊戲機型的大量推出”。

光線追蹤與光柵化的實現原理不同,最早由IBM於1969年在“SomeTechniques for Shading Machine Renderings of Solids”中提出,光追技術能夠完美地計算光線反射、折射、散射等路線,渲染的畫面較為逼真,幾乎與真實世界真假莫辨。

但該技術的計算量非常大,在過去實時光線追蹤技術只在影視作品中出現,並且僅限於高成本的電影製作中。

2018年NVIDIA釋出的RTX 2080 GPU,採用Turing架構,在GPU中集成了 68個獨立的 RT(ray tracing) Core ,用於光線追蹤,光線處理能力達到了10 Giga/S,1080P@60Hz需要處理的光線約為6Giga/S,實測基於光線追蹤的應用其幀率大致在50FPS左右,基於RTX 2080的光線追蹤達到了可用的程度。

GPU未來何解?

前文我們曾提到過,GPU中高精度與低精度數學運算吞吐量具有很大差異。

設計困境,GPU未來何解?

圖一 同時設定大批次和小批次,利用MLPerf深度學習訓練和推理方法分析GPU-N的效能瓶頸

當同時設定大批次和小批次的MLPerf套件進行深度學習工作負載的模擬效能瓶頸分析,其結果如圖一所示。記憶體頻寬是深度學習的主要限制,在大批次和小批次的情況下貢獻了28%的執行時間,DRAM頻寬則是大批次深度學習推理的主要瓶頸,佔有30%的執行時間。

設計困境,GPU未來何解?

圖二 不同DRAM頻寬下,高效能計算應用的效能加速,虛線代表對應配置的幾何加速

再來看高效能計算,與深度學習應用相反,大多數高效能計算對於DRAM頻寬的變換並不敏感,當DRAM頻寬增加到無限大的時候,幾何平均加速只有5%。當DRAM頻寬減小時,0。75倍頻寬和0。5倍頻寬只讓效能減小了4%和14%。

因此,GPU的記憶體頻寬會成為限制基於GPU的深度學習訓練與推理的主要瓶頸,但這一限制在高效能計算中一般不會遇到。這就意味著,如果未來面向深度學習和高效能計算領域的融合GPU仍然是實際標準的話,未來DRAM頻寬的增大很大程度上不會被高效能計算的應用利用到。

COPA-GPU

英偉達提出了COPA-GPA架構,提供面向高效能計算和深度學習兩類不同應用的GPU高層次設計,其特定的COPA-GPU設計,將每個GPU的訓練和推理效能分別提高了31%和35%,同時顯著降低了資料中心拓展GPU訓練的成本。

COPA-GPU的架構領域定製透過整合GPM和專用領域最佳化的MSM實現,該MSM可以利用平面或垂直的裸芯堆疊方法,使用2。5D或3D封裝整合。

設計困境,GPU未來何解?

圖三 COPA-GPU架構的兩種選擇2。5D和3D整合領域(a)融合GPU,使用3D封裝技術的COPA-GPU,沒有L3(b)3D封裝可組合GPU,有L3(c)2。5D封裝可組合GPU,無L3(d)2。5D封裝可組合GPU,有L3和更多的DRAM

2。5D COPA-GPU的主要缺點是增加了封裝的大小,而相反的是3D COPA-GPU對於封裝複雜性的影響最小,但基礎GPM需要考慮到用於垂直裸片間通訊但分散式裸片上超高寬連結的實現。

頂部