分散式vs.集中式,儲存架構如何選?

儲存技術發展日新月異。一方面傳統集中式SAN/NAS還在廣泛使用,另一方面各類分散式儲存產品已紛紛在新興的海量資料場景中佔據市場。如何根據業務需求選擇合適的儲存架構?分散式儲存能否在所有場景都能取代傳統集中式儲存?請參考本文攻略。

傳統集中式儲存

分散式vs.集中式,儲存架構如何選?

傳統SAN/NAS儲存的硬體架構採用

“控制器+硬碟櫃”

的方式。中高階儲存支援多個控制器,以保障高可用並提高效能。多控制器為緊耦合,透過PCIE匯流排或Infiniband網路互連,共享磁碟陣列,共享快取。

傳統儲存的系統架構具有I/O路徑短,訪問延遲小的優勢。傳統儲存透過內建BBU電池或外接的UPS來實現掉電保護,保障快取中的資料在掉電後不丟失,結合雙活、容災、CDP等技術保障業務系統的連續性和資料安全性。

傳統集中式儲存起步早,技術成熟,架構簡單,表現出足夠的穩定性,對高IOPS、低延時、和資料強一致性有很好支援。另外,近年來全快閃記憶體陣列儲存發展迅速,IOPS效能提高到機械硬碟儲存的100倍以上,能夠有效解決IOPS效能痛點。

傳統集中式儲存的特性適合作為金融/醫療等核心業務系統的資料庫儲存。

傳統儲存的系統架構決定了其擴充套件能力有限,無法很好支撐高併發訪問效能。隨著我們進入大資料時代,集中式儲存增長空間越來越有限。

分散式儲存

企業不斷快速增長的海量資料,需要更有彈性可擴充套件的儲存架構。

分散式儲存是新興的儲存技術,採用

“標準的x86伺服器硬體+儲存軟體”

的架構,將標準X86/ARM伺服器透過高速乙太網或Infiniband互連,透過分散式儲存軟體將伺服器本地的HDD、SSD等儲存介質組織成統一的大規模儲存資源池。分散式儲存實現了儲存的硬體與軟體解耦,資料中心能夠以標準化硬體搭建儲存平臺,提升IT敏捷性,降低運維成本,符合軟體定義資料中心的發展趨勢。

分散式vs.集中式,儲存架構如何選?

分散式儲存也稱為軟體定義分散式儲存(SDS: Software Defined Storage)。

分散式儲存的儲存單元為x86/ARM伺服器(也稱為節點),以標準2U 儲存伺服器為例,前面板可插入12塊3。5寸硬碟。

分散式vs.集中式,儲存架構如何選?

圖 儲存伺服器:2U高度,12盤位

硬碟的容量,有4TB\6TB\8TB\10TB\12TB\16TB等。

如果選擇10TB硬碟,則單個節點的物理容量為 12 * 10 = 120TB。

分散式儲存有效解決了傳統集中式儲存的可擴充套件性問題,規模可擴充套件至上千個節點,容量擴充套件到上百PB甚至EB級,效能隨容量線性提升。按需線上擴容後,自動實現資料再均衡。分散式儲存的多個儲存節點能夠同時提供讀寫服務,因此具有很高的吞吐率,可達到幾十GB/s。

分散式儲存支援3種儲存功能,能夠打造統一的資料儲存平臺:

SAN塊儲存,SCSI/iSCSI介面協議

NAS檔案儲存,CIFS/NFS介面協議

物件儲存,S3介面協議

分散式儲存使用多副本和糾刪碼技術實現資料保護。多副本方式(業界常用的多副本方式一般為2副本或3副本),其優點是可靠性高,效能高;但缺點是儲存容量有效利用率低(2副本為50%,3副本為33%)。業界常用的糾刪碼配置方式一般為8+4(8個數據塊,4個校驗塊,容量利用率為66%)。糾刪碼的優點是可靠性高,容量利用率高,缺點是效能低。

一般選擇原則是:

線上儲存裝置用多副本;備份歸檔用糾刪碼;

小檔案用多副本;大檔案用糾刪碼。

目前,國內有多種分散式儲存產品可以選擇,包括開源軟體、基於開源軟體最佳化的產品、國產研發的分散式儲存產品等。

分散式vs.集中式,儲存架構如何選?

上海霄雲研發的碧海分散式儲存,效能優異,解決了海量小檔案儲存的痛點,效能達到傳統集中式高階儲存和Ceph類產品的3倍,檔案數可達到百億級以上,為醫療PACS影像、金融電子票據、自動駕駛、工業自動化等海量資料場景提供了革新的儲存解決方案。

結語

分散式vs.集中式,儲存架構如何選?

綜上所述,分散式儲存是一種未來主流的儲存技術,具備非常好的發展前景,但是分散式儲存並不能適應所有的業務場景,需要根據實際的業務需求進行合理選擇。

頂部