分散式儲存具體應用場景有哪些?

三連一下,關注樂贏獲取更多財富先機

分散式儲存的目的是透過伺服器來提供使用與大規模、高併發場景下的Web訪問問題。它採用可擴充套件的系統結構,利用多臺儲存伺服器分擔儲存負荷,利用位置伺服器定位儲存資訊,它不但提高了系統的可靠性、可用性和存取效率,還易於擴充套件。

相比於傳統的中心化伺服器的儲存方式,分散式儲存在儲存效率、頻寬利用率、安全性、隱私性、訪問速度等各方面都有著顯著的優勢,特別是在

高效能計算

大資料影片雲

大資料分析

等應用場景中有著廣泛的應用。

高效能計算場景

分散式儲存具體應用場景有哪些?

在如氣象氣候、地質勘探、航空航天、工程計算、材料工程等領域,基於叢集的高效能計算,已成為必需的輔助工具。集群系統有極強的伸縮性,可透過在叢集中增加或刪減節點的方式,在不影響原有應用與計算任務的情況下,隨時增加和降低系統的處理能力。根據不同的計算模式與規模,構成集群系統的節點數可以從幾個到成千上萬個。這些業務對後端的儲存系統提出了新的需求,包括統一的儲存空間、高效率的檔案檢索、高頻寬的吞吐效能,高可靠的資料安全保障等。

大資料影片雲應用場景

分散式儲存具體應用場景有哪些?

隨著影片高畫質技術及超高畫質技術的普及,影片大資料應用場景,如雪亮工程、平安城市、廣電媒資、影視製作、影片網站等領域,對儲存裝置提出了大容量、高讀寫效能、高可靠性、低延時及可擴充套件性等需求。針對這樣大規模影片資料應用場景,就需要一個技術先進、效能優越的儲存系統作為後端資料儲存的支撐者。分散式儲存技術很好地滿足了這一點。

大資料分析應用場景

伴隨著網際網路技術及人工智慧的發展,各種基於海量使用者/資料/終端的大資料分析及人工智慧業務模式不斷湧現,同樣需要充分考慮儲存功能整合度、資料安全性、資料穩定性,系統可擴充套件性、效能及成本各方面因素。

大資料技術當中,在海量資料的儲存環節,涉及到兩個重要的概念,就是分散式資料儲存與資料庫,穩定高效安全的資料儲存,才能為後續的計算分析環節,提供穩固的支援。今天的大資料概念解析,我們來講講分散式儲存與資料庫。

進入大資料時代,資料特徵發生了明顯的變化,資料規模大、非結構化/半結構化的資料多,使得大資料儲存本身也需要克服很多的問題。

分散式儲存具體應用場景有哪些?

要實現大規模資料的計算分析加工等問題,對於企業而言,需要透過各種手段來解決相關的問題,比如說透過最佳化儲存基礎設施,或者搭建高效能的大資料儲存框架等等。

海量資料的儲存任務,針對於不同的應用場景,往往需要因地制宜地選擇儲存方案,因此有了

物件儲存、塊儲存、檔案系統儲存

等。

不同型別儲存的實際應用場景

1

分散式塊儲存

分散式儲存具體應用場景有哪些?

雲平臺,私有云建設

,分散式儲存非常適合雲平臺的場景,傳統集中式儲存,一般都是標準iscsi協議掛載捲到openstack端,每個lun都需要單獨掛載。配置MPIO等。而分散式儲存是透過rbd協議掛載儲存池給openstack,openstack端直接在儲存裡劃分和建立卷,呼叫快照等高階功能,分散式儲存和openstack是天生適配,更加合適openstack的私有云的發展。

容器場景:

2018年12月釋出Kubernetes 1。13版本,用於容器編排引擎的標準儲存介面container storage interface(CSI)已普遍可用。在這些產品中,容器本地資料服務的需求對於支援微服務結構變得非常重要,這些需求包括硬體不可知性、API驅動、基於分散式架構,能夠支援邊緣、核心或公共雲部署等。超過 70% 的容器應用需要有狀態資料持久化儲存,SDS可以解決:需要敏捷的資料遷移、從多個應用容器同時訪問資料的需求。所以容器場景的彈性靈活的需求也是非常適合分散式儲存。

2

分散式檔案儲存

分散式儲存具體應用場景有哪些?

分散式檔案適合大容量檔案儲存場景,橫向擴充套件靈活,效能優於雙控儲存,例如非線編,共享NAS,高效能計算等等都非常適合,檔案儲存也是現階段三種儲存中市場使用最高的,但有些也在慢慢轉物件儲存,物件儲存介面協議在逐步開發中,會有一個過渡階段。

3

分散式物件儲存

分散式儲存具體應用場景有哪些?

海量小檔案需求,檢索需求,大資料方向,金融的影像平臺,有網際網路傳輸需求,和公有云整合,企業高校的網盤,監控等等非結構化場景都適合,包括一些醫療的pacs也在逐步過渡到物件儲存,未來最有爆發潛力的儲存。

檔案和物件都針對的非結構化場景,檔案往物件轉是大勢所趨,在於物件S3介面的逐步推廣,所以XSKY的物件儲存支援檔案和物件互操作(檔案協議寫入,物件方式讀出,反之亦然)也是順應市場需求的產物。

分散式儲存系統面向海量資料的儲存訪問與共享需求,提供基於多儲存節點的高效能,高可靠和可伸縮性的資料儲存和訪問能力,實現分散式儲存節點上多使用者的訪問共享。

目前業界比較流行的分散式儲存系統包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

在資料爆發增長的“數字時代”,軟體定義的分散式儲存是儲存技術高速發展的結晶,並具有很大的成長空間,必將應用於更廣泛的大資料業務場景。

分散式儲存具體應用場景有哪些?

頂部