Dataphin核心功能(五):每年節約數億元,資料中臺如何做的?

Dataphin核心功能(五):每年節約數億元,資料中臺如何做的?

大資料環境下,居高不下資料儲存和計算成本,是每一個企業數字化轉型過程中繞不開的難題。阿里巴巴也遇到過類似的問題,但憑藉著一套沉澱下的方法論和產品,每年為阿里巴巴節省下數億元的儲存和計算成本。

本篇,我們就來聊聊阿里巴巴的資源治理方法論和產品Dataphin在這一領域的能力。

資源成本暴漲與阿里巴巴的應對之道

數智時代,海量的資料為業務創造了巨大的價值,但同時也帶來了不斷上升的計算成本和儲存成本,甚至會出現“IT

成本增速大於業務增速

”,“

賺來的每一分錢都用在了購買伺服器上

”的極端情況。

在阿里巴巴的發展道路上,也遇到過這些問題:

1、

資料資源完全黑盒

。面對海量資料資源,沒有統一的資產地圖,不清楚我們有哪些資料資源,也不清楚這些資源用在什麼地方。

2、

資料資源量大成本極高

。阿里巴巴集團的資料量級早就到達了EB量級,如此巨大的資料體量,每年的資料儲存和計算成本都高達數十億元。如此巨大的資料體量,透過人工的方式去治理,往往導致資源治理效率低,人工成本高。

3、

資料價值鏈路斷層

。這麼多的資料,最終被哪些業務使用,服務了哪些客戶,也不夠清晰。

為了解決以上問題,阿里巴巴建立了資料資源管理平臺(隸屬於資料中臺),用於對整個集團資料計算和資料儲存進行成本統計和最佳化。每年節約數億元的資料成本,阿里巴巴是怎麼做的呢?

為了解決以上三個問題,阿里巴巴採取了以下措施來實現資料資源的管理:

1、

做好資料資源的盤點:

包括

理解資料資源內容

,和

構建資源類目

兩部分。需要理解全部資料資源的業務屬性,制定規範的資源類目,做好資料的分類分級,總而言之是要摸清資料資源大盤;

2、

做好資料資源成本的評估:

包括

追蹤資料應用

剖析成本價值

兩部分

評估資料價值需要追蹤資料應用的全鏈路,盤點出每一份資料資源的連線度、貢獻度

剖析成本價值主要從資料計算和儲存兩個維度來評估。

阿里巴巴透過以上步驟,將資料成本、業務收益做到清晰透明可評估,從而可以針對性的對資料資源進行運營,降低資料成本,提升資料效益。

阿里巴巴資源治理方法論

首先,我們來看一下,實現資源治理所要遵循的方法論。

要真正實現資源的治理,降低大資料建設的成本,需要以下兩個關鍵步驟:

1、對全域的資料資源進行成本核算,生成全域的成本賬單,獲得降本目標。

1。1、對全域所有資料,統一按照計算成本和儲存成本進行核算,生成每一份資料資源的成本估算

1。2、對全域所有資料,進行治理項檢測,識別出不合理的資料資源(如無人訪問的廢棄表)和資料任務(資料傾斜),並

評估浪費的成本,從而在宏觀的層面,測算出全域性可降本的空間

2、以開發者個人為核心,推動部門、集團層面的治理最佳化,落實降本行動。

如果只是算出來了賬單,卻沒有後續的運營手段的話,很難做到降本目標的真正落地。所以需要以技術運營的手段,讓人人形成成本意識,真正參與降本。

2。1、對開發者、部門進行賬單的彙總,進行總成本、浪費成本的排行並進行透過平臺公示,從而能夠快速找到最需要最佳化的個人和部門的資料資源。

2。2、對開發者的個人資產情況進行打分,如果成本意識低,資源浪費嚴重,就會導致個人資產健康分數低,導

致該開發者不能提交新的任務,從而使其必須進行資源的治理和任務的最佳化,從而在微觀執行層面,真正落實降本的行動

Dataphin資源治理

在方法論的基礎上,我們還需要一個成熟的產品,來幫助我們快速建立資源治理體系,真正降低我們在大資料建設中的成本。

Dataphin的治理功能,就是阿里巴巴的資料資源管理平臺的商業化版本,具備強大的資源統計分析能力,能智慧識別當前系統內低價值的資料資源和資料任務,並進行最佳化提示。

同時Dataphin提供了「治理工作臺」功能, 您可以在「治理工作臺」中,一站式的進行資源的最佳化處理,全域性把控計算與儲存成本。

首先,我們先看一下資源治理的應用場景,從而對資源治理的價值有一個更直觀的認知。以下是透過Dataphin實現資源治理的一些典型的場景:

場景1:儲存最佳化——長期無人使用的表

大資料場景下,一個公司往往有上萬張表,隨著業務的變更和人員的流動,一些業務表逐漸就無人使用,同時因為多個分割槽進行儲存,會一直佔著大量的儲存資源。比如一些公司的原始資料,一個分割槽可能就有1T,但是業務每次都只會用最新的分割槽,就會導致大量的歷史分割槽的儲存浪費,可以設定分割槽的過期策略,對歷史分割槽進行下線操作。

Dataphin資源治理功能,可以

自動發現無人使用的資料表或其他異常資料表

,並在「治理工作臺」進行提醒和展示。您可以在治理工作臺檢視相應資料表,並採取相應的措施(如

表下線、設定生命週期

等)。

場景2:計算最佳化——異常計算任務

計算資源的重要價值和昂貴成本,需要每個任務都按需使用。而在實際的業務開發過程中,存在大量的異常計算任務,浪費了大量的計算資源,如暴力掃描(掃描大量分割槽)、資料膨脹(資料產出遠遠大於輸入)、資料傾斜(部分節點處理時間過長)等情況。比如發現數據的輸出遠遠大於資料的輸入,可能就是存在資料膨脹的問題(比如使用了full join),這時候就需要對任務進行最佳化,以最佳化效能。

Dataphin的資源治理功能,對任務的執行進行了全鏈路的監控,

自動發現這些異常的計算任務

,並在「治理工作臺」進行提醒和展示。您可以在治理工作臺檢視相應任務,並採取相應的措施(

對相應的任務進行程式碼最佳化、下線等操作

)。

Dataphin核心功能(五):每年節約數億元,資料中臺如何做的?

產品能力介紹

1、使用流程

下面我們看一下資源治理模組的詳細流程圖:

Dataphin核心功能(五):每年節約數億元,資料中臺如何做的?

*虛線框的流程為可選流程

可以看到流程主要分為4步:

1、管理員制定治理規則

。是正式治理前的一些準備工作,因為Dataphin內建了眾多規則,所以這一部分是可選的,包括元資料註冊、治理項管理、推送管理等功能。

2、資料負責人執行具體的資源治理

。資料負責人登入系統,對具體的儲存資源和計算資源進行最佳化。

3、管理員定期檢視治理效果

。管理員透過對治理效果進行分析和檢視,瞭解當前的資源現狀和治理效果,包括資源分析、治理分析、治理效果等功能。

4、管理員最佳化治理流程,提升後續治理效果

。管理員根據上一步的治理效果,最佳化整個治理流程,比如增加新的治理項、增加新的推送任務、單獨通知重點專案負責人等。

2、產品功能

Dataphin核心功能(五):每年節約數億元,資料中臺如何做的?

模組包括主要包括

資源管理

治理概覽

治理工作臺

治理項管理

回收站

等功能:

·

資源管理

主要用於

資源分析

。資源分析是從全域性視角為您展示資源消耗、資源消耗增速、資源消耗分佈及資源治理概況。

·

治理概覽

治理分析

治理效果

組成。

治理分析

針對全域性進行問題診斷、待治理問題點的分析。

治理效果

助您分析治理後效果,評定治理情況、推動治理最佳化。

·

治理工作臺

我的治理

專案治理

組成。

我的治理

面向當前登入使用者,根據其所參與和所負責的專案,為您提供高效快捷的治理入口和能力。

專案治理

面向當前登入使用者,根據其所參與和所負責專案的資訊進行管理。

·

治理項管理

元資料註冊

治理項管理

推送管理

任務管理

組成。您可以自定義建立治理項、發起推送、檢視任務執行,也可以使用系統內建的通用治理項。

·

回收站

將您在治理工作臺中刪除或下線的表格暫時存留起來,以防止對資料的誤操作,支援對錶格的恢復和徹底刪除。

3、特點優勢

·

內建治理項,開箱即用

:Dataphin對其系統內部的資料生產和儲存都進行了元資料的採集,同時內建了最常見的儲存和計算治理項,確保開箱即用,可以快速看到全域性的資源情況,並進行相應的最佳化分析。

·

治理項支援靈活自定義

:Dataphin同時支援客戶自定義治理項和治理元資料,實現更加靈活的治理場景,比如想進行小表格的檢測,就可以新建治理項【小於1MB的表】,從而自動檢驗出這部分的資料表,並進行針對性治理。

·

密切結合資料生產場景

:Dataphin的治理模組與資料研發模組、資料資源模組進行了緊密的結合。針對檢驗出來的治理事項,可以直接在治理工作臺進行處理,直接在研發任務和資產儲存等方面生效,從而做到一站式資源治理工作。

未來展望

隨著資料的不斷累積和業務的不斷髮展,資料的體量將會變得越來越大,隨之而來的是龐大的成本,也成為了大資料建設中越來越無法忽視的問題。

站在整體功能的角度來看,從新建治理項,到具體資源的最佳化,再到治理結果的分析,當前Dataphin已經有了比較完善的資源治理體系。但是基於客戶資源治理場景的多樣性,有了更多的思考。

1、對Hadoop等新引擎的支援。

原有的治理模組和阿里雲的雲上資源緊密結合,僅能對雲上環境實現完整的治理操作。對其他引擎,比如Hadoop,當前僅支援部分核心流程,後續版本中逐步實現對Hadoop體系治理需求的完整支援。

2、治理和研發更緊密結合,確保資源治理效果。

當前治理只是對負責人進行提示,在團隊規模大、資料體量大的條狀態下,比較難有較強的約束力。後續會推出嚴格模式,開啟後,當個人資源浪費過多,健康分過低時,會直接跳轉到治理模組,完成資源的治理後,才能執行新的開發任務。從而關注每個人的成本意識,讓企業實現降本增效。

頂部