【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

“本專案案例由 網智天元 投遞並參與由資料猿&上海大資料聯盟聯合推出的“行業盤點季之數智化轉型升級”大型主題策劃活動之《2021中國企業數智化轉型升級創新服務企業》榜單/獎項的評選。

近年來,銀行業金融機構在業務快速發展過程中,積累了客戶資料、交易資料、外部資料等海量資料。資料已經成為銀行的重要資產和核心競爭力,充分發揮資料價值,用資料驅動銀行發展,提高銀行經營質效,具有重要意義。銀保監會發布《銀行業金融機構資料治理指引》,以取代銀監會2011年頒佈的《銀行監管統計資料質量管理良好標準(試行)》。

本專案銀行充分重視國家政策導向和上級單位的要求開展資料治理工作。一方面,緊跟國家政策導向,為上級單位提供大資料的支撐;另一方面,從自身層面出發,利用大資料技術,提高中心工作效率、決策能力和服務水平。

本專案銀行把資料治理作為重要的制度性建設和基礎性工作,加強組織保障、制度保障與流程保障,有序推進、重點強化;統一資料標準,提高資料質量,深化資料應用,有效支撐銀行業務發展,有效提升銀行管理水平。

精細化管理要求逐步提高,在業務決策、風險分析、營銷和財務的精細化管理中,資料將發揮更加重要的作用。

透過資料治理平臺的建設,可實現資料標準化管理、統一的元資料管理、標準流程的自動化管理,提高資料標準管理的工作效率和執行力度,降低資料的整合成本,促進資料質量的提升,實現銀行資料資產應用的價值最大化。

●實施時間

開始時間:2021年1月11日

測試時間:2021年4月12日-2021年5月9日

上線試執行時間:2021年5月10日-2021年6月30日

截止時間:2021年7月9日

應用場景

全域資料治理智慧服務平臺可實現元資料管理、資料標準管理、資料質量管理、資產管理、資料安全管理、共享服務管理、主資料管理以及全生命週期管理等,為本專案銀行提供一套完整的資料治理解決方案。

全域資料治理智慧服務平臺是高效的資料管理平臺。本平臺具備統一的連線性、元資料和操作管理功能,加快了大資料管理專案的開發和部署速度,同本平臺基於SOA整體架構進行開發。軟體採用層次化結構,支援分散式系統部署。

資料治理平臺:提供資料治理的基礎能力,主要包括使用者管理、元資料智慧管理、任務排程中心、資料來源管理、建模設計、日誌管理。

服務能力:主要涉及資料治理和共享門戶兩方面。資料治理服務能力包括資料標準、資料質量、資料資產、資料服務、資料安全;共享門戶主要提供資料服務查詢、申請能力。

使用者群體:資料治理平臺面向的使用者群體主要包括資料開發人員、資料分析師、業務使用者、資料科學家、資料管理員、資料操作員。

一、元資料管理

元資料管理是對資料採集、儲存、加工和展現等資料全生命週期的描述資訊,幫助使用者理解資料關係和相關屬性。平臺提供元資料採集模版管理、採集任務配置、元資料維護、版本維護、影響分析、血緣分析、表關聯度分析、資料元拓撲分析等功能。

元資料維護:提供元資料查詢和元資料資訊維護功能。

版本維護:提供元資料的版本查詢、釋出、比較功能。主要是管理採集的資料字典的版本,即庫、表及欄位的版本,提供每個版本的查詢能力,版本之間的比較能力,資料字典物件的變更歷史、變更釋出能力。

影響分析:基於元資料儲存的資料定義、去向、轉換關係、依賴關係等,提供影響分析管理(向上分析)功能。

血緣分析:基於元資料儲存的資料定義、來源、轉換關係、依賴關係等,提供血緣分析管理(向下分析)功能。

表關聯度分析:提供表級關聯關係分析功能,實現對資料流向分析,透過選定指定表操作對指定表進行資料流向分析,以實現對資料來源資料具體流向的分析與統計。

拓撲分析:基於資料元,獲得資料元對應的資料拓撲圖以及引用情況。

二、資料質量管理

資料質量管理實現對資料全生命週期的質量管理,提供完善的資料質量管理方法和措施,對資料質量進行完整性、一致性、精度性、合理性、有效性、準確性等全方位的檢查,保障政務大資料中心歸集資料的質量。主要包括質量檢核規則管理、檢核執行配置、質量問題管理、資料質量分析等功能。

檢核規則管理:提供資料質量檢核規則新增、修改、刪除、查詢等功能。需支援幾類規則的自動生成:唯一性檢查、欄位非空檢查、程式碼值域檢查(應能對接資料元獲取程式碼列舉值)、欄位長度檢查、欄位取值範圍的檢查。

檢核執行配置:提供對資料質量的排程執行管理,包括自動執行及手工執行配置管理。

質量問題管理:提供問題資料詳情資訊檢視及跟蹤管理的相關功能,記錄異常資料、異常原因,進行問題資料統計、檢查規則統計,將問題資料分配給相關人員;將異常資料修改到資料儲存表中,便於將確認的修改資料傳送到資料來源方。

資料質量分析:根據質量檢核規則在一定時間內形成的問題趨勢,提供基於檢核規則的問題趨勢分析功能;根據單表在一定時間內形成的問題趨勢,提供表級的問題趨勢分析功能;根據質量檢測情況形成資料質量檢查結果校驗報告,實現對資料質量報告的維護管理等相關功能。

三、排程管理系統

排程管理系統是對資料採集、傳輸、資料匯聚等一系列資料處理任務進行釋出、編排,並進行統一的執行排程和管理。包括的功能有:

排程配置:可以對作業根據業務需求,進行定時觸發配置和條件觸發配置;作業跑批週期可以按需進行分、時、日、月、季、年等設定;可以根據業務需要對作業進行優先順序設定。

排程運維:可對作業進行併發控制;可對作業進行手工干預,包括重跑,暫停,透過等;作業出錯,可根據設定的重試次數和時間間隔進行出錯重試和傳送錯誤資訊;可進行斷點續跑。

排程監控:可以展示作業的執行情況;可以輸出作業日誌,根據需求開發各種排程監控指標。

資源管理:根據資源使用情況,自動分配作業執行節點;根據設定的閾值,對排程資源進行監控,超值告警。

引數管理:可以對排程的各種引數進行統一管理、修改。

介面:提供各類介面滿足接入其他平臺或批次生產作業。

面臨挑戰

隨著銀行資訊化程度的逐年提高,資料的積累使得其使用與價值創造成為了可能,但是由於系統建設缺乏統籌能力,導致了系統之間存在孤島現象,從而引發資料不一致、業務指標口徑不一致等問題,資料質量堪憂。基於這些問題,需要統一的資料資產監控平臺,透過資料標準梳理和建設、元資料管理、資料地圖建設,進而提升資料質量。

由於銀行系統承建單位不同,各系統存在許多基礎資料標準不統一、業務指標口徑不一致,造成資料質量低下,資料應用分析結果錯誤,進而導致決策失誤,需要透過資料標準管理平臺為銀行資料建立標準,消除資料的不一致性。

另外,當前銀行還缺少以下資料治理各領域的管理體系:

1、缺少企業級資料標準管理體系

雖然銀行擁有了大量的資料資源,但是,也經常面臨重要資料缺失,系統間資料不一致,統計口徑和加工方法不一致,導致資料可信度降低的問題。深入分析後發現,出現這種現象的原因為缺乏有效的資料標準化。

2、缺少企業級元資料管理體系

目前,我國大多數銀行的元資料管理僅限於少數系統和少數使用者,尚未達到體系化的程度,也存在完備性不足的情況。

3、缺少企業級資料質量管理體系

資料的質量對銀行業發展尤為重要,並且銀行對資料質量的治理重視程度會直接影響資料治理的成效。銀行的資料質量管理應當涵蓋資料質量問題的防範、識別、度量、分析、監控、清洗等管理活動,以滿足對資料質量的要求。

4、缺少完備的資料生命週期管理體系

當前銀行大部分在系統無法支撐時才考慮資料清理備份的工作,難以做到對資料生命週期的統籌管理,並且對支付資料生命週期管理的系統和工具建設力度不夠,不能很好的支撐全行資料生命週期管理工作。

5、缺乏完善的系統支撐和技術手段

銀行存在的系統資料量龐大,各式系統多種多樣,如果不依賴技術手段,沒有相應的支撐平臺和工具,就不可能理解如此龐大的資料量和看到其潛在價值。

資料支援

本專案是對銀行全域資料資產進行治理,主要包括業務系統資料資產(CRM、數整平臺、積分商城、總行信貸、村鎮貸等)和內部管理系統資料資產(人力資源、ERP財務等),共3350多個數據表。

應用技術與實施過程

本專案實施般總體為三個階段:一是對銀行方的資料資產進行現狀梳理分析與評估;二是進行資料治理體系設計與規劃;三是資料治理平臺的建設。

一、全域系統的標準合規評估

資料標準落地工作首先要從對現有系統的合規情況瞭解為起點。透過資料標準對映和差異分析,對銀行方各類業務系統以及其他重要系統中的業務資料與山東城商行聯盟資料治理相關標準進行對標,並得出系統資料診斷和梳理分析。

二、進行資料治理體系的設計與規劃

根據《山東城商行聯盟資料治理管理辦法》及相關標準,建立覆蓋資料產生、儲存、交換、加工、歸檔和應用等全生命週期的管理流程,規範全流程資料標準稽核、內部資料服務申請、外部監管資料報送、外部資料安全合作等控制流程,透過全流程管控方式保障資料的準確性、一致性、完整性、及時性,促進資料資產發揮價值。

如元資料實施體系方面,目前僅覆蓋僅限資料倉庫相關係統,未入倉的業務系統和其他下游應用系統使用的源系統的資料字典、註釋、介面等元資料內容未納入管理範圍,本專案將元資料管理的範圍應擴充套件到銀行全域的所有系統。 元資料管理物件的型別待擴充:元資料管理的內容應擴充資料模型、TEL指令碼之外其他資訊,例如業務術語、資料分佈、資料儲存等。

對各系統資料的資料關係、資料質量、ETL作業、等內容進行管理,具有一定的資料排程、資料質量檢核、資料的傳輸與下發以及元資料的採集功能。元資料管理的範圍主要圍繞資料倉庫以及其上下游的元資料物件,具體資料介面檔案定義、資料庫分層物理模型定義、ETL作業定義、業務報表定義。元資料平臺包含了元資料查詢、元資料統計、實體級的血緣分析和影響性分析,以及統計報表的“查詢時間”、“平均耗時”和“最大耗時”功能。

三、進行資料治理平臺的建設

根據前兩個階段的成果進行全域資料治理智慧服務平臺的設計、開發和測試、上線試執行等工作。

1、平臺總體結構和技術架構

全域資料治理智慧服務平臺採用前後端完全分離技術,整體技術框架以自主研發的WISEWEB-MVC技術作為基礎,同時整合了面向服務的架構(SOA)。

平臺集成了前端展示技術,包括VUE、three。js、echarts、d3等。

基於HTTP、Webservice介面技術,可零編碼封裝資料介面,對外進行服務介面的釋出。

平臺集成了elasticsearch、fastdfs等儲存技術,用於儲存服務資料以及非結構化資料。

平臺整合統一的排程中心:支援HA叢集模式排程,多種任務路由策略。

系統部署:

(1)支援主服務的HA高可用部署,避免單點故障即使主管理服務 server無法正常工作,也不影響整個作業平臺的自動化排程執行;

(2)支援代理節點的負載均衡排程,避免代理因負荷過載而導致排程效率下降;

(3)支援分散式叢集部署,可實現高可用性與負載均衡的企業級;

(4)提供多種機制保證批次敏捷排程7*24小時高可用執行。

系統安全:

提供訪問控制,可引數化配置多層次安全控制,可按照使用者組定義安全策略。資料傳輸過程中,應根據安全等級要求,對有保密需求的資料進行加密傳輸。

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2、系統主要功能的研發實現

2。1 工作臺

透過工作臺,當前登入使用者可以檢視與其相關的資料治理相關工作。

2。2 資料地圖

支援根據分層分域的關係自動顯示資料駕駛艙,可以透過點選分層或者主題域下鑽檢視具體資料表。

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2。3 元資料

元資料管理包括原模型、元資料採集、元資料維護、元資料訂閱和版本管理。

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2。3。1 元模型

元模型用於定義元資料採集的範圍和具體採集的屬性,本版本元模型均為內建,不允許進行新增,修改,刪除

2。3。2 元資料採集

提供對技術元資料的定時採集任務的配置。

主要的採集範圍包括:關係型資料庫的元資料, 大資料的Hive元資料,HDFS的元資料,HBASE的元資料 ,shell指令碼元資料

2。3。3 元資料稽核

2。3。4 元資料管理

提供元資料的維護,訂閱,和版本管理功能。

2。3。5 元資料分析

輸入任意字元,搜尋元資料。

2。3。6 元資料安全

按照表的維度,對錶進行授權到部門,使用者,角色。

2。4 資料標準

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2。4。1 資料元

資料元作為資料的最小單元,包括本地標準,國家標準和行業標準的維護和引用,包括名稱,規則的配置。

2。4。2 程式碼集

提供對程式碼集的查詢,新增,修改功能。

2。4。3 資料集

提供資料集的新增,修改,查詢,詳情檢視功能。

2。4。4 編碼標準

提供使用者對部門或者系統進行編碼的能力,“命名規則”為業務編碼規則中的其中一個能力,主要應用於資料庫表的命名規則;

2。4。5 標籤管理

提供對編碼標準的查詢和檢視功能。

2。5 資料模型

2。5。1 邏輯模型

設計資料庫邏輯模型。

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2。5。2 物理模型

提供對資料庫生成相應的模型並可在資料庫中新建表、檢視資料庫表的功能。

2。6 資料質量管理

2。6。1 質量規則

以表的維度計算及展示每個表的所有欄位的規則。

2。6。2 質量設計

質量設計實現對錶的校驗流程配置,同時可依據質量規則自動生成質量任務。支援選擇資料來源、刪除資料來源、質量設計、變更通知等功能。

2。6。3 問題資料

輸出質量任務的資料校驗結果。

2。6。4 質量評估

配置質量分類及計算權重。

2。6。5 質量報告

根據問題資料計算資料質量情況。

2。7 排程中心

2。7。1 任務管理

維護資料質量,元資料採集,服務資料同步,訂閱資料同步,元資料稽核,生命週期任務。

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

2。7。2 任務監控

監控所有註冊到排程中心的任務列表。

2。7。3 告警配置

配置元資料稽核,資料質量校驗,排程任務的告警規則。

2。7。4 告警通知

展示告警通知結果列表。

2。7。5 服務治理

展示共享服務管理列表,以及釋出服務。

2。8 資產管理

2。8。1 生命週期

維護資料的生命週期,以策略方式來配置資料的刪除策略。

2。8。2 主資料管理

維護主資料的新增,編輯,刪除以及釋出。

2。8。3 資產目錄

資料資源編目,維護資源目錄的新增,修改,刪除,釋出,下載功能。

2。8。4 資料查詢

以sql方式編寫查詢語句,查詢結果,並且可根據結果釋出成共享服務。

3、使用的核心技術

網路智慧機器人是網智天元公司獨創的先進技術,在全域資料治理智慧服務平臺中進行很多資料治理操作流程的模擬和智慧自動化處理。該技術設計實現的軟體,提供圖形化介面,內建一個網頁瀏覽器,使用者只需點選滑鼠進行選擇,不但可以靈活定義網頁中要採集的任意內容(如文字、圖片),而且可以完全模擬使用者瀏覽操作網頁的所有步驟(如輸入登入資訊、迴圈、翻頁等),並自動形成一個非侵入的資料治理網路智慧機器人,實現網頁資訊的自動感知、分析、處理等。資料治理網路智慧機器人可以批次運行於分散式環境下,資料治理的結果可以存放在任何型別的資料庫中。

網路智慧機器人軟體的體系結構如下:

【案例】山東某城商行——全域資料治理智慧服務平臺建設專案

圖中各個子系統的功能如下:

資料模型構建系統

——幫助使用者建立要處理資料的資料模型屬性。

視覺化機器人生成系統

——幫助使用者建立資料治理機器人。

機器人伺服器

——負責排程執行機器人進行服務。

機器人管理工具

——幫助使用者檢視機器人狀態和管理機器人。

控制中心

——幫助使用者管理分散式環境下的機器人伺服器。

機器人客戶端

——提供遠端訪問控制機器人狀態的介面。

其中,機器人制作子系統輔助使用者根據不同的資訊智慧絡服務需求,靈活定義製作生成不同的網路智慧機器人。網路智慧機器人:即實現某種網路智慧服務任務的程式,一般每一個網路智慧機器人對應一個網路系統的一項任務,例如既可以一個建立網路智慧機器人在內部系統中瀏覽人力資源資料,也可以建立一個網路智慧機器人在財務系統中統計相關資料。利用視覺化網路智慧機器人制作系統,每次可以建立一個網路智慧機器人。一旦設計完畢被賦予網路智慧服務任務後,可以自動地模擬人在網路系統中的操作和資料分析處理動作。

機器人制作系統包括這麼幾個部分:機器人步驟管理器,當前狀態管理器,動作管理器,輸入輸出物件管理器。

機器人步驟管理器:機器人步驟管理器中可以檢視機器人的動作步驟和步驟之間的關係。使用者可以設定步驟執行的順序,包括順序執行,迴圈執行,分支執行等多種執行循序。在每個步驟上點右鍵,可以更改每個步驟的動作。

機器人狀態管理器:機器人狀態管理器實現顯示、管理和設定機器人在某個步驟的狀態,包括當前頁面瀏覽,當前頁面原始碼瀏覽,當前頁面DOM樹圖瀏覽,當前標籤路徑瀏覽與設定。

機器人動作管理器:機器人動作管理器實現顯示、管理和設定機器人的當前步驟,包括查詢標籤路徑,定義當前動作,定義動作的輸入輸出物件,設定錯誤處理方法。

機器人除錯子系統實現除錯執行機器人動作的過程,檢視執行狀態和結果。除錯的方法包括單步執行除錯,斷點執行除錯,除錯過程中可直接檢視執行的輸出結果和執行日誌。

網路智慧機器人是透過模擬一系列真人使用瀏覽器時所作出的各種動作來完成的,由於每個網路系統的介面設計不一樣,人做出的一個發帖動作在每個系統上都是有不同的瀏覽器操作動作組成,因此網路智慧機器人制作子系統採用元件化的方式設計實現了機器人在瀏覽器中可以模擬的各種基本動作,總共10類60個動作,是資料治理智慧服務平臺不可或缺的重要組成部分。

整個專案完成後,全域資料治理智慧服務平臺實現了元資料管理、資料標準管理、資料質量管理、資產管理、資料安全管理、共享服務管理、主資料管理以及全生命週期管理等,為本專案銀行提供一套完整的資料治理解決方案。

全域資料治理智慧服務平臺是高效的資料管理平臺。本平臺具備統一的連線性、元資料和操作管理功能,加快了大資料管理專案的開發和部署速度,同本平臺基於SOA整體架構進行開發。軟體採用層次化結構,支援分散式系統部署。

資料治理平臺:提供資料治理的基礎能力,主要包括使用者管理、元資料智慧管理、任務排程中心、資料來源管理、建模設計、日誌管理。

服務能力:主要涉及資料治理和共享門戶兩方面。資料治理服務能力包括資料標準、資料質量、資料資產、資料服務、資料安全;共享門戶主要提供資料服務查詢、申請能力。

使用者群體:資料治理平臺面向的使用者群體主要包括資料開發人員、資料分析師、業務使用者、資料科學家、資料管理員、資料操作員。

商業改變

一、節省人力成本,自動形成資料資產

梳理銀行方全域資料,根據流程和標準智慧、自動形成資料資產,節省人工成本和計算資源,提升60%以上的資料治理效率和40%以上的智慧自動化率,。

二、提升了資料應用效率

查詢、維護處理響應時間:單一條件查詢≤3秒;組合條件查詢≤5秒;關聯複雜查詢≤8 秒。

三、實現了全域資料治理能力

為銀行方提供資料治理環境,包括資料元管理、元資料管理、資料質量管理、ETL開發系統、排程管理系統,實現對資料元的規範化管理,提升了元資料管理效率和服務水平,為金融資料質量管控的落實提供技術平臺支撐,提供資料的採集、整合、排程環境。

四、構建了全域資料的多方面服務能力

常規服務能力:主要涉及資料治理和共享門戶兩方面。資料治理服務能力包括資料標準、資料質量、資料資產、資料服務、資料安全;共享門戶主要提供資料服務查詢、申請能力。

解決方案能力:基於資料治理能力,根據不同產品功能組合提供不同的解決方案,主要包括共享交換、資料倉庫、資源目錄、資料資產管理、主資料管理、資料治理。

智慧化處理資訊:平臺可透過網路智慧機器人自動進行資料分析,並根據分級分類進行掃描,掃描後方可自動化進行資料處理,一次配置,多次定時處理。

全方位監控審計:資料處理中做到“有據可循”原則,無論是人員操作處理,還是系統操作出現的情況,都能夠實時記錄,並實時監控機器配置情況。

相關企業介紹

●網智天元

網智天元科技集團股份有限公司成立於2007年,是中關村高新技術企業、國家雙軟認證企業和國家高新技術企業,中關村大資料產業聯盟和中國大資料產業生態聯盟理事單位。

發展至今,已成長為一傢俱有完全自主智慧財產權的網路智慧核心技術領軍企業,在政府輿情與企業聲譽風險、大資料風控、文化大資料應用領域處於細分領軍地位,致力於利用網路智慧技術為客戶提供大資料智慧處理與價值變現的整體價值鏈解決方案,輔助決策,防控風險,最佳化運營,提升客戶核心競爭力。

●某新型商業銀行

某新型商業銀行是一家依靠資料和技術來驅動業務運營,實現金融和科技的融合的新一代銀行,致力於透過網際網路技術為廣大消費者和小微企業提供定製化的金融服務。銀行秉持“使用者導向、技術驅動”的理念,以及“單點突破、快速迭代”的打法,把金融科技和大資料風控視為自身的核心能力來建設和創新,運用雲計算、大資料、人工智慧等新一代網際網路技術,為“二八定律”中那80%沒有享受到完善金融服務的小微群體,提供更安全、更便捷和更高效的金融服務,用技術的力量做好普惠金融的補位者和探索者。

頂部