【金猿技術展】Kyligence 智慧分層儲存——PB級規模資料的全場景...

【金猿技術展】Kyligence 智慧分層儲存——PB級規模資料的全場景...

智慧分層儲存是 Kyligence 提供的高階功能,搭載效能強大的 Clickhouse,幫助使用者在未進行預計算的情況下快速冷啟動進行查詢,可以顯著提升超多維度靈活分析和明細查詢的效能。同時,基於 HDFS/物件儲存和 Clickhouse 的兩級儲存設計,可全面覆蓋各種分析場景,為使用者帶來基於海量資料下分析探索的更多可能性。

智慧分層儲存不僅能夠支援多維度隨機組合的靈活即席查詢場景,比如標籤分析或使用者行為分析等場景,為企業的精細化運營和輔助商業決策帶來更大的助力;同時分層儲存可對接 Kyligence 統一的模型來管理資料,無縫對接主流商業 BI 工具和 Excel ,賦能業務人員進行分析。

【金猿技術展】Kyligence 智慧分層儲存——PB級規模資料的全場景...

(圖片來源:Kyligence)

智慧分層儲存技術的核心亮點,就在於其分層架構的合理設計以及對不同技術底座的有機融合。在原有聚合分析的高效能之上,Kyligence 更有效提升了明細分析、Ad-Hoc 查詢等場景的效能和優勢。Kyligence 在產品儲存的架構進行了分層設計:

• 第一層:MPP 引擎層——將資料儲存在 ClickHouse 引擎中(目前僅存放表索引)

• 第二層:分散式儲存層——將資料儲存在 HDFS /物件儲存中(存放預計算後的聚合索引)

• 第三層:查詢下壓層——查詢可下推到其他資料來源,如 SparkSql 以及各類 RDBMS 系統

啟用智慧分層儲存後,使用者無需關心資料是如何分佈和匯入的,只需要根據業務需求進行建立模型,這樣可以大幅度地減少建模和模型調優階段的人力和時間成本支出, 縮減新業務的上線週期, 從而幫助使用者更及時地響應業務分析需求。

具體來看智慧分層儲存支撐的業務場景:

【金猿技術展】Kyligence 智慧分層儲存——PB級規模資料的全場景...

(圖片來源:Kyligence)

智慧分層儲存的分層結構可以很好的支撐企業過去用一套架構不能方便支援的場景,比如現在最流行的使用者畫像分析場景。此場景下,企業需要具備以下能力:

• 開箱即用的標籤管理、篩選、匯出、整合能力;

• 支援使用者圈選、匯出、比對、即席分析、分組統計等場景;

• 支援日均更新百萬條標籤、數千標籤量、上億使用者;

• 支援實時或離線的特徵計算,以及海量特徵標籤儲存。

Kyligence 的智慧分層儲存功能為企業提供了一個高效的解題思路。透過以下能力能從多個維度滿足企業在使用者畫像場景下的需求:

1。 快速圈選,指標聚合:

• 支援使用者對數千標籤、上億使用者的快速圈選,在圈選後自由進行指標聚合;

2。 開箱即用,無縫匯出:

• 提供開箱即用的工具,能夠與查詢引擎無縫對接;

• 提供標籤管理、篩選、圈選後匯出能力;

3。 開放生態,保護投資:

• 透過多種介面協議與第三方標籤分析平臺、BI 平臺無縫對接;

• 支援與主流標籤生成引擎及儲存對接,支援對接業務系統;

• 保護已有技術投資、降低使用者學習成本。

除了使用者畫像以外,智慧分層儲存還可應用於如使用者行為分析、自助式靈活探索分析等在內的諸多應用場景和資料探索方式。

開發團隊

·帶隊負責人:Kyligence CTO 李揚、產品創新中心副總裁李棟等。

·隸屬機構:Kyligence

Kyligence 由 Apache Kylin 創始團隊建立,致力於打造下一代智慧資料雲平臺,為企業實現自動化的資料服務和管理。基於機器學習和人工智慧等技術,Kyligence 從多雲的資料儲存中識別和管理最有價值資料,並提供高效能、高併發的資料服務以支撐各種資料分析與應用,同時不斷降低 TCO(總體擁有成本)。

Kyligence 已服務中國、美國及亞太的多個金融、製造、零售等行業客戶,包括建設銀行、浦發銀行、招商銀行、平安銀行、寧波銀行、太平洋保險、中國銀聯、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企業和行業領導者。

Kyligence 獲得了來自紅點、思科、寬頻資本、順為資本、斯道資本、Coatue Management、浦銀國際、中金資本旗下基金、歌斐資產、國方資本、ASG、宏兆基金、浦信資本等投資機構的多輪投資。目前公司已經在上海、北京、深圳、廈門、武漢及美國的矽谷、紐約、西雅圖等開設辦事機構。

相關評價

Kyligence 使得我們的業務團隊可以高效、敏捷地訪問資料,獲取正確的業務資訊,從而快速做出精準的業務決策。

——中國銀聯資料服務部副總經理 王穎卓

我們都知道做資料產品的時候對效能和併發的要求是繞不過的一個檻,而Kyligence 作為我們資料服務的引擎,在資料湖和資料應用之間搭起了一個橋樑,滿足了自助查詢平臺過於低延遲和高併發的要求。

——欣和集團資料平臺負責人 王相會

頂部