撕掉“Hadoop”標籤,Cloudera 未來還可期嗎?

作者 | 褚杏娟

採訪嘉賓 | 劉隸放

“Cloudera 一定會跟進趨勢技術,如果不推陳出新就一定會被市場淘汰。”

2000 年初,Google 的三篇論文奠定了最近二十年大資料的技術發展基調,也催生了 Hadoop 生態的發展和繁榮。藉助 Hadoop 的東風,一批大資料企業成長了起來,Cloudera 便是代表之一。不過,Hadoop 勢弱、Spark 和雲計算快速崛起後,Cloudera 等大資料企業面臨著或淘汰或轉型的命運。

Hadoop 真的死了嗎?

2009 年到 2013 年是 Hadoop 的繁盛時期,也是 Cloudera 快速發展的時期。

Cloudera 成立於 2008 年,次年便推出了首個 Hadoop 發行版 CDH。2014 年,Cloudera 完成了一輪 9 億美元的融資,此輪融資包括英特爾投資的 7。4 億美元和 T。 Powe Price 領投、Google Ventures 等跟投的 1。6 億美元。Cloudera 在此輪融資中的估值約 41 億美元,牢牢坐穩了 Hadoop 發行商的頭把交椅。Cloudera 共計為 Hadoop 貢獻了五六十個元件。

成本節約和分析效能是 Hadoop 在 2010 年代最吸引人的兩個點。但隨著企業需求的變化,這兩個優勢轉變成制約企業發展的因素。本地硬體擴容雖然可以滿足高峰期的使用需求,但大多數時間這些資源都會被閒置。本地 Hadoop 環境中無法將儲存和計算分離,因此成本也會隨著資料集的增加而增加。此時,雲成了企業們的首選。

2016 年,Cloudera 試圖轉型成雲計算大資料服務提供商,但由於資金等問題未能實現。不過,Cloudera 次年還是在納斯達克上市了。招股書顯示,在截至 2017 年 1 月 31 日的財年內,Cloudera 營收為 2。61 億美元,虧損 1。87 億美元。

撕掉“Hadoop”標籤,Cloudera 未來還可期嗎?

隨著 Hadoop 風光不再,Hadoop 提供商們也各尋出路。2018 年,Cloudera 與 Hortonworks 合併;2019 年,MapR 被 HPE 收購;2021 年 6 月 Cloudera 退市,完成私有化。今年 4 月,Apache 軟體基金會宣佈從 Hadoop 生態系統中淘汰掉 10 個專案。

Hadoop 依舊在生長

不過,這些能夠說明 Hadoop 已死嗎?在 Cloudera 大中華區技術總監劉隸放看來,判斷一個產品“生死”的標準是其是否還在解決使用者的真實需求。

Cloudera 和 Hortonworks 創始人們當初投身 Hadoop 的重要原因是,他們在原公司使用 Hadoop 平臺做數倉改造後,發現成本得到大規模降低。而在劉隸放看來,Hadoop 為數倉建設帶來的這一優勢,短時間內並不會改變。

企業需要處理的資料量越來越大。資料數倉管理有“3+1”、“6+1”的說法,即數倉管理著一個月的流動資料加上三個月或六個月的儲存資料,時間一過,資料便將以離線儲存形式轉出。現在,轉出資料改為近線儲存,資料轉出後形成歷史資料再對外服務,這個基礎之上又形成了資料集市。現在為了獲得更高的有效資料使用能力,企業們將目光投向了資料湖。

如此大量的資料處理,首先需要足夠的儲存空間,其次要有足夠的算力。在使用 Hadoop 對數倉進行最佳化後,企業可以直接將資料儲存在 HDFS 上,之後再進行 ETL 處理。

數倉不僅貴,對精簡性要求也高,資料太多可能導致效能不夠。出於成本考慮,很多企業選擇了數倉一體機。劉隸放表示,雖然企業不會快速將這些機器下線,但對 Hadoop 的接受程度越來越高。原因是這些海量資料中,有一部分並不需要進入數倉進行處理,大資料平臺也可以做出很多數倉的固定報表。當這部分資料越來越多時,企業首先想到的會是大資料平臺,而非數倉。

無論是對數倉的最佳化還是替換上,Hadoop 都可以做很多事情。

另外,在歷史資料查詢方面,國內銀行、電信、監管等領域的企業仍在用 Hadoop 做數倉前端的加工和處理。沒有 Hadoop 之前,資料儲存在屬於內容管理的庫,透過分級儲存然後新增索引的方式實現。內容儲存也存在成本高,效能會隨著資料量增加而大幅下降的問題。Hadoop 生態中的 HBase,天然適合做這種超大規模資料的檢查,越來越多企業選擇用 HBase 管理庫。

大資料講究數量、多樣性和速度,即可以快速處理大量各種型別的資料。Hadoop 靠“量”起家,這點在很多企業系統裡仍發揮著很重要的作用。

此外,Hadoop 也在不斷演化。Hadoop 3。0 版本擁抱 Kubernetes 做容器化編排,加入了 Airflow、Flink 等新元件,部分缺乏“生命力”的元件也會被淘汰掉。

在劉隸放看來,Hadoop 在變得更好、更全面。只要資料還在增長,Hadoop 體系就無可替代。在當前的大資料平臺裡,只有 Hadoop 生態圈可以把控這樣的大資料計算能力。

撕掉“Hadoop”標籤,Cloudera 未來還可期嗎?

然而不得不承認,沒有彈性資源供給、擴充套件成本快速增加等問題已經成為企業發展的主要矛盾,但 Hadoop 無法完全解決。

Hadoop 已經過了技術生命週期的高峰時段,進入低谷期。倖存的 Cloudera 只有改進產品滿足早期使用者需求才能繼續。換句話說,Hadoop 即使不死,也不會再是 Cloudera 的主打產品。

新徵程已經開始

2019 年,Cloudera 與 Hortonworks 合併後,徹底完成了轉型。Cloudera 果斷宣佈,對 CDH 和 HDP 兩條產品線將僅支援到 2022 年。對於兩個產品高度重合的部分會做刪減和融合,結果就是推出新的資料平臺 CDP (Cloudera Data Platform)。2022 年後,原 CDH 和 HDP 使用者會被轉移到 CDP 上。

2019 年,Cloudera 推出了 CDP 公有云平臺,2020 年又推出了 CDP 私有云平臺。Cloudera 希望透過統一的平臺介面,對資料進行整個生命週期管理,並提供一致的安全和治理服務。

新的主打產品

CDP 是 CDH 和 HDP 的大融合。數倉工具 Hive 和查詢系統 Impala 會被保留下來,而兩家都有的工具,如 HDP 的管理工具 Ambari 和 CDH 的 Cloudera Manager 則只保留一個,標準就是看生態是否鮮活。

現在,Cloudera 做選擇時會傾向更加開放的生態。“今年我們淡出了很多專案,包括之前兩家公司主導的專案,首先是因為專案本身發展不夠快,新發展起來的專案可以替代它們。”劉隸放說道,“其次,有些相似產品雖然只保留一個名字,但兩個產品背後的研發小組是融合的,各自產品的優勢也被保留了下來。”此外,也有新的元件融合進 CDP ,比如 Flink、Airflow 等。

目前,CDP 總共引入了三十多個開源元件,這些元件構成了 CDP 的五大模組:

資料倉庫(CDW,Cloudera Data Warehouse)。計算引擎包括 Hive、Impala 等。

機器學習(CML - Cloudera Machine Learning)。Spark 也是機器學習的利器。CDP 集成了 Spark 3。0 的 RAPIDS 加速器,加速資料管道並大幅提升資料和機器學習工作流。

資料工程(CDE,Cloudera Data Engineering)。主要包括 Spark 等在資料工程方面能力很強的元件。其中 Spark 是 Cloudera 的重點專案,但在方向上會做一些調整。

資料流式處理(CDF,Cloudera Data Flow)。主要包括 Kafka 來保證資料加工傳輸,Flink 做流式資料計算,Nifi 在邊緣(Edge)節點上做加工處理。

操作型資料庫(COD,Cloudera Operational Database)。主要是 HBase 負責歷史資料海量儲存和查詢。目前 HBase 版本已更新至 2。2,支援 Phoenix 二級索引等功能。

此外,在儲存上,CDP 公有云上支援 物件儲存 S3 和 ADSL;私有云上支援傳統的 Kudu、HDFS、HBase 和物件儲存 Ozone。

安全優勢

安全問題並不是一家企業剛開始發展時的首要考慮因素,但卻是企業規模越來越大後不得不面對的問題。最初純封閉式管理就可以滿足需要,但隨著業務量的增加,資料對外服務需求也越來越多。此時,企業如果沒有很好的資料安全方案就無法放心對外。

如果只追求單節點效能,機器幾乎就會處於裸奔狀態。產品的安全性如果較差,企業無法直接在自己的大資料平臺上進行資料處理,只能讓提供商單獨處理,這樣會造成整個資料使用的割裂。因此,企業最開始選擇的平臺是非常重要的。

在劉隸放看來,資料全生命週期管理首先要保證的就是資料安全,具體包括對資料的傳輸和儲存加密、加工處理和調研服務過程中嚴格約束檔案系統訪問許可權、確保整個行為可追溯等。

企業經營中,如果財務、業務等各部門能看到所有資料,那對開發者來說並不友好。有的企業為了避免測試人員看到敏感資訊,可能就會放棄測試。為避免洩露,資料利用方面也會大打折扣。因此,更細粒度的許可權認證是必要的。

針對安全問題,Cloudera 提出了 SDX(Shared Data Experience)框架。SDX 獨立於計算和儲存層,可以對元資料的全生命週期進行統一治理。SDX 目前採用了 Atlas 來解決之前遇到的效能瓶頸,企業不用在乎節點數量,只需要跟著機器做水平擴充套件就可以。SDX 被用在 CDP 中,成為整個跨私有云、跨公有云以及跨混合雲平臺的基礎。

由於 CDP 還引用了第三方庫,如果不能及時更新維護也可能導致安全問題。Cloudera 透過版本更新、第三方服務等方式,主動維護產品安全和幫助使用者解決問題。劉隸放提到,有些競品品拿了 Cloudera 釋出的老版本做二次開發,設定上自己的壁壘後就對外服務,但競品的提供商可能不清楚哪些地方如何引用了第三方庫,也就沒辦法做針對性的修復,這也是潛在的安全問題。

據劉隸放透露,Cloudera 主張的大資料全生命週期安全治理方案,即從生產端捕獲資料後進行資料加工、轉換和分析,最終成為可對外服務的資料,已經吸引了金融等對資料管控要求較高的企業。

目前,有的企業已經將業務全部遷移到 CDP 上,有的企業則根據自身某方面的需求使用 CDP 私有云等平臺。今年,CDP 也入駐了阿里雲,逐步在國內建立自己的公有云服務體系。

“要把雲原生支援做好”

“雲原生是一個不能迴避的話題,我們要去擁抱雲原生,把雲原生支援做好。”劉隸放表示。

企業對公有云和私有云有不同的需求。公有云適合爆發性增長業務,私有云更適合規模比較固定的業務。因此,混合雲是一個必然趨勢。不過,各大廠商早已紛紛推出了自己的混合雲解決方案,這個市場不缺混合雲產品。

在劉隸放看來,混合雲服務需要完成從資料生產到分析服務的完整閉環。比如工業領域,隨著機器更加數字化,前端能夠捕獲的資料越來越多,相關資料分析可以直接在前端進行,後端管控整個過程,並對前端做指導。

不過,目前大部分解決方案有個問題:廠商是將其公有云方案中的一部分做線下的部署和輸出,即線上和線下的技術路線完全相同。這導致的結果就是企業很容易被鎖定在一家供應商中,從而議價權越來越低。

為了避免被鎖定,國內外很多企業即使上了公有云,但依然會用標準的 IaaS,尤其是在大資料領域,因為只選擇裸機和 VM 服務可以在未來跨平臺遷移時變得容易。

針對這種情況,Cloudera 提出了跨雲服務。企業可以在任何私有云或 AWS、Azure 和 Google Cloud 等公共雲以及任何格式的資料上進行各種分析。跨雲平臺之間的遷移主要是應用遷移和資料遷移。不同雲平臺的介面和操作相同,應用遷移很簡單。針對比較複雜的資料遷移,Cloudera 研發了遷移工具,企業也只需要在 BDR 中進行配置就可以完成。

撕掉“Hadoop”標籤,Cloudera 未來還可期嗎?

劉隸放表示,PaaS、SaaS 平臺將是 Cloudera 未來的重點之一。今年 6 月,Cloudera 宣佈收購了兩家公司:Datacoral 和 Cazena。Datacoral 完全託管服務透過多租戶 SaaS 架構可以快速完成資料轉換和整合,Cazena 的 Instant Cloud Data Lake 將分析時間和 AI/ML 從幾個月縮短到了幾分鐘。

具有趨勢性的技術背後,都對映著企業不斷髮展過程中需要解決的一些具體問題。比如,計算資源和儲存資源並不需要 1 : 1 匹配,其中一方過多就會資源浪費,因此出現了儲存計算分離。之前物理緊耦合的系統,一個元件升級其他元件也必須跟著一起升級,但不同元件可能來自不同的廠商,未升級的廠商只能單開一個叢集執行,長期下來就會造成叢集資料重複和儲存冗餘。因此私有云、公有云做了儲存計算分離之後,企業可以按需使用資源,也可以自由選擇計算元件的新舊版本。

劉隸放表示,“Cloudera 一定會跟進趨勢技術,如果不推陳出新就一定會被市場淘汰。”

寫在最後

“Cloudera 現在就是抓緊時間把產品做得更好。”劉隸放說道。

產品迭代快是這個時代賦予的機會,也是挑戰。在劉隸放看來,任何產品都有時代的侷限性,企業使用產品時指出來的問題也有時效性,因此產品也隨之不斷地在迭代、演進。站在現在的時間點上去批判多年前的產品是不合適的。

今年 6 月, Cloudera 被 CD&R 和 KKR 以 53 億美元的金額收購。現在的 Cloudera 不缺資金和業務經驗,但缺少能夠成為爆款的產品。對此,面對各個層面上所謂的競品,劉隸放表示,“我們會把每個模組的效能做好,不怕大家在效能上做比較。”

嘉賓介紹:

劉隸放,Cloudera 大中華區技術總監,2016 年 1 月加入 Cloudera 公司,管理大中華區產品售前支援團隊。售前工作期間,負責支援國內重要客戶的交易系統搭建和電信行業經營分析系統的平臺建設工作;同時肩負軟體部重要合作伙伴的支援工作,包括在 SAP 客戶領域中推廣 IBM 資訊管理軟體產品。

頂部