大資料工具變遷簡史:人的需求,略大於演算法的疆域

圖片來源@視覺中國

文 | 晨山資本,作者 | 吳文超

近年來,人們頻頻「遭遇」各類大資料工具,體驗到許多前所未有的變化。不管是驚喜還是驚嚇,資料工具都在加速整個社會的數字化轉型,面對這樣的趨勢,加深我們對資料工具的認識和理解將越來越重要。

本文對大資料工具的變遷作了階段性總結,並對未來資料產品的新方向進行探討

。通過當下可識別的座標,銘刻十年前的歷史引爆點,呈現資料生態鏈的環環相扣,也看見大資料工具不只是一套封閉的技術體系,人與資料產品互緣同構,它的一頭接入演算法的革新脈絡,另一頭與人的生產生活有機相連,持續迴應更新的現實、觀念和技術,並不斷衍生出新的形態支撐各個行業的運轉。

不過,無論解題工具(資料工具)多好,解題思路(演算法)多棒,最終我們還是要一遍遍回到最原始的價值拷問——

我們解題是為了什麼?我們還將探討工具大眾化、跨雲互通、架構融合和資料安全等資料產品的新方向。

自1946年計算機發明以來,我們經歷了軟體、網際網路、移動網際網路到現在萬物可聯的時代。計算機也從最初的輔助「

計算

」功能,到現在成為我們承載資訊的重要「

伴侶

」。個人的社交、購物、旅行等生活內容,企業的設計、生產、經營和管理都以資料的形式被記錄著。

這些變化,在近十餘年,尤其是移動網際網路(PC時代計算機還只是觸達了少部分人)讓普通人的資訊被計算機記錄開始,令大家感受尤其明顯。

這背後同時也是一段資料工具的變遷史

01 歷史引爆點與萌芽期

在網際網路出現之前,軟體還主要服務於企業,過程中誕生了如Oracle、SAP、IBM等為企業提供資訊化的軟體公司。在漫長的時期中,

01 歷史引爆點與萌芽期

,資料庫也以Oracle、IBM等公司的產品服務於資料管理需求為主。

在後期,隨著企業經營決策複雜性的提升,

軟體承載著資料記錄、計算和管理能力

,出現了Teradata等資料倉庫產品,Oracle、IBM等傳統資料庫企業也都紛紛推出自己的解決方案。這幾十年的時間裡,大家更多講的是軟體而非資料。甚至到PC網際網路時期,真正接觸和使用計算機的人依然有限。

利用資料分析進行決策的需求逐漸被提出

▲ 2010年左右是資料工具爆發的奇點

2010年左右,智慧手機的出現,移動網際網路的爆發,實現「人聯」,才真正開啟了資料時代。也是在這前後,資料量的爆發式增長帶來了資料工具的爆發

2010年之前傳統數倉還是以處理資訊化系統中的結構化資料為主。

2010年左右資料工具大爆發,資料平臺架構百花齊放

。並於隨後幾年出現了一大批圍繞著Hadoop生態的大資料產品。

Hadoop批次處理能力強,但實時性差,難以滿足應用系統對使用者提供更加實時服務的需求,此時Spark、Flink等流式處理平臺橫空出世。批流資料並行的Lambda、Kappa等架構逐漸成為主流。

隨著Hadoop的非實時性缺陷越來越讓人難以忍受、硬體成本的持續下降和雲計算的滲透,MPP架構的數倉再次回到人們的視野,尤其是Snowflake以雲數倉的方式重新整理了大家對傳統數倉的認知,國內新的數倉解決方案也如雨後春筍般出現。

然而,資料平臺架構演進的步伐並沒有因此停止,資料湖、湖倉一體等架構在最近兩年又被大家提出和應用。

2010年,為了應對移動網際網路中出現的大量使用者行為日誌等非結構化資料,以Hadoop為代表的大資料平臺在此背景下誕生,揭開了大資料工具的序幕

事實上,

。在這過程中也誕生了大量優秀的資料產品企業,如Splunk、Databricks、Snowflake、Clickhouse等。

▲ 資料平臺架構的變遷

百花齊放的資料平臺架構背後是資料和應用複雜度的提升,優秀的產品永遠致力於把功能做到極致,突破自身產品能力的邊界;而優秀的使用者永遠在尋找適合自己的架構設計和產品組合,使用者和產品就這樣並行推動資料工具的發展

以上更多是從橫向看整個資料架構的變遷,但縱向來看,任何一個數據架構都並不是孤立的,而是需要一整套資料處理的工具鏈才能完成資料處理的閉環,包括採集傳輸、查詢處理、資料轉換和分析、輸出等多個環節。雖然資料流的順序可能不完全一樣,但模組基本一致。生態產品的誕生也和前面架構設計的多樣性、應用的多樣性息息相關。

資料工具是一個生態鏈

我們看到另外一個比較主流的創業方向便是兼容於各種資料工具和應用系統的生態工具,如做資料採集的Fivetran、管道傳輸的Kafka和建模轉換引擎dbt

資料處理的典型環節 資料來源:a16z。com

▲ 

經過十餘年的發展,受益於開源、國內外網際網路大企業的引領和創業公司不斷創新,資料工具也是層出不窮,每一個數據處理環節都有大量可選工具。

資料產品眾多,架構選型成為關鍵

▲ 資料處理的各個環節工具眾多

工具沒有絕對優劣,而用工具的人至關重要,如何搭建適合業務需求的工具組合才是使用者需要重點關心的問題

現在我們擁有眾多大資料的工具,但工具背後本身誕生的背景是什麼,為什麼會有如此多的工具?

02 需求和演算法驅動資料產品滾滾向前

02 需求和演算法驅動資料產品滾滾向前

我們首先來看看人們處理資料的思路有多大的變化。「

這最終還是要回歸到方法和價值上:我們處理的思路有什麼革新?為什麼要處理各種各樣的資料,以及處理這些資料能帶來多大的價值?

」在計算機領域換個詞就叫「

解題思路,演算法驅動

」,而「演算法工程師」這個崗位大體是伴隨著資料科學和人工智慧誕生的。

在軟體時代,演算法更多停留在傳統統計方法的應用:排序、求和、求統計值等,其最典型的應用在BI產品中,用於輕量級企業內部資料洞察。

在網際網路時代,資訊量的爆炸給統計機器學習帶來新的機會,包括經典的邏輯迴歸、SVM、KNN等分類、聚類演算法在搜尋、推薦引擎中被大量使用。

同樣是在2010年,AlexNet在ImageNet中影象識別的優異表現揭開了深度神經網路的序幕,大量的神經網路模型、演算法被提出,不僅僅應用在影象領域,同樣應用在語音、文字等非結構化資料中。而深度神經網路對資料的依賴達到了前所未有的高峰,資料甚至成為了AI的第一生產要素,這又對資料處理工具提出了更高的要求。

思路

。這再一次推動了資料使用的新模式,對大模型使用者的資料要求從大而全走向細而精。

▲  演算法發展史

演算法

近年來,AI逐漸走入大模型時代,擁有高算力、大資料量的網際網路企業訓練了超大規模引數的通用AI模型,尤其是在文字和內容生成領域

在軟體時代,資料聚合的目的更多是為了企業內部進行經營決策,所以BI是資料最早的出口形態。到了移動網際網路時代,各種資料被網際網路企業收集,進行使用者洞察分析,提升搜尋引擎、電商甚至資訊流圖文、影片的推薦準確率,提高使用者點選率,資料價值嶄露頭角。

隨著機器學習和神經網路的發展,人們發現數據可以被利用的思路和方法被進一步開啟,

無論你的解題工具(資料工具)多好,解題思路(演算法)多棒,最終我們都要回答一個最原始的價值問題:我們解題是為了什麼?有什麼作用?

解題目的,價值驅動

網際網路企業是利用使用者資料迭代產品的最大受益者。資料輔助產品設計不僅僅可以在網際網路、軟體開發領域,在其他行業領域也可以被應用——服裝設計中透過收集使用者購買行為來進行款式設計,餐飲口味選品可以透過收集使用者點評資料來輔助決策。

更多非結構化資料、半結構化資料和最原始的結構化資料被收集,開始用於廣泛的商業場景

其實最早的BI很重要的一個應用場景就是被用於營銷洞察,但彼時缺乏足夠的外部資料支撐。隨著近年來電商的崛起和線上購物滲透率的快速提升,企業對外部消費者的洞察也越來越精確,精準的資料營銷也成為資料應用的典型場景。

產品的研發迭代

傳統的企業管理更多關注流程管控,缺乏精細化的資源管理和決策依據。在資料時代,員工的表現、企業的生產、銷售都進一步被資料化,企業管理者擁有更多的維度洞察整個企業的人事和過程的管理。

產品的研發迭代

目前我們看到的資料應用大部分還是圍繞著「人」的資料。隨著「物聯」越來越普及,機器和裝置的資料也被大幅收集,人們可以更加了解機器,人機協作也變得越來越高效和精準。

▲ 資料應用發展史

目前資料在很多行業還處於滲透期,大家更多關注營銷,但並沒有更深入地推進到產品研發、企業經營管理和人機協作領域。

資料助力營銷

資料助力營銷

資料產品的誕生從源頭來看是需求的驅動,從路徑上看需要IT基礎設施的助力,包括演算法的迭代、硬體效能提升及成本下降,企業IT架構的調整。需求和技術的相互促進將帶來更多創新機會。

資料助力企業管理

人類生產工具的最終目的是提升生產效率。

資料助力企業管理

上面所列的絕大多數資料處理工具都有較高的技術門檻和使用門檻,但企業最終使用資料的是決策者、運營人員和業務人員。他們並不具備高超的IT技能,這就無形中增加了企業使用資料過程中的溝通成本。所以,未來資料工具大眾化也一定是大家追求的目標。國外不少產品用Excel的形態來方便業務人員使用資料,降低工具使用的門檻。雖然這種形態無法發揮大資料工具的所有能力,但在使用者體驗上還是更進了一步。

資料助力人機協作

。也只有產品更加大眾化,才能進一步掃清資料工具持續提升滲透率和使用者基數的障礙。

▲ Sigma產品用Excel Spreadsheet的形態方便使用者使用資料

資料助力人機協作

公有云廠商向來是底層技術實力比較強的企業,其資料類產品當然也並不落下風。Snowflake能在AWS生態繁榮發展的前提也是使用AWS的S3來儲存。而AWS在資料產品中從提取傳輸、儲存、資料處理到消費都有對應的雲產品。

如果公有云客戶的第一選擇還是考慮雲廠商第一方產品,

隨著資料在金融、電信、工業、政務、醫療教育甚至農業等行業應用,個人和企業將被深度資料化,行為和決策受資料驅動,執行過程被資料記錄,勞動成果被資料化衡量,甚至整個社會的運轉都是由資料在背後驅動,這將對資料工具提出新的需求

▲ AWS全套資料產品鏈

工業、

。跨雲資料產品也將成為未來企業需要考慮的重點。無論是公有云還是非公有云,資料產品能兼容於各類異構雲/雲原生基礎設施,將成為使用者採用的前提。

▲ 全球92%的企業都有多雲戰略

03 資料產品發展方向:大眾化、跨雲、架構融合和安全

以往我們進行軟體架構設計的時候,硬體成本是重要的考量因素:如何節約記憶體?如何降低CPU消耗?如何平衡IO吞吐和讀寫效能?隨著摩爾定律的深入和後摩爾定律時代的到來,硬體複雜度提高,能力越來越強,硬體的單位成本也隨之下降。

▲ 4Gb和8Gb DRAM 價格過去5年呈下降趨勢 資料來源:MacroMicro

03 資料產品發展方向:大眾化、跨雲、架構融合和安全

。以近年來較受關注的概念HTAP(混合事務型和分析型資料庫)為例,傳統AP(分析型資料庫)更關注吞吐、TP(交易型資料庫)更關注實時讀寫,但隨著硬體IO能力的提升,

工具大眾化

▲ OLAP和OLTP資料庫正在融合

除了HTAP,在資料庫領域新興的其他趨勢如批流一體、湖倉一體、AI Native(演算法/AI內生在資料庫產品中)等等,無不體現了硬體能力提升背後軟體功能的邊界越來越寬的趨勢。

工具大眾化

前面提到資料類產品未來將在各個行業深入滲透,但行業和行業之間對產品的要求千差萬別。

讓複雜的工作變得更簡單,讓機器去負擔最複雜的那部分運算邏輯,讓人關注工作中更具創造性的部分

這也是非常值得探討的話題。

大眾化UI(互動介面)的形態並沒有侷限,但如何保證易用性才是問題的關鍵

產品跨雲平臺能力

隨著資料價值的不斷提升,資料安全的價值也會越來越大。不久前,工信部等16部門聯合釋出的《關於促進資料安全產業發展的指導意見》提出,到2025年,我國資料安全產業規模超過1500億元,年複合增長率超過30%。要知道,2022年整個網路安全的市場規模也不超過1000億元,而這裡面還包含了70多個產品品類。晨山資本在《數安法》頒佈之前就已經佈局了資料安全運營、API安全、隱私計算資料安全新興方向,也從這些企業的發展感受到市場對資料安全需求的快速提升,也就不難理解政策部門對2025年資料安全規模的樂觀預期了。

回頭來看,大資料工具的變遷歷史不過短短十餘年,不過天下難事,必作於易,天下大事也必作於細,前路還有很多可能性。2023年,期待能看到更多充滿生命力的創新湧現,也希望更多資料方向的創業者來和我們一起交流探討!

頂部