濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

近些年,在國家政策推動下,大資料與各個行業深度融合,依託大資料、人工智慧、區塊鏈、工業網際網路等數字經濟產業得到蓬勃發展。

大資料是數字經濟的重要基礎,蘊含著巨大的潛在價值。特別是對工業企業來說,利用數字“連結、流轉、模擬、反饋、整合”的優勢,實現數字化轉型升級,對企業未來發展尤為重要。

“工欲善其事,必先利其器”,如何做好資料的“運管存”,釋放出資料自身的價值,這對大資料平臺的資料處理能力是一項重要的考驗。

2021年10月22日,由上海市經濟資訊化委員會、上海市科學技術委員會指導,資料猿與上海大資料聯盟共同舉辦的“魔方大資料系列論壇之數智化轉型升級”專場上,濤思資料聯合創始人李廣從工業網際網路的角度,指出大資料應用存在的痛點,並分享了濤思資料獨特的大資料處理方法及行業應用案例。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

據公開資訊顯示,濤思資料成立於2017年5月,是一家專注於大資料解決方案的初創公司。公司開發了擁有自主智慧財產權的物聯網大資料平臺TDengine,在2019年7月份正式對外開源,2020年8月又將叢集版開源,收穫了大量的客戶,在GitHub全球趨勢排行榜上多次排名第一,成為最有熱度的開源專案。

今年5月濤思資料順利完成4700萬美元B輪融資,獲得經緯中國、紅杉資本中國基金、GGV紀源資本等多家頭部資方的認可。

痛點:工業資料體量大、不透明、協同難

工業資料區別於其他領域的資料,具有其自身特點。從資料底層的角度,李廣認為工業網際網路行業的資料應用存在三大痛點。

痛點一,工業資料體量大,難處理。工業資料採集會涉及到大量的裝置端點,比如一家工廠,每天可能都會產生幾百億條資料,資料儲存達到TB級別。如此龐大的數量級,如何處理是一大難點。

痛點二,工業裝置在檢修、保養和運維過程中,存在資料不透明的問題,由此帶來工業企業數字化轉型困難。

痛點三,在工業控制領域,國內多數企業使用的工業軟體仍嚴重依賴國外軟體,缺乏自主可控的技術和產品解決方案。從邊端到雲端,從場站側到集團中心側來看,做資料的高效協同有很多問題。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

如何解決這些痛點?李廣認為,不妨化繁為簡,將整個工業網際網路資料抽象出來,從而形成資料“流轉存用”四個步驟。具體來說,一是資料的採集、傳輸;二是資料的接入;三是資料的儲存與分析;四是資料的應用。其中第三環節——資料的儲存、分析是核心。

對於資料的儲存分析,李廣觀察到,國內現有的分析方式當中,可以透過傳統工業實時庫來處理,或者依託網際網路體系開源全家桶的方案來處理,但兩者的效率都較低,這種龐大的架構,在IT人員相對不足的工業場景下使用,維護非常困難。此外,李廣談到,國外一些工業控制的頭部企業,其實是用傳統架構來做的資料處理方案,很難適應這種大資料的“高併發、易擴充套件”的特點,即可快速擴充套件,SaaS化或者可服務化的模式。

小產品,大作為

為解決行業痛點以及匹配客戶需求,濤思資料打造出了一款專為物聯網而做的高效資料處理方案——物聯網大資料平臺TDengine。

TDengine是專為物聯網打造的ALL-in-One時序資料庫平臺,拋棄掉了傳統的Hadoop體系,將底層大資料處理相關的訊息列隊、對內快取、資料庫、流式計算和資料訂閱全部整合在這一產品中。一站式解決資料處理的效能問題、資料儲存和技術架構複雜的問題。

雖然功能強大,但產品卻只有幾兆,佔用記憶體非常小,並採用分散式架構,能夠按需擴充套件,以應對不同的資料處理規模。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

TDengine產品自開源以來,廣受客戶好評。對此,李廣表示,這主要是由於濤思資料對工業物聯資料特徵和資料使用方式的清晰認識。李廣進一步解釋道,工業物聯資料的特徵主要有三點:

1、與通用資料不同,工業上採集的資料都是帶有時間戳的流式資料;

2、這些資料大多是測量值,非常平穩,而且資料來源是唯一的;

3、隨著時間增加,資料價值遞減。而且在物聯網中,單條資料的價值並不高,對整體資料進行分析才有價值。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

在資料使用方面,李廣從市場出發,總結了工業網際網路領域對資料三方面的應用需求:

第一是能否支援資料持續不斷的寫入;第二是能否支援基於時間、標籤維度的資料查詢,以及資料的聚合和斷面查詢。以聚合查詢為例,平臺需要聚合所有裝置的資料進行計算,這就會涉及到一些獨特的使用方式,比如差值、時間視窗、降取樣等。平臺是否具備這樣的資料處理能力,對客戶來說也非常重要;第三是能否支援資料有效的壓縮儲存,即在不影響業資料查詢使用的前提下,高效壓縮資料以減少儲存空間。

事實上,傳統通用平臺尚無法滿足這些特定需求,相比之下,濤思資料自研的TDengine平臺在核心效能上,表現出了非常大的優勢。

據李廣介紹,TDengine平臺具有高併發資料寫入的能力,海量裝置產生的資料能夠併發寫入;不僅如此,在解決資料快取、資料訂閱、資料儲存等一系列需求時,濤思資料將各個功能整合到這一款產品上,技術架構非常的簡單。徹底簡化的技術架構,解放了大量的中小企業,讓他們也能承接很多以前只有頭部企業才能接手的專案;而在資料儲存方面,TDengine平臺結合物聯網資料特徵,採用列式儲存,大大壓縮了資料儲存空間,相同資料所佔用的記憶體僅是同類產品的1/5。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

濤思的創新:一源一表,分級儲存

區別於通用平臺,實現良好的資料處理效能,濤思資料是如何做到的?

針對物聯網時序資料的典型特徵,濤思資料創造性地提出了“一個數據採集點一張表”的模型,採用“超級表”來解決多裝置之間的資料聚合分析問題。

“這樣的好處是,同一個採集點的資料是連續的,資料隨著時間推移而遞加。在儲存的時候,直接透過追加的方式寫入即可,這是效率最高的儲存方式。最新的資料寫入記憶體後,然後落盤到硬碟等儲存介質中,落盤的同時我們還能做很多預計算,這就使我們產品的查詢能力非常強。之前我們有個使用者,他用了一個方案,想查詢一組資料,花了好幾個小時查出不來,而我們的產品可能幾秒鐘就查出來了,差別非常之大,就是因為我們做了很多預計算。”李廣揭秘到。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

“還有很重要的一點,物聯網的資料按照採集的時間順序,有冷、溫、熱的區別。比如,最新的資料大家都特別關注,就是熱資料;某個資料過去了一個月,可能它的使用頻次就稍微低一點,我們把它定義為溫資料;若是過去5年甚至更久一點,就是冷資料。此時,資料使用的頻次就更會低。

那麼如何平衡資料儲存的使用效率和成本?我們會透過多級儲存的模式去自動儲存和遷移資料,最新熱資料的存在記憶體中,溫資料在SSD中,冷資料在普通硬碟中。

做資料聚合時,我們會先把海量的資料做分割,透過超級標的標籤先做資料過濾,大大縮減資料集,這樣處理資料的效率就會大大提高。”李廣表示。

多行業應用構建生態

大資料平臺作用於各行各業,對透過大資料發現行業規律、減少戰略決策中的主觀因素影響,起到了至關重要的作用。在行業應用方面,濤思資料做了很多嘗試。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

以電力行業為例,在風力發電的風場側,採集、資料、模型、服務各個層級都會產生大量資料,濤思資料是如何處理的呢?據李廣介紹,資料從風場側傳輸到訊息佇列裡,建立資料服務,透過叢集把產生的資料全部錄入和儲存,然後再應用。如果是集團側的資料需求,濤思資料會建立雲端風電大資料平臺功能架構,在底層設定分散式資料庫叢集,以處理海量資料。

在場站側和中心側之間的資料協同上,李廣指出傳統的資料處理方式存在一些問題。例如,資料同步是半自動模式,且資料分割槽導致資料之間需要融合,造成資料處理效率降低等問題。

基於此,濤思資料創新性地提出了一套執行方案,能夠從場站側到區域集控,再到集團結構中心,做三級資料的協同同步,能夠把所有資料自動化,大大地減輕了資料處理的協同問題。

濤思資料聯合創始人李廣:面對當下的工業網際網路行業痛點,小產品也會有大作為

儲存下來的資料如何進一步分析,以風電場為例,濤思資料會在雲端搭建一個大資料平臺,按照非結構化、結構化業務資料以及結構化時序資料的分類,再錄入不同的系統。由於工業物聯資料80%以上是時序性資料,這些資料最終進入分散式時序資料全棧處理平臺進行處理。

TDengine平臺除在電力行業“大顯身手”外,在礦山、菸草、石油化工、智慧出行等行業均有應用。據李廣介紹,平臺目前測點數管理規模已經超過千萬級別。其中,菸草制絲資料服務平臺在經過時序洞察分析後,效能提升10倍,效率提升效果非常明顯。

數字化時代,能否順利實現數智化轉型,事關企業成敗。這也是國產化軟體、服務公司的難得機遇。濤思資料飛速成長的四年,離不開其對工業底層資料的深刻理解,在對大資料平臺的不斷探索與創新下,公司將跟隨數字經濟發展的浪潮,再創佳績。

編輯:木陽

/

資料猿

頂部