秒級加速質變,Apache Doris與360數科的“化學反應”

中新經緯12月9日電 隨著信貸科技的不斷髮展,使大資料分析場景相應地增加了許多,對於金融科技平臺而言,這些新場景對資料的安全性、準確性、實時性提出更嚴格的要求。與此同時,指數級增長的使用者數,也向業務端施加了交付效率、穩定性、使用者體驗等多重壓力。

日前,毓數大資料平臺架構全面升級,360數科完成了Apache Doris在毓數大資料分析多場景落地應用。值得一提的是,不同於市面上應用最為廣泛的實時數倉場景,360數科獨創的Doris + Presto秒級多級加速引擎,大大改良了大資料分析記憶體佔用過高,資料處理緩慢等問題。在Doris的支援下,360數科實時查詢一級加速效能提升190倍,二級加速效能提升19。1倍,實時資料分析效率大幅提升。

 獨創加速機制,打造秒級響應競爭力

伴隨業務的不斷深入,360數科早期應用的OLAP多維分析資料庫叢集穩定性較低、運維複雜和表關聯查詢較慢等問題凸顯。“除此之外,在大資料查詢分析場景,基於Spark單一查詢引擎分鐘級響應,影響資料分析人員工作效率,亟需做出最佳化和重構。” 360數科系統架構總監黃建庭稱。

基於以上需求及痛點,360數科對大資料計算引擎的選型目標提出了明確的需求,即:資料寫入效能高、查詢響應秒級、相容標準 SQL 協議、表關聯查詢效能優秀、支援豐富的資料模型、運維複雜度低、社群活躍以及對商業友好,無法律風險。

今年3月,360數科對符合以上特點的資料庫 Apache Doris 展開了為期兩個月的調研測試,並在多次適配後,獨創多級查詢引擎動態切換的機制,完成了針對業務場景的調優。“Doris的應用,使我們的資料處理分析能力發生了質的飛躍。從效果來講,Doris不僅可以支援高併發的實時查詢場景,也能支援高吞吐的複雜分析場景。”

以實時查詢場景舉例,傳統的大資料查詢引擎難以滿足資料開發者、資料分析師對查詢響應效能提出的高要求,動輒分鐘級甚者小時級的查詢耗時極大的限制了相關場景的資料分析效率。

為提高查詢效能,360數科自主研發的多級加速查詢引擎,支援多查詢引擎動態切換的機制,能夠透過識別查詢資料的元資訊對當次查詢做自動的查詢引擎(Doris/Presto/Spark/Hive)路由和故障切換。透過將Doris 架設在 Hive 數倉的上層,360數科可以直接複用已經建設好的資料血緣關係,在不利用Doris 叢集產生新表的前提下,就能完成對特定場景的低成本查詢加速。

 擁抱新技術,反哺開源

顯然,對於Doris的應用並非360數科在開源領域的首次嘗試。

2019年,360數科加入Apache OpenMessaging,參與開放訊息技術標準推廣和實踐,為包括Apollo、Dubbo、Skywalking、Sentinal、Arthas等頂級開源專案在內的多個專案提出問題、貢獻程式碼及解決方案。

在自主開源方面,360數科技術團隊貢獻的首個自主開源專案Chronus,在完成內部5個里程碑版本後,無縫支援Dubbo協議、Http及SpringCloud等,致力於成為微服務生態輕量級分散式排程平臺。

對此,黃建庭認為,受益於開源,就應該反哺開源,這是每一個技術人都會有的信念。“基於包容、開放的技術行為準則,我們一直在參與開源、自主開源方面發力。從2018年開始,我們在使用過程當中發現一些問題,比如當前的開源專案不完全符合內部的環境或需求,我們就會自己去改,如:對Hadoop生態改進最佳化超過40處;再比如,發現開源專案裡有一些缺陷,我們就會去修復,並回饋到開源專案中,如:近期反饋PR到Apache Doris專案。”

今年6月,Apache Doris成功從 Apache 孵化器畢業,正式成為 Apache 頂級專案,這背後是以360數科為代表的開源社群成員共同努力的結果。“作為開源社群曾經的受益者,我們更希望能夠以助力者的身份與其他高科技公司共同攜手推動我國計算機技術和高科技企業的發展。”

據瞭解,360數科將繼續應用Doris在實時查詢引擎加速、實時數倉、使用者畫像/標籤、RTA等業務場景不斷最佳化。同時公司也將透過分析使用者的查詢 SQL 特徵,結合Doris的查詢快取、物化檢視、Doris on Hive等特性,進一步提升查詢效率等,以期支撐更多的業務場景、發揮更大價值。

談及後續規劃,黃建庭表示,“未來我們也會考慮全面開源,但不是簡單地把系統開源,會充分考慮到開源專案的適用性、通用性等,避免系統的環境依賴、內部依賴、能力依賴,以開放的金融科技創新能力幫助相關公司提升效率、節約資源,同時也不斷完善我們開源的系統,進一步推動金融科技底層生態的完善。”(中新經緯APP)

頂部