人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

賦智是上雲的崇高境界。

2020年4 月,國家發展改革委、中央網信辦聯合印發《關於推進“上雲用數賦智”行動培育新經濟發展實施方案》,鼓勵在具備條件的行業領域和企業範圍內,探索大資料、人工智慧、雲計算、數字孿生、5G、物聯網和區塊鏈等新一代數字技術應用和整合創新,為企業數字化轉型提供技術支撐。

上雲、用數、賦智,精煉地描述了企業上雲的三個階段,三重境界。上雲可以相對容易,用數學問比較大,賦智是更高的境界。

在2022 re:Invent全球大會上亞馬遜雲科技推出的大量服務和功能是跟資料、跟機器學習相關的。一方面是資料服務和功能為機器學習服務,幫助客戶獲得資料價值;另一方面是機器學習技術用於資料新服務和新功能。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

亞馬遜雲科技大中華區產品部總經理陳曉建

表示:從這些re:Invent釋出的特性中,能夠看到未來技術演進的方向是

數智融合。

其中尤其值得關注的是Quicksight Q,它推出了多項新功能,把人工智慧和業務洞察相結合,使得客戶不用再去掌握資料分析技術,而是透過人類自然語言來進行業務的洞察,從而大降低了使用門檻。

Amazon QuickSight Q 新功能讓客戶能夠預測並追問預測依據,客戶可以用自然語言提出問題。針對QuickSight Q的預測結果問“為什麼”。這樣可以進入瞭解,QuickSight Q給出的預測結果主要受到哪些因素的影響,從而格外關注那些因素,更好地指導業務。

Amazon QuickSight Q使用機器學習讓任何使用者都能以自然語言提出有關業務資料的問題,並在幾秒鐘內獲得視覺化的準確答案。它讓沒有技術專業知識的業務人員都可以探索歷史趨勢和資料指標,讓使用者能夠從支撐其看板和報表的資料中獲得新的洞察。例如,銷售使用者可能會問,“去年在哪裡銷售的商品最多?”,或者財務使用者可能會問,“與目標相比,實際收入是多少?”,許多使用者想要進行更深入的挖掘,以瞭解不同指標的根本原因,或者對潛在增長建模。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

亞馬遜雲科技新推出的Amazon QuickSight Q功能是,可以針對預測結果追問預測依據。這樣就可以檢視特定結果受哪些歷史資料影響。例如,銷售經理可能會詢問“預測辦公椅在加州的銷售情況”,Amazon QuickSight Q會根據先前指標的模式提供銷售預測,自動考慮季節性和異常資料。銷售經理可能會追問“為什麼上個月銷售額增加了?”,在幾秒鐘內,Amazon QuickSight Q會總結出驅動這一增長的主要因素。這樣,業務人員可以更好地理解潛在因素,並且可以做出更多資料驅動的、決定未來結果的決策。這一新功能現已向所有Amazon QuickSight Q客戶提供,不需要額外付費。

以前可以問“是什麼”,現在不僅可以問“是什麼”,還可以問“為什麼”。

此外,亞馬遜雲科技推出的一些新功能也充分利用機器學習技術。例如,Amazon QuickSight Q的自動資料準備功能使用預先訓練的機器學習模型,從客戶現有的看板和報表等資料資產中進行學習,在幾分鐘內為每個新資料集預配置業務術語,從而減少開始查詢資料所需的時間。例如,流媒體服務可以使用Amazon QuickSight Q自動資料準備功能,透過已經存在的看板為資料集預配置業務術語。之前的看板可能包含了按客戶類別、客戶編號和地理位置劃分的付費使用者資訊。如果營銷經理準備規劃一個釋出活動,他們可以問,“我們在洛杉磯有多少付費使用者?”,Amazon QuickSight Q將返回精確的結果。Amazon QuickSight Q自動資料準備功能現已向所有Amazon QuickSight Q客戶提供,不需要額外付費。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

納斯達克

是一家服務於資本市場和其他行業的全球科技公司。“Amazon QuickSight Q改變了遊戲規則,使高管、銷售和資料工程團隊能夠即時從資料中獲得答案。在許多情況下,我們的團隊希望在僅僅提供歷史趨勢或當前資料快照之外的維度瞭解事情發生的根本原因並預測趨勢。”

納斯達克北美市場產品經理Michael Weiss

表示,“Amazon QuickSight Q追問預測依據的新功能將幫助我們的使用者瞭解對關鍵指標變化貢獻最大的主要維度和數值,而預測功能將幫助我們的使用者探索前瞻性洞察,例如不同細分市場和客戶的未來收入和市場份額增長。Amazon QuickSight Q的這些新功能將幫助我們加速建立商業智慧,透過完全自動地進行復雜的資料分析,幫助終端使用者實現自助式服務,無需分析師構建模型和分析。”

亞馬遜雲科技開展機器學習的一個獨特之處是授人以漁。Amazon SageMaker推出以來,亞馬遜雲科技不斷圍繞機器學習平臺Amazon SageMaker,推出大量新功能,將機器學習技術傳授給客戶。五年來已經為Amazon SageMaker增加了260項新功能,不斷降低機器學習的技術門檻,簡化機器學習的前期工作,加速為客戶“賦智”。在資料服務方面也是如此,透過各種新服務和新功能,儘可能讓開發人員可以上手開展機器學習。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

Amazon SageMaker Studio Notebook提供全新資料準備功能,幫助客戶直觀地通過幾次點選檢查和解決資料質量問題。

專業人員在準備訓練資料時希望直接在Notebook中探索資料集,以發現和糾正潛在的資料質量問題(如資訊缺失、極值、資料集失真和偏差)。專業人員可能要花費數月時間編寫樣板程式碼將資料集的不同部分視覺化,檢查資料集,以期識別和修復問題。

Amazon SageMaker Studio Notebook新提供了內建的資料準備功能,讓專業人員只需點選幾下即可直觀地檢視資料特徵、修復資料質量問題,所有這一切都直接在Notebook環境中進行。當用戶在Notebook中顯示data frame(即資料的表格形式)時,Amazon SageMaker Studio Notebook 會自動生成圖表幫助使用者識別資料質量問題,提供資料轉換建議幫助解決常見問題。專業人員選擇資料轉換後,Amazon SageMaker Studio Notebook 會在Notebook中生成相應程式碼,可供每次執行Notebook時重複應用。

Amazon SageMaker Studio 是一個整合開發環境,它提供了一個基於 Web 的視覺化介面,開發人員可以在其中訪問各種工具,執行所有機器學習開發步驟,從準備資料到構建、訓練和部署機器學習模型,將資料科學團隊的生產力提高多達 10 倍。開發人員可以快速上傳資料、建立新記事本、訓練和調優模型,在各個步驟之間來回切換以調整實驗,還可以在不離開 Studio 的情況下將模型部署到生產環境中。

亞馬遜雲科技還為Amazon Glue推出的一項新功能,叫Amazon Glue Data Quality,可以跨資料湖和資料管道自動管理資料質量。其最終目標也是指向機器學習應用。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

成千上萬客戶使用Amazon Glue快速、輕鬆且經濟高效地構建和管理現代資料管道。組織需要監控其資料湖和資料管道中資訊的資料質量(衡量資料的即時性、準確性和完整性),確保資料的高質量,然後再將其用於分析或機器學習應用。但資料質量管理是一個耗時且複雜的過程,需要資料工程師花費數天時間收集資料的詳細統計數字,根據這些統計數字資訊手動識別資料質量規則,並將其應用於數千個數據集和資料管道。實施了這些規則之後,資料工程師必須持續監控資料中的錯誤或變化,相應地調整規則。

Amazon Glue Data Quality可以自動測量、監控和管理Amazon S3資料湖和Amazon Glue資料管道的資料質量,將資料分析和規則識別的時間從幾天縮短到幾小時。Amazon Glue Data Quality可以計算客戶資料集的統計數字(如最小值、最大值、直方圖和相關性),使用統計數字自動地推薦規則,確保資料的即時性、準確性和完整性。客戶可以安排Amazon Glue Data Quality在資料發生變化時定期執行,自動分析資料並提出質量規則的更改建議以確保相關性。一旦出現質量問題,資料工程師無需編寫程式碼即可配置使用者提醒或終止資料管道。

對地理空間資料的支援讓客戶能夠更輕鬆地為氣候科學、城市規劃、災難響應、零售規劃、精準農業等行業開發機器學習模型。此舉意在幫助客戶將更多的資料用於機器學習。

當前,大部分收集到的資料都包含地理空間資訊(如位置座標、天氣圖和交通資料)。但是,已經用於機器學習的只有一小部分,原因是地理空間資料集很難處理,通常達到PB 級的規模,且跨越整個城市或數百公里土地。要開始構建地理空間模型,客戶通常會採購衛星影象或地圖資料等第三方資料來源以補充其專有資料。由於地理空間資料規模龐大,專業人員需要合併這些資料,準備資料用於訓練,並編寫程式碼將資料集劃分為可管理的子集。當客戶準備部署訓練好的模型時,他們必須編寫更多程式碼以重新組合多個數據集,將資料和機器學習模型預測關聯起來。為了從完成的模型中提取預測結果,專業人員需要花費數天時間使用開源的視覺化工具在地圖上做渲染。從資料改進到視覺化,整個過程可能需要幾個月的時間,這使得客戶很難利用地理空間資料及時產生機器學習預測。

人工智慧自虛向實,從re:Invent 2022看如何全面實現數智融合

Amazon SageMaker將客戶豐富資料集、訓練地理空間模型並將結果視覺化的時間從數月縮短到數小時,從而加速和簡化地理空間機器學習預測的生成。客戶只需幾次點選或使用 API就可以使用 Amazon SageMaker訪問各種地理空間資料來源,例如亞馬遜雲科技的位置服務Amazon Location Service、開放資料集Amazon Open Data、客戶自有資料和來自Planet Labs等第三方供應商的資料。當專業人員選擇了想要使用的資料集,他們可以利用內建的運算器將這些資料集與自己的專有資料合併起來。為了加快模型開發,Amazon SageMaker 提供了預訓練的深度學習模型,其支援的用例包括透過精準農業提高作物產量、監測自然災害後區域恢復以及改善城市規劃等。訓練完成後,內建的視覺化工具在地圖上顯示資料,揭示新的預測。

EarthOptics

是一家土壤資料測量和製圖公司,利用專有感測器技術和資料分析精確測量土壤健康狀況和土壤結構。 “我們希望使用機器學習幫助客戶利用經濟實惠的土壤地圖提高農業產量。”

EarthOptics 執行長 Lars Dyrud

表示,“Amazon SageMaker 的地理空間機器學習功能使我們能夠使用多個數據源快速構建演算法原型,並且將研究和部署生產 API 之間的時間縮短到只有一個月。 得益於 Amazon SageMaker,我們為美國各地的農場和牧場部署了用於土壤固碳的地理空間解決方案。”

Forrester 副總裁兼研究總監戴鯤

評論道:“Forrester認為,在持續動盪的全球宏觀經濟環境下,廣大企業客戶亟需構建兼具韌性、自適應性和創造性的適應未來的技術戰略。亞馬遜雲科技在今年re:Invent大會上的產品與服務釋出不僅一如既往地貫徹自身以客戶為中心的長期主義,而且持續彰顯其作為全球公有云基礎設施與開發平臺市場領導者的前瞻性技術視野與快速產品創新能力。”

頂部