數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

機器之心報道

編輯:魔王

為了衡量機器學習模型的數學求解能力,來自 UC 伯克利和芝加哥大學的研究者提出了一個包含 12, 500 道數學競賽難題的新型資料集 MATH,以及幫助模型學習數學基礎知識的預訓練資料集 AMPS。研究發現,即使是大引數的 Transformer 模型準確率也很低。

許多學術研究探討數學問題求解,但對於計算機而言這超出了其能力範疇。那麼機器學習模型是否具備數學問題求解能力呢?

來自加州大學伯克利分校和芝加哥大學的研究者為此建立了一個新型資料集 MATH。該資料集包含 12, 500 道數學競賽難題,每個數學題都有完整的逐步求解過程,可用來教機器學習模型生成答案和解釋。為了促進未來研究,提升模型在 MATH 資料集上的準確率,研究者還建立了另一個大型輔助預訓練資料集,它可以教模型數學基礎知識。

儘管透過這些方法提升了模型在 MATH 資料集上的準確率,但實驗結果表明,準確率仍然很低,即使 Transformer 模型也不例外。研究者還發現,僅靠增加預算和模型引數量並不能實現強大的數學推理能力。擴充套件 Transformer 能夠自動解決大多數文字任務,但目前仍無法解決 MATH 問題。

該研究第一作者 Dan Hendrycks 發推表示:

國際數學奧林匹克競賽(IMO)三金得主能達到 90% 的準確率,而 GPT-3 的準確率只能達到約 5%。

如果這一趨勢持續下去,那麼機器學習模型距離獲得數學推理能力還很遙遠。

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

資料集

這部分介紹兩個新型資料集,一個是用於測試模型數學問題求解能力的 MATH 資料集,另一個是用於輔助預訓練的 AMPS 資料集。

MATH 資料集

MATH 資料集包含 12, 500 個數學問題(其中 7500 個屬於訓練集,5000 個屬於測試集),這些問題收集自 AMC 10、AMC 12、AIME 等數學競賽(這些數學競賽已經持續數十年,旨在評估美國最優秀的年輕數學人才的數學問題求解能力)。與大多數之前的研究不同,MATH 資料集中的大部分問題無法透過直接應用標準 K-12 數學工具來解決,人類解決這類問題通常需要用到問題求解技術和「啟發式」方法。

基於這些數學問題,模型可以學習多種有用的問題求解啟發式方法,且每個問題都有逐步求解過程和最終答案。具備逐步求解過程的問題示例參見下圖 1:

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

該資料集的建立涉及以下重要步驟:

問題分類:該資料集中的問題難度不同,並涉及多個主題,包括算術、代數、數論、計數與機率、幾何、中級代數、預備微積分。研究者按照對人類而言從易到難的程度將問題難度等級標註為 1-5。

格式化:使用 LATEX 和 Asymptote 向量圖語言將數學問題及其解進行統一格式化。

自動評估生成的答案:MATH 資料集的獨特設計使得研究者可以自動評估模型生成的答案,即使模型輸出空間非常大。

人類效能:為了估計人類效能,研究者從 MATH 測試集中隨機取樣了 20 個問題,交由高校學生回答。一位不喜歡數學的參與者答對了 8 道題(準確率 40%),兩位喜歡數學的參與者分別答對了 14 題和 15 題,一位在 AMC 10 數學競賽中拿到滿分並多次參加 USAMO 競賽的參與者答對了 18 道題,一位 IMO 三金得主也答對了 18 道題(準確率 90%)。這說明 MATH 資料集中的數學問題對於人類而言也是有一定難度的。

AMPS 資料集(可汗學院 + Mathematica)

預訓練資料會對效能產生極大影響,而數學是線上文字的一小部分,於是該研究建立了一個大型多樣化的數學預訓練語料庫。該預訓練資料集 Auxiliary Mathematics Problems and Solutions (AMPS) 包括許多問題及 LATEX 格式的逐步求解過程。

AMPS 資料集包含 10 萬個收集自可汗學院的數學問題,和約 500 萬透過手動設計 Mathematica 指令碼生成的問題。該研究使用 Mathematica 的計算機代數系統生成數學問題,是為了便於操作分數、超越數和解析函式。

這些問題涉及多個主題,包括代數、微積分、計數與統計、幾何、線性代數,以及數論(參見下表 1)。

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

實驗

模型效能

研究者透過實驗調查了模型在 MATH 資料集上的效能,發現即使最優模型的準確率也很低。此外,與大多數基於文字的資料集不同,該資料集上的準確率增速隨著模型規模的擴大而越來越慢。如果這一趨勢繼續,則要想在 MATH 資料集上取得較大進展,我們需要的不只是模型擴充套件,而是演算法改進。

下表 2 表明,最小模型 GPT-2(0。1 billion 引數量,基線模型)在 MATH 資料集多個主題上的平均準確率為 5。4%,而 GPT-2(1。5 billion 引數量,引數量是基線模型的 15 倍)的平均準確率為 6。9%,相比基線提升了 28%。這表明與大部分其它基於文字的任務不同,在 MATH 資料集上增加模型引數確實有所幫助,但模型的絕對準確率仍然很低,且增速緩慢。

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

此外,研究者測試了使用 AMPS 預訓練的效果。未經 AMPS 預訓練時,GPT-2 (1。5B) 模型在 MATH 資料集上的準確率為 5。5%;而經過 AMPS 預訓練後,GPT-2 (1。5B) 在 MATH 資料集上的準確率為 6。9%(參見表 2),準確率提升了 25%。也就是說,AMPS 預訓練對準確率的提升效果相當於引數量 15 倍增加的效果,這表明 AMPS 預訓練資料集是有價值的。

逐步求解

研究者對逐步求解過程進行了實驗,發現模型在得到答案前先生成逐步求解過程會導致準確率下降。研究者利用 GPT-2 (1。5B) 進行評估,發現模型效能有所下降,從 6。9% 下降到了 5。3%。

研究者還對這些生成的逐步求解過程進行了定性評估,發現儘管很多步驟看似與問題相關,但其實存在邏輯問題。示例參見下圖 3、4:

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

圖 3:問題、GPT-2 (1。5B) 模型生成的逐步解、真值解。

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

圖 4:問題、生成解和真值解示例。

不過,研究人員發現逐步求解仍能帶來一定好處:提供部分真值逐步求解過程可以提升效能,在訓練過程中為模型提供逐步求解過程可以提升準確率。下圖 6 展示了 GPT-2 (0。7B) 模型使用不同部分求解過程的準確率變化。

數學奧賽冠軍都做不對的題,卻被拿來考ML模型?GPT-3:我不行

上手實操:出海企業如何快速構建AI應用

3月17日,亞馬遜雲科技機器學習產品經理李媛和亞馬遜雲科技機器學習產品技術專家王世帥將帶來線上分享。本次分享將介紹如何藉助Amazon Rekognition實現使用者身份識別、圖片影片內容稽核與藉助Amazon Personalize為使用者提供個性化推薦。

頂部