AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

羿閣 發自 凹非寺

量子位 | 公眾號 QbitAI

AI做數學題的成績又又又被重新整理了!

眾所周知,隨著谷歌

思維鏈

(chain of thought)

概念的提出,AI做題時已經能像人類一樣生成解題步驟。

這次,來自DeepMind的科學家提出了一個切實的問題:如何確保

解題步驟

答案

的雙重正確率?

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

為此,他們在GSM8K資料集上全面對比了基於過程和基於結果的監督方法,並結合二者優勢訓練出一個

最佳模型

結果表明,新模型的答案錯誤率從16。8%降低到12。7%,解題步驟的錯誤率也從14。0%降低到了3。4%。

步驟+答案雙重保障

在介紹新研究前,不得不先提到谷歌今年1月在論文中提出的

思維鏈

概念。

簡單來說,思維鏈提示就是一種特殊的上下文學習,不同於標準提示只是給出輸入-輸出對的示例,思維鏈提示還會額外增加一段推理的過程。

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

該方法在LaMDA-137B、GPT-3 175B、PaLM-540B三個大型語言模型上都得到了驗證:對比標準提示,新方法在一系列算術推理等任務上的準確率都有了明顯的提高。

但該方法存在的一個問題是,在某些情況下,AI能生成正確答案,但推理過程卻是錯誤的。

現在,來自DeepMind的研究人員,針對這一點做出了改進:不僅只關注最終結果,也注重

推理過程

的準確性。

為此,他們對自然語言處理任務中基於過程和結果的方法進行了

首次全面比較

具體來說,包括以下不同場景:少樣本提示、有監督的微調、透過專家迭代的強化學習以及重排序和強化學習的獎勵模型。

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

而之所以選擇

GSM8K資料集

,一來因為它是由小學數學應用題組成,答案都是整數解,方便準確性統計;

二是GSM8K資料集具有對推理步驟的離線監督,以及線上人工標註。

從結果上看,第一,基於過程和基於結果的方法在最終答案錯誤率上近乎一致。這也意味著,僅靠結果監督就足以實現較低的答案錯誤率。

第二,推理步驟準確率的提升則需要過程監督或模仿它的獎勵模型。儘管最終答案錯誤率相似,但從下圖可以看出,結果監督

(19。8%)

比過程監督

(11。4%)

的推理錯誤率明顯要高。

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

除此之外,研究人員還結合二者優勢,訓練出一個最佳模型,即將監督學習與基於獎勵模型的強化學習相結合。

新模型的答案錯誤率從以前的最佳水平16。8%降低到12。7%,並且,答案正確、推理過程卻錯誤的情況也從14。0%降低到了3。4%。

當允許模型對30%的問題進行迴避時,最終答案的錯誤率甚至能達到2。7%。

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

研究團隊

本篇論文的研究團隊來自DeepMind,共同一作有三位:Jonathan Uesato、Nate Kushman、Ramana Kumar。

AI解數學題,答案對過程卻錯?DeepMind新研究改進谷歌思維鏈方法

12月3日,Nate Kushman將會就本篇論文在NeurIPS 2022舉辦的

第二屆MATH-AI研討會

上做報告,感興趣的小夥伴可以蹲守一下~

論文連結:

https://arxiv。org/pdf/2211。14275。pdf

— 完 —

量子位 QbitAI · 頭條號簽約

頂部