羿閣 發自 凹非寺
量子位 | 公眾號 QbitAI
AI做數學題的成績又又又被重新整理了!
眾所周知,隨著谷歌
思維鏈
(chain of thought)
概念的提出,AI做題時已經能像人類一樣生成解題步驟。
這次,來自DeepMind的科學家提出了一個切實的問題:如何確保
解題步驟
和
答案
的雙重正確率?
為此,他們在GSM8K資料集上全面對比了基於過程和基於結果的監督方法,並結合二者優勢訓練出一個
最佳模型
。
結果表明,新模型的答案錯誤率從16。8%降低到12。7%,解題步驟的錯誤率也從14。0%降低到了3。4%。
步驟+答案雙重保障
在介紹新研究前,不得不先提到谷歌今年1月在論文中提出的
思維鏈
概念。
簡單來說,思維鏈提示就是一種特殊的上下文學習,不同於標準提示只是給出輸入-輸出對的示例,思維鏈提示還會額外增加一段推理的過程。
該方法在LaMDA-137B、GPT-3 175B、PaLM-540B三個大型語言模型上都得到了驗證:對比標準提示,新方法在一系列算術推理等任務上的準確率都有了明顯的提高。
但該方法存在的一個問題是,在某些情況下,AI能生成正確答案,但推理過程卻是錯誤的。
現在,來自DeepMind的研究人員,針對這一點做出了改進:不僅只關注最終結果,也注重
推理過程
的準確性。
為此,他們對自然語言處理任務中基於過程和結果的方法進行了
首次全面比較
。
具體來說,包括以下不同場景:少樣本提示、有監督的微調、透過專家迭代的強化學習以及重排序和強化學習的獎勵模型。
而之所以選擇
GSM8K資料集
,一來因為它是由小學數學應用題組成,答案都是整數解,方便準確性統計;
二是GSM8K資料集具有對推理步驟的離線監督,以及線上人工標註。
從結果上看,第一,基於過程和基於結果的方法在最終答案錯誤率上近乎一致。這也意味著,僅靠結果監督就足以實現較低的答案錯誤率。
第二,推理步驟準確率的提升則需要過程監督或模仿它的獎勵模型。儘管最終答案錯誤率相似,但從下圖可以看出,結果監督
(19。8%)
比過程監督
(11。4%)
的推理錯誤率明顯要高。
除此之外,研究人員還結合二者優勢,訓練出一個最佳模型,即將監督學習與基於獎勵模型的強化學習相結合。
新模型的答案錯誤率從以前的最佳水平16。8%降低到12。7%,並且,答案正確、推理過程卻錯誤的情況也從14。0%降低到了3。4%。
當允許模型對30%的問題進行迴避時,最終答案的錯誤率甚至能達到2。7%。
研究團隊
本篇論文的研究團隊來自DeepMind,共同一作有三位:Jonathan Uesato、Nate Kushman、Ramana Kumar。
12月3日,Nate Kushman將會就本篇論文在NeurIPS 2022舉辦的
第二屆MATH-AI研討會
上做報告,感興趣的小夥伴可以蹲守一下~
論文連結:
https://arxiv。org/pdf/2211。14275。pdf
— 完 —
量子位 QbitAI · 頭條號簽約