AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

Pine 發自 凹非寺

量子位 | 公眾號 QbitAI

AI搜尋引擎再度進化?!

給這個AI一個主題,分分鐘給你甩出一篇論文綜述,而且還會自己提供論文引文。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

又或者輸入一個科學類的名詞,AI也能迅速生成這個名詞專屬的維基百科。

這個AI名叫

Galactica

(簡稱:GAL)

,是最新

開源

的一個科學語言大模型,把

AI轉化為科學生產力

並且還實現了學科“大一統”,數學、物理、計算機…這個AI都能用。

模型剛一放出,就迅速引發網友熱議,目前相關推文已有近15萬瀏覽,累計點贊、轉發、引用也已破五千。

Facebook前技術官也出來為它來站臺。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

還有網友親自體驗了一把,寫出來的文獻綜述“看起來相當不錯”,甚至直呼:

下一步它是不是就能產生新想法了。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

其實寫文獻綜述和生產維基百科還只是GAL功能的一部分,除去這些,它還能回答一些專業問題、編寫科學程式碼、註釋分子和蛋白質……

具體效果如何,一起來看看吧~

可以作為科學生產的工具

提到科學生產力,就肯定離不開論文的查詢,這不,GAL幫你解決了。

它涵蓋了五種科學學科:機器學習、數學、計算機科學、生物以及物理。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

選擇好學科,然後在左邊框輸入想要找的論文主題,右邊GAL便會推薦最合適的論文以供閱讀。

除了推薦論文之外,GAL還有一個更加實用的功能:

生成講稿

比如說要做個關於密度泛函理論

(DFT)

的pre,又懶得寫講稿,直接GAL一下,分分鐘搞定

(手動狗頭)

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

GAL還能夠用來註釋分子和蛋白質,如下就是GAL生成的RDKit

(可生成用於機器學習的分子描述符)

操作手冊。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

在一些細節問題上,GAL也狠狠拿捏了!

就比如說你看不懂一些複雜的數學公式和程式碼,沒關係交給GAL來解決,它能直接給你翻譯成大白話。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

不僅如此,它還能實現數學公式和程式碼之間的相互轉換,或者不同型別程式碼之間的轉換。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

更重要的是,他還有

簡化公式和查錯功能

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

怎麼做到的?

GAL能實現這麼複雜的功能,就不得不提到它的訓練資料集。

據官方訊息,GAL是在一個名為NatureBook的新型

高質量科學資料集

上進行訓練的,這使模型能夠使用科學術語、數學和化學公式以及原始碼。

其中包括

超過4800萬

篇論文、教科書和課堂講稿,還有數百萬計的化合物和蛋白質、科學網站以及百科全書等等。

除此之外,為了查詢論文並規範化引用,GAL的資料集中包含

超過3.6億條

上下文引用和

超過5000萬條

跨不同來源規範化的獨特參考。

有了這麼龐大的資料集之後,那接下來便面臨兩個問題。

第一個問題是

如何管理這些高質量的資料集

,實現這點,GAL用了兩步:

所有資料都

以一種通用的標記格式

進行處理,打通各種來源資料之間的壁壘。

預訓練中包含

用於特定任務的資料集

,這就能保證在處理特定任務時能夠更加專業。

還有一個問題是:

如何設計介面互動?

首先就像上文提到的那樣,GAL能夠支援不同型別的任務。

因此在設計介面互動時便對各種任務進行分類,不同的分類會支援不同的型別的資料。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

既然GAL擁有高度管理和高質量的科學資料集,那和其他模型相比效果如何?

直接上資料!

推理方面,GAL的優勢脫穎而出,在數學MMLU

(大規模多工語言理解)

上,表現要優於Chinchilla,數學方面,表現也優於PalM 540B和GPT-3 175B。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

儘管,GAL並沒有經過一般資料集的訓練,但它在BIG-bench上的表現仍舊優於BLOOM和OPT-175B。

AI科學語言大模型火了,數學生物樣樣行,編程式碼寫綜述也不在話下

看完之後是不是也心癢癢了,先碼住再說!

傳送門:

https://galactica。org/

參考連結:

[1]https://twitter。com/paperswithcode/status/1592546933679476736

[2]https://github。com/paperswithcode/galai

[3]https://galactica。org/static/paper。pdf

— 完 —

量子位 QbitAI · 頭條號簽約

頂部