Pine 發自 凹非寺
量子位 | 公眾號 QbitAI
AI搜尋引擎再度進化?!
給這個AI一個主題,分分鐘給你甩出一篇論文綜述,而且還會自己提供論文引文。
又或者輸入一個科學類的名詞,AI也能迅速生成這個名詞專屬的維基百科。
這個AI名叫
Galactica
(簡稱:GAL)
,是最新
開源
的一個科學語言大模型,把
AI轉化為科學生產力
。
並且還實現了學科“大一統”,數學、物理、計算機…這個AI都能用。
模型剛一放出,就迅速引發網友熱議,目前相關推文已有近15萬瀏覽,累計點贊、轉發、引用也已破五千。
Facebook前技術官也出來為它來站臺。
還有網友親自體驗了一把,寫出來的文獻綜述“看起來相當不錯”,甚至直呼:
下一步它是不是就能產生新想法了。
其實寫文獻綜述和生產維基百科還只是GAL功能的一部分,除去這些,它還能回答一些專業問題、編寫科學程式碼、註釋分子和蛋白質……
具體效果如何,一起來看看吧~
可以作為科學生產的工具
提到科學生產力,就肯定離不開論文的查詢,這不,GAL幫你解決了。
它涵蓋了五種科學學科:機器學習、數學、計算機科學、生物以及物理。
選擇好學科,然後在左邊框輸入想要找的論文主題,右邊GAL便會推薦最合適的論文以供閱讀。
除了推薦論文之外,GAL還有一個更加實用的功能:
生成講稿
。
比如說要做個關於密度泛函理論
(DFT)
的pre,又懶得寫講稿,直接GAL一下,分分鐘搞定
(手動狗頭)
。
GAL還能夠用來註釋分子和蛋白質,如下就是GAL生成的RDKit
(可生成用於機器學習的分子描述符)
操作手冊。
在一些細節問題上,GAL也狠狠拿捏了!
就比如說你看不懂一些複雜的數學公式和程式碼,沒關係交給GAL來解決,它能直接給你翻譯成大白話。
不僅如此,它還能實現數學公式和程式碼之間的相互轉換,或者不同型別程式碼之間的轉換。
更重要的是,他還有
簡化公式和查錯功能
。
怎麼做到的?
GAL能實現這麼複雜的功能,就不得不提到它的訓練資料集。
據官方訊息,GAL是在一個名為NatureBook的新型
高質量科學資料集
上進行訓練的,這使模型能夠使用科學術語、數學和化學公式以及原始碼。
其中包括
超過4800萬
篇論文、教科書和課堂講稿,還有數百萬計的化合物和蛋白質、科學網站以及百科全書等等。
除此之外,為了查詢論文並規範化引用,GAL的資料集中包含
超過3.6億條
上下文引用和
超過5000萬條
跨不同來源規範化的獨特參考。
有了這麼龐大的資料集之後,那接下來便面臨兩個問題。
第一個問題是
如何管理這些高質量的資料集
,實現這點,GAL用了兩步:
所有資料都
以一種通用的標記格式
進行處理,打通各種來源資料之間的壁壘。
預訓練中包含
用於特定任務的資料集
,這就能保證在處理特定任務時能夠更加專業。
還有一個問題是:
如何設計介面互動?
首先就像上文提到的那樣,GAL能夠支援不同型別的任務。
因此在設計介面互動時便對各種任務進行分類,不同的分類會支援不同的型別的資料。
既然GAL擁有高度管理和高質量的科學資料集,那和其他模型相比效果如何?
直接上資料!
推理方面,GAL的優勢脫穎而出,在數學MMLU
(大規模多工語言理解)
上,表現要優於Chinchilla,數學方面,表現也優於PalM 540B和GPT-3 175B。
儘管,GAL並沒有經過一般資料集的訓練,但它在BIG-bench上的表現仍舊優於BLOOM和OPT-175B。
看完之後是不是也心癢癢了,先碼住再說!
傳送門:
https://galactica。org/
參考連結:
[1]https://twitter。com/paperswithcode/status/1592546933679476736
[2]https://github。com/paperswithcode/galai
[3]https://galactica。org/static/paper。pdf
— 完 —
量子位 QbitAI · 頭條號簽約