全球最大AI模型“源1.0”釋出,看遍五年中文網際網路內容

全球最大規模人工智慧巨量模型不再是GPT-3,而是中國的“源1。0”,該AI模型已經把五年內所有中文網際網路上的內容都看了個遍。

9月28日,浪潮人工智慧研究院在北京釋出“源1。0”,其單體模型引數量2457億,而曾經全球最大規模的AI巨量模型GPT-3(Generative Pre-Training,生成式預訓練)為1750億引數。一般情況下有一個普遍看法,即一個模型的引數越多,它能實現的任務就越複雜。

全球最大AI模型“源1.0”釋出,看遍五年中文網際網路內容

這樣的巨量模型有一個很重要的特性,即強大的通用能力。浪潮人工智慧研究院首席研究員吳韶華表示,大模型最重要的優勢是表明進入了大規模可複製的工業落地階段,只需小樣本的學習也能達到比以前更好的能力,且模型引數規模越大這種優勢越明顯。不需要開發使用者再進行大規模的訓練,使用小樣本就可以訓練自己所需模型,能夠大大降低開發使用成本。

在算力層面,引數量為2457億的“源1。0”計算量為4095PD(PetaFlop/s-day),相較1750億引數而計算量為3640PD的GPT-3,“源1。0”的計算效率有了明顯提升。看完5年內的中文網際網路內容,“源1。0”只需要16天。

浪潮人工智慧研究院表示,“源1。0”將面向學術研究單位和產業實踐使用者進行開源、開放、共享,降低巨量模型研究和應用的門檻。

如何理解模型與機器學習之間的關係?

在最初對人工智慧的探索中有兩個迥然相異的思路:規則式(rule-based)方法和神經網路(neural network)方法。規則式人工智慧系統也稱專家系統(expert system),其思路本質是使用人類已有的經驗命名規則,“若A則B”。然而在非常複雜的人類世界中,想以這樣的思路實現強人工智慧或者說通用人工智慧(具備與人類同等智慧,甚至超越人類)非常困難。

神經網路方法本質則在於模仿人腦結構,構建類似生物神經元網路的結構以處理資訊。它不會設定“若A則B”的規則,而是讓神經網路從輸入的資料中學習,發現規律。

著名人工智慧專家李開復在《AI·未來》一書中這樣解釋神經網路的執行邏輯:大量的樣本資料輸入系統,以“訓練”程式去辨別形態,計算機運算力則讓程式得以高速分析樣本資料。

而我們所說的模型,非常粗略的意義上可以理解為發現的“規律”,如開普勒透過大量的天文資料構建出行星運動軌跡是橢圓形這樣的模型。

關於巨型模型,學術在熱議什麼?

8月18日,包括知名華人人工智慧學者李飛飛、Percy Liang等超百名作者署名的《基礎模型的機遇和風險》(On the Opportunities and Risks of Foundation Models)將BERT, GPT-3, CLIP, Codex、DALL-E等強大的人工智慧模型首次以一個共同的名字——“基礎模型”(foundation models)命名,並表達了對這些基礎模型缺陷繼承給所有適應模型繼承的擔憂。斯坦福大學也即宣佈成立基礎模型研究中心(下簡稱CRFM),專職於基礎模型的研究。

然而這一舉動引起諸多爭議,加利福尼亞大學伯克利分校的AI領域教授Jitendra Malik在研討會上表示,“基礎”(foundation)這個詞完完全全錯誤。

“斯坦福大學研究人員指出的那些能夠回答問題或從提示中生成文字的大型語言模型效果很好,在實際應用中有很大用途。但他還是認為進化生物學表明,語言的建立不僅僅需要智力,還需要物理世界、其他同類真實的互動。”

“目前研究這些模型都空中樓閣,並沒有任何他們所謂的‘基礎’,在這些模型中使用的語言沒有根據,生成或是問答都是虛假的,他們並沒有真正的理解,”Malik表示。

亞利桑那州立大學教授Subbarao Kambhampati則表達,“稱它們為‘基礎模型’完全就是沒搞清楚狀況,從這些模型到更通用的AI形式沒有明確的方法,目前還處於探索中。”

華盛頓大學語言學系教授Emily M。 Bender表示,“我擔心基礎模型的想法反映了投資行業更青睞於模型,而非data-centric(資料驅動)的AI方法。”

“我聽到了這些批評,但有些人可能誤解了這個專案的目標,”對於這些質疑,斯坦福研究中心主任Percy Liang迴應稱。

他繼續補充道,“斯坦福大學的研究人員完全意識到這些模型的侷限性,並在他們的研究論文中描述了一些。他們也不認為這些模型是在 AI 領域取得進一步飛躍所需的全部。”

(本文來自澎湃新聞,更多原創資訊請下載“澎湃新聞”APP)

頂部