關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

▎“ChatGPT和AIGC(生成式人工智慧)技術爆火背後,代表著人工智慧(AI)大模型進入一個新的技術正規化,同時也是第三波 AI 浪潮經過十幾年發展之後一個非常重要的拐點。”

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

鈦媒體編輯丨林志佳

2022年12月22-23日,

12月22日,美國國家工程院外籍院士、北京智源人工智慧研究院理事張宏江在鈦媒體2022T-EDGE大會上發表了《ChatGPT和AIGC爆火背後,Al 大模型的發展和機遇》的主題演講。

張宏江在演講中表示,ChatGPT和AIGC(生成式人工智慧)技術爆火背後,代表著人工智慧(AI)大模型進入一個新的技術正規化,同時也是第三波 AI 浪潮經過十幾年發展之後一個非常重要的拐點。

據悉,早在1956年夏天,計算機科學家約翰·麥卡錫(John McCarthy)等人在具有傳奇色彩的“達特茅斯會議”上創造“人工智慧”這個術語,被認為標誌著 AI 的正式誕生。在之後半個世紀當中,計算機技術飛速進步,AI 也影響著全世界的技術變革與發展。

全球共經歷了三次 AI 浪潮。相對於前兩次浪潮由於資料量不夠、演算法不強、商業化不如預期等因素,讓所有人期盼的十年“AI 效應”看法泡沫破滅。如今第三次 AI 浪潮,AI 演算法、算力、資料“三駕馬車”同步突破,尤其是如今的 AI 大模型帶來的發展機會和機遇。

此次演講中,張宏江圍繞基於GPT-3技術的ChatGPT、AIGC的前沿趨勢、技術應用,從而詳細闡述 AI 大模型的產業發展機會與機遇。

首先,OpenAI 開發的GPT-3技術,基於Transformer預訓練語言模型架構、深度學習網路架構發展進步,向我們展示了從演算法到工程上的一系列突破,是工程化能力的典型代表。

從對話式文字問答平臺ChatGPT模型來看,基於WebGPT和InstructGPT的技術研究突破,ChatGPT讓我們對於人機對話有了一個完全性理解,既能作文,又能考試,還能寫程式,而且能夠擁有持續對話的能力。

從AIGC技術來看,從OpenAI 2021年1月釋出的DALL·E 1。0開始,按照一段文字、個人風格,透過 AI 大模型生成影象的方法風靡全球,代表了當前文圖生成的最新演算法,實現了 AI 技術的新突破。最近幾個月出現的Stable Diffusion是目前最好的技術。

在國內,北京智源人工智慧研究院於今年11月開發了AltDiffusion,以及開源文生圖系統FlagStudio等,將生成式模型進行了本地化,以及用文字+圖片形式產生新圖片的創新方案,從而實現技術進步。

“它其實代表著從以前‘大煉模型’(各自研發專用小模型),到‘煉大模型’(研發超大規模通用智慧模型)的一個正規化轉變。這個轉變有很重要的意義:透過這種比較先進的演算法架構,儘量整個可能多的資料,彙集大量算力,集約化的訓練達模式,從而供大量使用者使用。”張宏江表示,大模型的發展很可能會改變資訊產業的格局,改變以前作坊式 AI 開發模式,把 AI 應用帶入基於網際網路、雲計算的大規模智慧雲階段。

張宏江在總結中稱,儘管過去幾年 AI 技術行業碰到了一些技術瓶頸和商業化難題,但這種狀況會隨著大模型的發展和普及,尤其是透過大模型+微調的新技術開發正規化,將能夠使人工智慧的能力,更好、更有效的應用到各個場景裡面,從而大大降低開發成本。

張宏江強調,由於ChatGPT、AIGC等AI大模型技術不斷成熟,未來會帶來新的創業機會,包括更好的對話機器人、更好的機器翻譯,更好的創作平臺。

“大模型是一個快速發展、快速引爆市場的機會型技術,將會帶來新一波創業熱潮,無論是我們今天已經看到的應用,還是未來會看到的應用,都將會有非常大的潛力。”張宏江在演講的最後這樣表示。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

以下為張宏江演講實錄,略經鈦媒體App編輯:

各位嘉賓,各位鈦媒體的朋友,大家早上好。我是智源人工智慧研究院理事長 張宏江。

最近,大模型開始從學術界“燒”到了產業界,現在又“燒”到了大眾媒體,尤其是人工智慧生成模型(AIGC)的熱度還沒有褪去,然後ChatGPT的熱又一波接著一波。

那麼,最近人工智慧到底發生了什麼大的變化?這背後的原因是什麼?這些技術能夠用來做什麼?又將為我們的生活和工作帶來什麼?為中國的產業帶來什麼?我在這裡結合智源人工智慧研究院的一些工作,和大家分享一下我的理解和看法,尤其是針對ChatGPT和AIGC帶來 AI 大模型的發展機會和機遇。

過去這兩年,技術大模型已經成為人工智慧快速發展的關鍵技術,各大企業和高校、各個研究機構在這個領域上都進行了佈局和發力,各個領域的模型層出不窮。所以,大模型的研究和應用也將會逐步成為人工智慧發展的一個關鍵方向,從而形成了新一波人工智慧浪潮。尤其在應用領域,我相信會形成一個非常持久的浪潮。

自GPT-3於2020年5月份釋出開始,智源“悟道”在不到一年後的2021年6月釋出,是當時世界上最大的1。7萬億模型。隨後的一年多來,我們看到有更多的大模型研究出來。尤其是DALL·E模型和ChatGPT模型,來宣告“大模型”進入了一個新的高地。

從各個研究機構釋出的技術模型數量來看,“大模型”數量在持續增加,而且模型規模也越來越大,這背後其實有它非常深遠的技術和學術背景。

首先,從基礎技術角度看預訓練大模型的發展,回顧一下它的技術積累。

其實在15年前,深度學習逐步快速發展的時候,當時我們實際上處於一個探索的階段,因為構建深度學習的主要方式就是監督學習,這中間需要大量的人工標註的資料。而資料的生產週期長,而且也非常昂貴。那麼,如何能夠透過有限的人工標註,在特定的任務上構建更有效的神經網路,或是自動產生大量的資料,這其實是我們一直在研究的問題。

隨著深度學習技術發展,在大概七八年前,就出現了遷移學習技術,就是從過去學習的知識上不用再開始訓練,如果用新的資料加上去之後,再將已經捕獲的知識遷移到一個新的目標或新的應用上去。這兩塊是我們今天大模型非常重要的技術基礎——傳統的“監督學習”逐步變成“強化學習”。

另外,我們往往會忽略掉,人們認為,“大模型”的快速發展主要原因是學術發展比較快。但實際上,不止是學術發展,更重要的是“大模型”透過標註好的資料進行學習。這其實是過去幾年非常大的變化。另兩個很大的變化是:演算法、算力的要求上。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

所以我們說,深度學習主要有三個因素:資料、演算法和算力。

演算法的進展我就不多講。但資料的進展在過去十幾年裡是非常快速的——從一個最開始的人工標註,到開放的資料集分享,再到資料自動標註和生成式研究。而技術進展到了最近五年,我們開始把資料變成了“雲服務”,從而建立起了資料標註、處理、儲存管理一體的雲資料中心。這對於人工智慧的發展具有非常重要的推動作用。

另外一方面,我們從一開始推動 AI 專用晶片,比如英偉達的GPU(圖形處理器),到後來推動大規模分散式計算環境,再到我們今天已經有的大規模、高效能 AI 算力中心。這兩塊一個是資料,一個是專利,這中間是不可缺少的。而且,今天在整個過程中間,我們意識到另外一點,就是以前認為的基於深度學習的人工智慧技術的基礎研究,取得了一些演算法的突破。

更重要的是,“大模型”到了現在這個階段,工程化能力是非常重要的,尤其是GPT-3,向我們展示了從演算法到工程上的一系列突破。

GPT-3大模型是(工程化能力)典型代表。從演算法架構來看,它是建立在神經網路架構Transformer基礎之上的。它克服了傳統的神經網路技術用淺層的預訓練網路來捕捉單詞,並無法解決一詞多義等問題缺陷,而是優化了類人腦的一個學習過程。它在學習過程中間關注於重點而非全部,從而使得它的學習效率非常高。

隨著模型規模的變化,基於Transformer預訓練語言模型架構——這種隱含的豐富語言知識,從而使得它能夠在眾多下游NLP任務中間有驚人的表現。在此之前,谷歌的BERT就是建立在Transformer基礎上的,而OpenAI 的 GPT這一類模型也都是建立在這基礎之上的。所以,Transformer是這裡面(GPT-3)的核心所在,而且是近三年我們看到大模型發展最核心的深度學習架構。

那麼,GPT-3的出現有幾個里程碑式的意義:一是凸顯了Transformer生成式模型的學習能力;二是1750億模型規模非常大,其模型在小樣本和0樣本中的學習中間表現出了突出效能;三是GPT設計理念像語言學習(Language Learning)這種概念,也就是學習過程關注重點而非全部,有效利用資料進行核心學習,而非此前那種利用標註資料進行的深度學習過程。

事實上,今天GPT-3的學習過程的資料要求非常大,1750億引數量,約有700G大小,一次訓練成本大致花1200萬美金。所以,大模型的發展不光是演算法上的進步,在資料、算力上的要求也非常巨大。而大模型中有GPT-3這一類模型的話,核心優勢是利用這種模型進行微調就可以用了,用來做一些新的任務,這是以前模型所不具備的。

接下來,我們看一下 GPT-3在語言能力上的突破。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

無論是最早的英文GLUE Benchmark,還是後來的寫作,它都有了非常好的突破。因為這種大模型裡面隱含大量支援,對這些知識支援模型進行一些推理層面的任務,並得到了非常好的效果。比如,中文寫一篇關於個性化搜尋未來發展趨勢的論文,或1801年的美國總統是誰等,它從中間學會後記憶,並用在未來場景裡面。

另外,GPT-3在中文的文言文理解能力也讓人驚歎。這段來自於孟子的文言文是北京市小升初的題目,而GPT-3能夠非常好的理解它。

GPT-3釋出之後,OpenAI 釋出ChatGPT,簡直就是讓我們對於人機對話有了一個完全性理解。實際上,ChatGPT就是為對話而最佳化、在GPT-3基礎上最佳化的一個大語言模型,它在寫故事、寫程式碼,甚至參加SAT考試,都比GPT-3有非常大的進步。值得注意的是,它在SAT試題的回答是練習10次之後的水平,最終在數學滿分800分中達到600分,寫作滿分800分中拿到520分,相當了不起。

所以,馬斯克驚呼ChatGPT好的嚇人,他甚至預測危險的強 AI 離我們不遠了。實際上,ChatGPT確實在對話方面達到了一個新的高階,完全可以以假亂真,至少是記憶和學習能力超強的“超級鸚鵡”。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

那麼,ChatGPT為什麼能夠有這樣的能力?

我們知道,GPT-3已經是針對於語言的大模型。而OpenAI又在其基礎上做了兩個方向的研究:一是WebGPT,搭建基於文字的頁面瀏覽環境,教GPT-3上網查詢,再生成結果的同時生成引用來源,相對GPT-3大幅提升生成內容資訊量和事實性;二是InstructGPT,基於使用者反饋的強化學習RLHF,將語言模型的輸出與使用者的意圖非常好的align(對齊/相關)起來。這是InstructGPT的核心所在。

ChatGPT恰恰是建立在InstructGPT基礎之上的。之前深度學習,包括最早出現CNN/RNN到Transformer的框架,然後才出現GPT。回過來看,其實還是Transformer的出現,使我們今天在深度學習網路架構上有了新的突破。

ChatGPT既能作文,又能考試,還能寫程式。它的核心特點在於其持續對話能力,能夠記住歷史資訊和人的反饋,保持對話的一致性,容許使用者提供後續更正。他會意識到而且會挑戰你,做到了“知之為知之,不知為不知,是知也”,它也承認錯誤後進一步改進。而且其核心能力在於持續的迭代,大幅度提高使用者意圖理解和結果準確性,這就是InstructGPT特點與能力。

當然,ChatGPT也有一些侷限性,可能產生不正確的資訊,也可能產生一些有害指令或是偏見內容,而且它的訓練資料大部分是2021年以前的,所以過去6個月發生的事情它瞭解很有限,我覺得這些其實很正常。

接著,我們來聊聊AIGC(生成式人工智慧)模型——按照一段文字、個人風格來生成影象。

這一技術早在2021年1月(一年多),OpenAI 釋出 DALL·E 1。0開始的,它核心就是不斷學習文字和影象之間的匹配關係。自從DALL·E出現之後,又有一系列模型出現,最近幾個月出現的Stable Diffusion是目前最好的技術。

智源研究院在這個基礎上做了一些改善,於2022年11月公佈中文模型AltDiffusion,效果比Stable的標準要更好。

無論是Stable,還是其他一些文字生成影象模型,原理都是透過圖片離散編碼,然後將影象的Token和文字的Token作為Transformer decoder進行輸入,然後將大量圖片與文字對上。而一開始,DALL·E產生的影象還是相對來說比較簡單,那麼在此基礎上,Stable就把它的能力提高一大截。

需要提及的是,DALL·E是以皮克斯的WALL-E 和西班牙超現實主義畫家薩爾瓦多·達利(Salvador Dalí)的名字命名。

下面,我用智源的多語言生成模型AltDiffusion,來說一下Stable Diffusion以及我們AltDiffusion最近的一些工作。

開源的Stable Diffusion近幾個月出現之後,風靡了整個圈子,實際上代表了當前智慧文圖生成的最新演算法。它用AItCLIP替換了Stable Diffusion中的文字塔,使得模型可以支援多種語言,並在多語言圖文對資料集上進一步訓練。

實際上,這個不是靠人來做,而是靠機器來做,本身說話是一個很重要的技術。原理上,我們AltDiffusion對它進行了一些改善,所以它對於中文的理解就會更好,比如把中文的畫風也引進來。同時,它還支援除了中文以外的其他九種語言,包括法語、韓語、西班牙語、俄語、義大利語、阿拉伯語等。而且,不只有這些語料,很重要的是它在模型裡面做了一些改善。

當然,它也有一些很有意思的現象,就是對於不同語言、同樣內容的模型輸入,會有很大差異,其實中間也反映出了文化差異。那麼,我們的模型能夠適應於這一點,本身也是一個很好的技術問題。

好,這裡我給大家看一下智源研究院的開源文生圖系統FlagStudio。你注意看介面的話,可以選擇繪畫風格,以及藝術家風格,根據某個藝術家來定義畫風,比如這塊選擇的是虛擬引擎,畫出來虛幻圖片,用文字來描述你想要什麼解答。另外就是用一個文字離開描述,比如一籃子蘋果它給你生成一個蘋果,如果描述改成梨就是能生成對應風格,產生新的影象。而且,不光是用文字來產生圖片,而且用文字+圖片形式可以產生新的圖片,這是該模型能夠做的、也是現在生成式模型的一個很大進步。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

團隊用我的照片來做實驗,然後做了一個開源的系統,透過我不同時期的6幅照片,根據不同風格要求,產生新的影象,風格也多變,有的就比較年輕帥氣,有的就形象老態等。

我在前面很快介紹了大模型的發展,尤其是ChatGPT和AIGC技術的發展和其具備的能力。那麼,下面我花幾分鐘時間來談一下這些大模型,對於產業的影響在哪裡?

實際上,大模型代表了一個新的技術正規化。我們可以做個比喻,它其實代表著從以前“大煉模型”(各自研發專用小模型),到“煉大模型”(研發超大規模通用智慧模型)的一個轉變。這個轉變有很重要的意義:透過這種比較先進的演算法架構,儘量整個可能多的資料,彙集大量算力,集約化的訓練達模式,從而供大量使用者使用。

所以,大家可以注意到,著從某種意義上來說,它是從小農經濟到大規模生產的一個很重要的變化,就像當初電網的變革一樣,此前自己發電,而今天要用 AI,就不需要再做模型了,而是用已有的大模型,以一種服務方式提供給使用者。這很可能會改變資訊產業的格局,改變以前作坊式 AI 開發模式,把 AI 應用帶入基於網際網路、雲計算的大規模智慧雲階段。

那麼,它的重要性、優勢在哪兒?我認為是有技術和產業的雙重優勢。很重要的一點在於,透過微調方式把大模型能力,能夠有效轉移到各種不同的應用場景中間,不再需要自己重新從0開始做模型,從而大大降低開發成本,使得它的應用會變得更加迅速、更加有效。

最近,IDC的一篇報告曾指出,超大模型將是快速引爆市場機會型的技術,這點我完全同意。

實際上,大模型是人工智慧這一波浪潮,經過十幾年發展之後的一個非常重要的拐點。下面我結合自己的體會,分享一下我對這個產業影響的一些看法。

從應用場景上來看,文字生成或是圖文生成的模型,會很快應用到各種各樣的場景(應用)中間。今天我們已經看到了剛才演示的文生圖幾個場景。其實大家可以想象,那麼它可以用來做一系列應用,更不用說寫GPT-3、ChatGPT的寫作能力、問答能力等。

我相信,由於這些(DALL·E、ChatGPT等)大模型技術本身不斷成熟,會帶來新的創業機會,包括更好的對話機器人、更好的機器翻譯,更好的創作平臺。

另外一方面,這些大模型會帶來一些 AI 基礎設施創業的可能性,包括垂直性訓練、大模型運營管理訓練等。在美國有一家公司發展比較快,叫做Hugging Face,專門做大模型的訓練和推廣,尤其是一些開源的推廣。

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

在應用方面的話,其實中國發展速度也很快。雖然目前發展狀況是國外的頭部企業引領技術和商業應用,國內可能會落後兩年,但是,中國的落地能力非常強。

不過比較悲催的是,實際上,從學術技術研究方面看,OpenAI 公司在過去三年獨領風騷,無論是從GPT-1、GPT-2、GPT-3,尤其是GPT-3和ChatGPT出來之後,從研究角度來說它搭好了框架,佔據了第一位置。

雖然其他人這兩年做了很多模型,但從學術角度來看,其實我們都是在給它“補漏”。也就是說,在給它打工。

那麼從學術角度來說,這其實要呼喚中國的學術原創性、學術創新能力。

但是從應用角度來看,文字生成、影象生成、音訊生成、影片生成、虛擬人、元宇宙等場景,只要國外有的公司,中國都有比它更多的公司。而且我相信,中國的落地能力、應用場景一定會比他們走的更快。

此外,我們除了講的ChatGPT和 AIGC生成模型之外,其實大模型還有更多質變潛力,尤其是我們今天看到,包括大模型在內的人工智慧技術,在生命科學、材料科學、能源科學和環境健康等方面,都可以利用大模型來生成、驅動新的研究發現。尤其在 AI 製藥、材料設計等領域,AI都有非常好的前景,而且已經開始落地。

最後,總結一下,我們認為,大模型實際上是 AI 第三波浪潮的一個拐點。

相比之前第一波和第二波浪潮,如今第三波浪潮,就是以深度學習、神經網路為代表的大概15年前開始的浪潮。

那麼其實,過去幾年,這一波浪潮已經碰到了一些技術瓶頸和商業化難題,使得我們 AI 企業的商業化非常不順,高估值泡沫逐漸破裂,而且一些上市公司的技術找不到核心應用,或者說在核心應用上無法進行突破,那麼從而使得它的 AI 技術賦能和增值情況都很有限。

但如今,這種狀況會隨著大模型的發展和普及,尤其是透過大模型+微調的新技術開發正規化,將能夠使人工智慧的能力,更好、更有效的應用到各個場景裡面去,而不需要每家企業/機構都要開發自己的模型,從而大大降低了開發成本。

所以,大模型是一個快速發展、快速引爆市場的機會型技術,將會帶來新一波創業熱潮,無論是我們今天已經看到的應用,還是未來會看到的應用,都將會有非常大的潛力。

好,謝謝大家。今天講到這兒。

(本文首發鈦媒體App)

*明日預告:

聽說明天一位嘉賓,遊戲大拿周志峰,會在演講時當眾玩發大紅包 的遊戲 敬請期待!

熱點影片推薦

2022年12月,是鈦媒體上線十週年,十年來,我們見證了中國科技創新的高速發展,也陪伴了許多逐夢路上的創業者。感恩鈦媒體十年來,朋友們的暖心祝福與陪伴,新十年,我們一起再出發!2022T-EDGE暨鈦媒體十年致敬正在進行中,關注@鈦媒體 影片號,第一時間抵達現場。

點贊關注鈦媒體影片號,觀看更多精彩視

*溫馨提示:喜歡鈦媒體公眾號的小夥伴注意啦!根據公眾號推送新規,請將鈦媒體設為“星標”,這樣才能第一時間收到推送訊息,已設定的小夥伴還需要重新設定“星標”哦

——————-華麗的分割線——————

下載鈦媒體App,領先一步,更深一度

關於chatGPT爆火,張宏江這篇分享講透了,大模型正成為AI浪潮的重要...

下載【鈦媒體App】,領先一步,更深一度。

萬水千山總是情,點個在看行不行

頂部