清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

曉查 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

要說2021年OpenAI最熱最有創意的產品,那麼非Dall·E莫屬了,這是一個可以從“AI設計師”,只要給它一段文字,就能按要求生成影象。但可惜的是Dall·E並不支援中文。

現在好了,最近清華大學唐傑團隊打造了一個“中文版Dall·E”——CogView,它可以將中文文字轉影象。

CogView可以生成現實中真實存在場景,如“一條小溪在山澗流淌”:

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

也可以製造不存在的虛擬事物,如“貓豬”:

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

有時候還有點黑色幽默,如“一個心酸的博士生”:

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

CogView現在還提供了試玩網頁,你可以在那裡輸入任何文字去轉成圖形,不像OpenAI的Dall·E只提供幾個關鍵詞修改選項。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

能指定畫風,能設計服裝

CogView的能力可不僅僅是從文字輸入影象,它還能處理不同微調策略的下游任務,例如風格學習、超解析度、文字影象排名和時裝設計。

在使用CogView的時候,可以加入不同風格限定,從而生成不同的繪畫效果。在微調期間,影象對應的文字也是“XX風格的影象”。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

CogView設計的服裝也像模像樣,看起來就像電商展示頁,沒有虛假痕跡。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

原理

CogView是一個帶有VQ-VAE分詞器40億引數的Transfomer,它的總體結構如下:

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

CogView使用GPT模型處理離散字典上的token序列。然後將學習過程分為兩個階段:編碼器和解碼器學習最小化重建損失,單個GPT透過串聯文字最佳化兩個負對數似然 (NLL) 損失。

結果是,第一階段退化為純離散自動編碼器,作為影象tokenizer將影象轉換為標記序列;第二階段的GPT承擔了大部分建模任務。

影象tokenizer的訓練非常重要,方法有最近鄰對映、Gumbel取樣、softmax逼近三種,Dall·E使用的是第三種,而對於CogView來說三者差別不大。

CogView的主幹是一個單向Transformer,共有48層、40個注意力頭、40億引數,隱藏層的大小為2560。

在訓練中,作者發現CogView有兩種不穩定性:溢位(以NaN損失為特徵)和下溢(以發散損失為特徵),然後他們提出了用PB-Relax、Sandwich-LN來解決它們。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

最後,CogView在MS COCO實現了最低的FID,其效能優於以前基於GAN的模型和以及類似的Dall·E。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

而在人工評估的測試中,CogView被選為最好的機率為37。02%,遠遠超過其他基於GAN的模型,已經可以與Ground Truth(59。53%)競爭。

清華唐傑團隊造了個"中文AI設計師",效果比Dall·E好,可線上試玩

另外作者已經放出了GitHub專案頁,不過目前還沒有程式碼,感興趣的朋友可以關注一下等程式碼放出。

論文地址: https://arxiv。org/abs/2105。13290

試用Demo: https://lab。aminer。cn/cogview/index。html

GitHub頁: https://github。com/THUDM/CogView

頂部