OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

智東西

編譯 | ZeR0

編輯 | 漠影

智東西2月1日報道,今日,美國AI初創公司OpenAI宣佈推出一個

AI文字分類器

,用於輔助辨別文字是由人類還是AI(人工智慧)編寫的。

這款AI工具可免費試用。使用者將待檢測文字複製到文字框中,點選Submit,系統就會評估該文字由AI系統生成的可能性,給出評估結果。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

評估結果分成5類:

非常不可能、不太可能、不清楚、可能、非常可能

是AI生成

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

目前試用這款AI文字分類器有一些限制,要求

至少1000個字元

,大約150-250個單詞。

該工具在檢測大於1000個字元的英文文字時效果更好,在檢測其他語言時的表現要差得多,而且無法辨別計算機程式碼是由人類還是AI寫的。

AI文字分類器直通門:

https://platform。openai。com/ai-text-classifier

#FormatStrongID_1##FormatStrongID_2##FormatStrongID_3##FormatStrongID_4##FormatStrongID_5##FormatStrongID_6##FormatStrongID_7#

AI文字分類器意在解決ChatGPT爆紅之後引發的爭議。

OpenAI在去年11月推出的ChatGPT聊天機器人,不僅能準確回答專業問題,還能撰寫詩詞歌賦、廣告文案、散文小說、電影劇本、程式設計程式碼等各類文字,大受使用者的稱讚追捧。

但隨著使用者越來越多,ChatGPT的問題也很快暴露出來。一方面是它本身的侷限性,例如素材來源可能涉及抄襲、侵權,或者有時會寫出看似正確實則錯誤的文字;另一方面是濫用風險,例如有些人會用AI工具作弊、散播虛假資訊等。

為了緩解這些問題,OpenAI打造了一個全新的

AI文字分類器

這是一個GPT語言模型,對從各種來源收集的同一主題的人類編寫文字和AI編寫文字的資料集進行了微調,使用了來自5個不同組織的34個模型生成的文字,以檢測該文字由AI生成的可能性。

人類編寫文字的資料集來自三個來源:一個新的維基百科資料集、2019年收集的WebText資料集、一組作為訓練InstructGPT的一部分收集的人類演示。

OpenAI將每個文字分成了“

提示(prompt)

”和“

回覆(response)

”,根據這些提示,從OpenAI和其他組織訓練的各種不同的語言模型中生成了回覆。對於Web應用程式,OpenAI調整了置信度閾值,以保持低誤報率;換句話說,只有當分類器非常有信心時,它才會將文字標記為可能是AI編寫的。

OpenAI也貼心地為試用者備好了引用這款AI文字分類器的BibTex格式。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

二、1秒給出分類結果,但偶爾錯把人類當AI

我們分別用幾段ChatGPT生成文字、幾段外媒新聞報道內容,測了測AI文字分類器的表現。

首先,讓ChatGPT就中美前沿人工智慧研究的不同之處分析了一通。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

ChatGPT針對“中美前沿AI研究有哪些不同”問題的回答

接著將這些文字複製貼上到分類器的文字框中。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

AI文字分類器秒出判斷

結果,AI文字分類器1秒判斷出這非常可能是AI生成的(likely AI-generated)。

換幾段由人類寫的分析生成式AI風險的內容:

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

AI分類器很快給出評估結果

AI文字分類器這次花得時間略長,2秒給出結果:非常不可能是AI生成的(very unlikely AI-generated)。評估結果依然準確。

不過,再提升點難度,分類器就不太靈了。

知名AI研究人員Sebastian Raschka用莎士比亞《麥克白》第一頁的內容做測試,發現AI文字分類器誤判為“很可能是AI生成的(likely AI-generated)”。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

看來在AI文字分類器眼中,莎士比亞已經走在了時代的前面

Sebastian Raschka還從自己在2015年出版的Python ML書摘錄了好幾段,AI文字分類器的識別也不是很準,Randy Olson的前言部分被識別成“不清楚是否由AI生成”,他自己寫的前言部分被識別成“可能是AI生成的”,第一章部分被識別成“很可能是AI生成的”。

OpenAI推出ChatGPT“剋星”,秒辨AI生成文字,但錯把莎翁判成AI

看到一系列令人啼笑皆非的測試結果後,他評價說:“在ChatGPT讓你的作業變得更簡單之後,它現在比以前更難了。現在,你必須多次修改自己的措辭,直到它們看起來不再是AI生成的,然後才能提交。”

1秒給出分類結果,

OpenAI在與訓練集分佈相同的驗證集和挑戰集上評估了其AI文字分類器和之前釋出的分類器,挑戰集由人類編寫的補全(completions)和來自在人類補全上訓練的強語言模型的補全組成。

結果顯示,與OpenAI之前釋出的分類器相比,全新AI文字分類器的可靠性要高得多,在驗證集上的AUC得分為0。97,在挑戰集上為0。66(OpenAI之前釋出的分類器在驗證集上為0。95,在挑戰集上為0。43)。分類器可靠性通常隨著輸入文字長度的增加而提高。

OpenAI還發現,

但偶爾錯把人類當AI

換句話說,隨著語言模型規模變大,它的輸出對AI文字分類器來說更像人類編寫的文字。

OpenAI在部落格中坦言其分類器“

三、識別正確率僅26%,AI文字分類器還有很多侷限性

”,比如在低於1000個字元的短文字上非常不可靠,即使是較長的文字有時也會被錯誤標記,有時人類書寫的文字也會被錯判成AI編寫的文字。

在對英語文字“挑戰集”的評估中,該分類器正確地將

識別正確率僅26%

的AI創作文字識別為“可能是AI編寫的”,而在

AI文字分類器還有很多侷限性

的時間內錯誤地將人類創作文字標記為AI編寫。

OpenAI建議只對

隨著生成文字模型大小的增加,分類器的效能會下降。

使用該AI文字分類器,因為它在其他語言中的表現要差得多,而且在程式碼上不可靠。此外,它也很難識別有標準正確答案的文字,例如你很難判斷“1+1=2”是人類還是AI寫的。AI文字分類器很可能在兒童編寫的文字和非英語文字上出錯,因為它主要是在成人編寫的英語內容上進行訓練。

AI書寫的文字可以透過編輯來逃開分類器的檢測。OpenAI分類器可根據成功的攻擊進行更新和重新訓練,但還不清楚從長期來看檢測是否具有優勢。

OpenAI也提醒道,基於神經網路的分類器在訓練資料之外的校準

不完全可靠

。對於與訓練集中的文字有很大不同的輸入,分類器有時可能對錯誤的預測非常有信心。

26%

由於上述侷限性,OpenAI建議在確定內容來源的調查中只使用分類器作為眾多因素中的一個,並對AI產生的虛假資訊行為的風險、對大型語言模型在教育領域構成的風險進行研究。

OpenAI正與美國教育工作者合作,討論ChatGPT的能力和侷限性,併為教育工作者開發了一個關於使用ChatGPT的初步資源,其中概述了一些用途以及相關的限制和考慮因素。

9%

https://platform。openai。com/docs/chatgpt-education

透過將AI文字分類器公開,OpenAI希望從使用者那裡獲得更多有價值的反饋,以進一步改進OpenAI在檢測AI生成文字方面的工作。

頂部