ChatGPT“克星”：用AI識(shí)別AI生成的文本，英語(yǔ)論文閱讀筆記都能測(cè)出
ChatGPT的出現(xiàn)，讓不少人看到了交期末大作業(yè)的曙光（手動(dòng)狗頭）。
無(wú)論是英語(yǔ)論文、還是閱讀筆記，只要在ChatGPT的知識(shí)范圍內(nèi)，都可以拜托它幫忙完成，寫出來(lái)的內(nèi)容也有理有據(jù)。
不過，有沒有想過你的老師也準(zhǔn)備用“AI文本檢測(cè)器”一類的東西來(lái)防止你作弊？
像這樣輸入一段看起來(lái)沒毛病的筆記，經(jīng)過它一番檢測(cè)，認(rèn)為這段文字“由AI編寫”（Fake）的可能性為99.98%！
△文本由ChatGPT生成
換個(gè)數(shù)學(xué)論文試試？ChatGPT的輸出看起來(lái)沒啥問題，卻仍然被它準(zhǔn)確識(shí)破了：
△文本由ChatGPT生成
這可不是靠瞎蒙或猜測(cè)，畢竟對(duì)方同樣是個(gè)AI，還是個(gè)訓(xùn)練有素的AI。
看到這有網(wǎng)友調(diào)侃：用魔法打敗魔法？
用AI寫的東西來(lái)訓(xùn)練新AI
這個(gè)AI檢測(cè)器名叫GPT-2 Output Detector，是OpenAI聯(lián)合哈佛大學(xué)等高校和機(jī)構(gòu)一起打造的。（沒錯(cuò)，OpenAI自家做的）
輸入50個(gè)以上字符（tokens）就能較準(zhǔn)確地識(shí)別AI生成的文本。
但即便是專門檢測(cè)GPT-2的模型，用來(lái)檢測(cè)其他AI生成文本效果也同樣不錯(cuò)。
作者們先是發(fā)布了一個(gè)“GPT-2生成內(nèi)容”和WebText（專門從國(guó)外貼吧Reddit上扒下來(lái)的）數(shù)據(jù)集，讓AI理解“AI語(yǔ)言”和“人話”之間的差異。
隨后，用這個(gè)數(shù)據(jù)集對(duì)RoBERTa模型進(jìn)行微調(diào)，就得到了這個(gè)AI檢測(cè)器。
RoBERTa（Robustly Optimized BERT approach）是BERT的改進(jìn)版。原始的BERT使用了13GB大小的數(shù)據(jù)集，但RoBERTa使用了包含6300萬(wàn)條英文新聞的160GB數(shù)據(jù)集。
其中，人話一律被識(shí)別為True，AI生成的內(nèi)容則一律被識(shí)別為Fake。
例如這是一段從Medium英文博客上復(fù)制的內(nèi)容。從識(shí)別結(jié)果來(lái)看，很顯然作者是親自寫的（手動(dòng)狗頭）：
△文字來(lái)源Medium@Megan Ng
當(dāng)然，這個(gè)檢測(cè)器也并非100%準(zhǔn)確。
AI模型參數(shù)量越大，生成的內(nèi)容越不容易被識(shí)別，例如1.24億參數(shù)量的模型“被抓包”的概率就比15億參數(shù)更高。
同時(shí)，模型生成結(jié)果隨機(jī)性越高，AI生成內(nèi)容被檢測(cè)出來(lái)的概率也會(huì)更低。
但即便將模型調(diào)整到生成隨機(jī)性最高（Temperature=1，越接近0生成隨機(jī)性越低），1.24億參數(shù)模型被檢測(cè)出的概率仍然是88%，15億參數(shù)模型被檢測(cè)出的概率仍然有74%。
這是OpenAI兩年前發(fā)布的模型，當(dāng)時(shí)對(duì)GPT-2生成的內(nèi)容就“一打一個(gè)準(zhǔn)”。
現(xiàn)在面對(duì)升級(jí)版的ChatGPT，檢測(cè)英文生成內(nèi)容的效果依舊能打。
但面對(duì)ChatGPT生成的中文，它的識(shí)別能力就不那么好了。例如讓ChatGPT來(lái)一段作文：
AI檢測(cè)器給出是人寫的概率為99.96%……
當(dāng)然話說(shuō)回來(lái)，ChatGPT也能檢測(cè)自己生成的文本。
所以，不排除老師將你的作業(yè)直接交給ChatGPT來(lái)識(shí)別：
One More Thing
值得一提的是，ChatGPT表示自己并不能訪問互聯(lián)網(wǎng)來(lái)搜索信息。
顯然，它還意識(shí)不到GPT-2 Output Detector這個(gè)AI檢測(cè)器的存在：
所以能不能像網(wǎng)友所說(shuō)，讓ChatGPT生成一段“不被AI檢測(cè)器測(cè)出來(lái)的”內(nèi)容呢？
很遺憾不能：
所以大作業(yè)還是自己寫吧……
[4]https://medium.com/user-experience-design-1/how-chatgpt-is-blowing-google-out-of-the-water-a-ux-breakdown-784340c25d57
