此前，曾有不少人研發(fā)ChatGPT檢測(cè)器，但沒有一個(gè)能夠真正有效鑒別。

來自堪薩斯大學(xué)的研究人員介紹了一種全新的算法，能夠檢測(cè)是否用ChatGPT作弊，準(zhǔn)確率超99% 。

最新研究已在6月7日，發(fā)表在Cell Reports Physical Science期刊上。

圖片

該論文的作者之一、堪薩斯大學(xué)化學(xué)教授Heather Desaire表示，

「我們努力創(chuàng)建一種易于使用的方法，這樣，即便是高中生，只需很少的指導(dǎo)，也可以為不同類型的寫作構(gòu)建一個(gè)人工智能檢測(cè)器?！?/span>

四大特征，99%識(shí)別率

就像研究者所稱，90%準(zhǔn)確性往往是不夠的。但要獲得更高準(zhǔn)確性，取舍往往是普遍性。

這項(xiàng)研究中，研究人員選取了人類作者撰寫的64篇「科學(xué)」雜志上的研究文章，涵蓋從生物學(xué)到物理學(xué)的各個(gè)學(xué)科。

然后，將這些數(shù)據(jù)喂給ChatGPT，并用這些數(shù)據(jù)生成了一個(gè)128篇人工智能文章的數(shù)據(jù)集。

這組訓(xùn)練數(shù)據(jù)，包含1276段聊天機(jī)器人示例段落。

研究者利用這些數(shù)據(jù)構(gòu)建了ChatGPT檢測(cè)算法。

在模型完全開發(fā)和優(yōu)化后，他們還生成了兩個(gè)測(cè)試集。每個(gè)測(cè)試集有30篇真實(shí)文章和60篇ChatGPT撰寫的文章（總計(jì)1210段）組成了一個(gè)新的數(shù)據(jù)集，來測(cè)試最新算法。

實(shí)驗(yàn)結(jié)果顯示，最新算法能夠100%檢測(cè)到ChatGPT寫的整篇文章。

在段落層面上，其準(zhǔn)確性較低，但仍令人印象深刻：該算法發(fā)現(xiàn)了92%的由人工智能生成的段落。

圖片

值得一提的是，論文稱，從一些細(xì)節(jié)中就能發(fā)現(xiàn)，哪些內(nèi)容是ChatGPT創(chuàng)作的。

通過對(duì)訓(xùn)練集中許多示例的手動(dòng)比較，研究者確定了4類特征。這些特征有助于區(qū)分人類寫作和聊天機(jī)器人。

（1）段落復(fù)雜性，（2）句子長度多樣性，（3）標(biāo)點(diǎn)符號(hào)，以及（4）流行詞或數(shù)字

總的來說，人類作家寫的段落更長、使用詞匯量更大，包含更多的標(biāo)點(diǎn)符號(hào)。

而且，還傾向于用「然而」、「但是」和「盡管」這樣的詞來修飾他們的陳述。而ChatGPT在引用數(shù)字，提及其他科學(xué)家方面沒有那么具體。

在如下表分類中，人類擅長的內(nèi)容要比ChatGPT多得多。

圖片

在這四類特征中，有兩類（1和3）是ChatGPT產(chǎn)生的內(nèi)容不如人類復(fù)雜的方式。最大的區(qū)別特征是每段句子的數(shù)量和每段總單詞的數(shù)量。

在這兩種情況下，ChatGPT的平均值都明顯低于人類。

研究者還發(fā)現(xiàn)，人類更喜歡改變句子結(jié)構(gòu)。人類改變句子長度的次數(shù)超過ChatGPT。人類也更頻繁地使用較長的句子（35個(gè)單詞或更多）和較短的句子（10個(gè)單詞或更少）。

剩下的兩類區(qū)分特征可以更多地描述為「文體」選擇。

一方面，人類科學(xué)家更頻繁地使用問號(hào)、破折號(hào)、括號(hào)、分號(hào)和冒號(hào)，而ChatGPT使用更多的單引號(hào)。

人類還使用更多的專有名詞和/或首字母縮略詞，還有數(shù)字。

這個(gè)由Desaire公司建立的這個(gè)模型，對(duì)于那些希望懲罰作弊的高中生的老師來說，是行不通的。

該算法是為學(xué)術(shù)寫作而建立的，特別是人們?cè)诳茖W(xué)期刊上讀到的那種學(xué)術(shù)寫作。

這家公司表示，理論上你可以使用同樣的技術(shù)來建立一個(gè)模型，來檢測(cè)其他類型的寫作。

不過，不得不考慮的一個(gè)事實(shí)是，一個(gè)人可以很容易地對(duì)一個(gè)聊天機(jī)器人的寫作進(jìn)行一些小調(diào)整，并讓其更難被發(fā)現(xiàn)是作弊，事情就更復(fù)雜了。

當(dāng)你考慮到這樣一個(gè)事實(shí)，一個(gè)作者可以很容易地對(duì)一個(gè)聊天機(jī)器人的寫作進(jìn)行一些小的調(diào)整，并使它更難被發(fā)現(xiàn)時(shí)，事情就崩潰了。

盡管如此，研究人員將這項(xiàng)研究描述為「概念證明」，并表示未來可以開發(fā)一個(gè)更加穩(wěn)定，準(zhǔn)確的工具與更大的數(shù)據(jù)集。

如果人工智能繼續(xù)以極快速度發(fā)展下去，誰也無法保證這樣的檢測(cè)方法，能否依然有效。

因?yàn)榇笮驼Z言模型越接近復(fù)制人類語言文字的能力，識(shí)別機(jī)器人語言的痕跡就越困難。

AI檢測(cè)為何如此困難

自ChatGPT面世以來，已經(jīng)被許多高校的學(xué)生和老師用在日常的作業(yè)和教學(xué)中。

然而，如果不加以限制，ChatGPT將會(huì)變成史上最強(qiáng)大的作弊工具，可以幫助學(xué)生們寫作業(yè)，甚至是完成考試論文。

為了反偵察，一款簡(jiǎn)單易用的檢測(cè)器成為老師期盼的東西。一位22歲普林斯頓大學(xué)的學(xué)生Edward Tian，就自行開發(fā)了一款檢測(cè)器——GPTZero。

圖片

甚至，OpenAI官宣推出一個(gè)新工具，名為AI Text Classifier的文件檢測(cè)器。

但是，這些檢測(cè)器的表現(xiàn)并不如人意。

圖片

檢測(cè)出AI創(chuàng)作的內(nèi)容聽起來很簡(jiǎn)單。但當(dāng)給你一封手寫郵件和ChatGPT生成的郵件后，我們幾乎無法辨別。

Turnitin的人工智能副總裁Eric Wang稱，用軟件檢測(cè)人工智能寫作涉及統(tǒng)計(jì)學(xué)。從統(tǒng)計(jì)學(xué)的角度來看，人工智能與人類的區(qū)別在于它極其穩(wěn)定地處于平均水平。

直白點(diǎn)講，AI水平很穩(wěn)定。然而，實(shí)際上并非這樣一個(gè)道理。

「像ChatGPT這樣的系統(tǒng)就像是自動(dòng)補(bǔ)全的高級(jí)版本，尋找下一個(gè)最可能要寫的單詞。這實(shí)際上就是它為什么讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集。」