當(dāng)你被AI無辜扣上「作弊」的帽子，作何感想？

這件事恰恰發(fā)生在了一位高三學(xué)生Lucy Goetz身上。原本她寫的一篇社會(huì)主義原創(chuàng)論文得了最高分。

但是，Turnitin公司的AI寫作檢測器竟說，Goetz論文結(jié)尾是用ChatGPT生成的。

Goetz震驚道，「我很高興能和老師們保持良好的關(guān)系」。

簡言之，還好老師了解我，不然跳進(jìn)黃河都洗不清了。

而更令人驚訝的是，這個(gè)ChatGPT檢測器現(xiàn)在已經(jīng)被210萬名教師使用。

AI無法打敗AI

Goetz的論文中被標(biāo)記出的部分屬于異常情況，但這表明檢測器有時(shí)會(huì)出錯(cuò)。

顯然，AI是無法打敗AI的。這對許多學(xué)生來說可能產(chǎn)生災(zāi)難性的后果。

為了測試Turnitin的檢測器，記者Geoffrey A. Fowler對Goetz在內(nèi)的5名高中生進(jìn)行了測試。

他們創(chuàng)作了16篇涵蓋真實(shí)、AI生成，以及混合來源的論文樣本。

結(jié)果如何呢？

Turnitin的檢測器至少在一半以上的樣本中出現(xiàn)錯(cuò)誤，僅是準(zhǔn)確識別出了其中6篇，但在3篇上的檢測都失敗了。其中就包括對Goetz原創(chuàng)論文中8%內(nèi)容的標(biāo)記錯(cuò)誤。

對于剩下的7篇，F(xiàn)owler稱，「我只會(huì)給它部分分?jǐn)?shù)，因?yàn)樗呐袛啻笾抡_，但錯(cuò)誤識別了一些ChatGPT生成或混合來源的寫作部分?！?/span>

然而，Turnitin聲稱其檢測器的整體準(zhǔn)確率達(dá)到98%。該公司還表示，在其自身測試中，類似Goetz論文的情況（即假陽性）發(fā)生的概率不到1%。

Turnitin的AI檢測器詳細(xì)頁面會(huì)分配一個(gè)總分，并突出顯示疑似AI生成的句子。該公司表示，它故意用藍(lán)色而非紅色標(biāo)記疑似AI生成的段落，并在得分下方鏈接教師資源。

加州康科德市Goetz的AP英語課老師Rebecca Dell表示，Turnitin標(biāo)記AI文本的系統(tǒng)并不總是有效，這令人擔(dān)憂。

與抄襲指控不同，AI作弊沒有源文件作為證據(jù)，這最容易讓老師對學(xué)生帶有偏見。

或許并不是每個(gè)人都像Goetz那么幸運(yùn)。

Goetz表示，「對于學(xué)生來說，被指控AI作弊尤其令人恐懼。除非你的老師了解你的寫作風(fēng)格，或者對你非常信任，否則沒有辦法證明你沒有作弊」。

AI檢測為何如此困難

自ChatGPT面世以來，已經(jīng)被許多高校的學(xué)生和老師用在日常的作業(yè)和教學(xué)中。

然而，如果不加以限制，ChatGPT將會(huì)變成史上最強(qiáng)大的作弊工具，可以幫助學(xué)生們寫作業(yè)，甚至是完成考試論文。

為了反偵察，一款簡單易用的檢測器成為老師期盼的東西。一位22歲普林斯頓大學(xué)的學(xué)生Edward Tian，就自行開發(fā)了一款檢測器——GPTZero。

甚至，OpenAI官宣推出一個(gè)新工具，名為AI Text Classifier的文件檢測器。

但是，這些檢測器的表現(xiàn)并不如人意。

檢測出AI創(chuàng)作的內(nèi)容聽起來很簡單。但當(dāng)給你一封手寫郵件和ChatGPT生成的郵件后，我們幾乎無法辨別。

Turnitin的人工智能副總裁Eric Wang稱，用軟件檢測人工智能寫作涉及統(tǒng)計(jì)學(xué)。從統(tǒng)計(jì)學(xué)的角度來看，人工智能與人類的區(qū)別在于它極其穩(wěn)定地處于平均水平。

直白點(diǎn)講，AI水平很穩(wěn)定。然而，實(shí)際上并非這樣一個(gè)道理。

「像ChatGPT這樣的系統(tǒng)就像是自動(dòng)補(bǔ)全的高級版本，尋找下一個(gè)最可能要寫的單詞。這實(shí)際上就是它為什么讀起來如此自然的原因。AI寫作是人類寫作中最可能的子集?！?/span>

Turnitin的檢測器便會(huì)「識別出書寫過于一致的平均情況」。挑戰(zhàn)就在于，有時(shí)候有時(shí)人類的寫作可能確實(shí)看起來處于平均水平。

在經(jīng)濟(jì)學(xué)、數(shù)學(xué)和實(shí)驗(yàn)室報(bào)告中，學(xué)生傾向于遵循固定的寫作風(fēng)格，這意味著他們更有可能被誤認(rèn)為是AI寫作。

這可能就是為什么Turnitin錯(cuò)誤地標(biāo)記了Goetz的論文，因?yàn)樗膬?nèi)容涉及到經(jīng)濟(jì)學(xué)。

Wang表示，Turnitin努力調(diào)整其系統(tǒng)，在標(biāo)記某個(gè)句子為AI生成之前需要更高的置信度，以便在這方面犯錯(cuò)。

并稱，自己家的軟件已經(jīng)有了很大的進(jìn)展?！肝沂状卧?月下旬測試Goetz的論文時(shí)，該軟件識別出其中大約50%是AI生成的。Turnitin在3月下旬再次通過其系統(tǒng)運(yùn)行我的樣本，那時(shí)只標(biāo)記了Goetz論文中的8%為AI生成的?！?/span>

Turnitin的檢測器也面臨其他重要的技術(shù)限制。

在它完全檢測正確的6個(gè)樣本中，它們都明顯是100%的學(xué)生作品，或由ChatGPT生成的。

但是當(dāng)用混合AI和人類來源的論文進(jìn)行測試時(shí)，它經(jīng)常錯(cuò)誤識別單個(gè)句子，或完全漏掉人類部分。而且它無法在通過Quillbot（一個(gè)可以重新組合句子的改寫程序）處理的論文中發(fā)現(xiàn)ChatGPT的痕跡。

此外，Turnitin的檢測器可能已經(jīng)落后于當(dāng)前的人工智能技術(shù)水平。

因?yàn)榫湍肅hatGPT來說吧，現(xiàn)在已經(jīng)得到了GPT-4的加持，而且具有更多的創(chuàng)造性和風(fēng)格化能力。

英偉達(dá)科學(xué)家Jim Fan稱，我認(rèn)為檢測器在長期內(nèi)是不可靠的。人工智能會(huì)變得越來越好，并且會(huì)以越來越像人類的方式進(jìn)行寫作?？梢钥隙ǖ卣f，隨著時(shí)間的推移，這些語言模型的小怪癖都會(huì)減少。

用AI檢測，是個(gè)好主意嗎？

既然有出錯(cuò)的潛在可能性（即使只有1%），為什么還要發(fā)布人工智能檢測器呢？

Chechitelli說，「教師希望有威懾作用」。然而，一些教育工作者擔(dān)心這實(shí)際上會(huì)提高學(xué)生的緊張程度。

4月4日，Turnitin已經(jīng)為大約10,700所中等教育和高等教育機(jī)構(gòu)激活了這款ChatGPT檢測器，對學(xué)生作業(yè)進(jìn)行「由AI生成」的評分以及逐句分析。

密歇根大學(xué)迪爾伯恩分校的數(shù)字教育副教務(wù)長Mitchel Sollenberger請求Turnitin不要在初始發(fā)布時(shí)為其校園激活A(yù)I檢測。

他擔(dān)憂的是，每學(xué)期約2萬份學(xué)生論文，通過Turnitin進(jìn)行檢測的教師可能會(huì)因誤報(bào)，從而導(dǎo)致毫無根據(jù)的學(xué)術(shù)誠信調(diào)查。教師不應(yīng)該成為第三方軟件系統(tǒng)的專家。