突破100萬用戶!華人本科生最強AI檢測器GPTZero:美國憲法是AI寫的
ChatGPT的爆火,不僅讓眾多學生有了作弊利器,也讓一眾自己寫論文的清白好學生,無故蒙冤!
要說起原因,不由讓人深感荒謬——都是因為那些為了「用魔法打敗魔法」而造出的各種AI檢測器。
實測不可靠,美國憲法竟出自AI之手?
眾多AI檢測器中,最出名的一個便是由普林斯頓華人本科生Edward Tian創(chuàng)建的GPTZero——它不僅免費,而且效果拔群。
我們只需把文字復制粘貼進去,GPTZero就可以明確地指出一段文字中,哪段是AI生成的,哪段是人類寫的。
原理上,GPTZero主要靠「困惑度」(文本的隨機性)和「突發(fā)性」(困惑度的變化)作為指標進行判斷。在每次測試中,GPTZero還會挑選出困惑度最高的那個句子,也就是最像人話的句子。
然而這個方法其實并不完全可靠。
最近,有好奇的網(wǎng)友就用「美國憲法」做了一個實驗,而結(jié)果更是讓人大跌眼鏡——
GPTZero表示,美國憲法是AI生成的!
無獨有偶,有越來越多的學生發(fā)現(xiàn),自己辛辛苦苦寫的論文,也會被檢測器判定為AI生成的。
AI說你是用AI寫的 ,你就是用AI寫的!
前兩天,Reddit上就有一位12年級學生向大家求助說,老師用GPTzero檢測之后,堅信論文中的部分內(nèi)容就是由AI生成的。
「我一直是個成績優(yōu)異的學生,我不知道為什么我的老師會認為我作弊。我把一切都告訴了我的老師,但他還是不相信我?!?/span>
對此老師解釋稱,使用grammarly(一款在線語法糾正和校對工具)沒問題,但GPTzero給出的結(jié)果已經(jīng)非常明確——你就是用了ChatGPT。
絕望的學生表示,自己會提供所有可能的證據(jù),來證明這個所謂的人工智能探測器是錯的。
對此,有網(wǎng)友表示完全無法理解老師的做法:「什么叫AI說你作弊,你就是作弊,證據(jù)何在?」
另一位網(wǎng)友則給出了更加實用的建議:把ChatGPT出現(xiàn)之前的文章丟進去看看結(jié)果如何。(類似于之前的那個「美國憲法」實驗)
此外,還可以用OpenAI的官方聲明來為自己辯護:「我們真的不建議孤立地使用這個工具,因為我們知道它可能出錯,就像使用人工智能進行任何種類的評估一樣」。
還有網(wǎng)友分析稱,作業(yè)論文在結(jié)構(gòu)上通常都有著較為嚴格的要求,而ChatGPT在訓練中又進行了大量的學習。
結(jié)果就是,AI生成的內(nèi)容看起來都是標準的五段式論文。
因此,學生的作業(yè)從一開始,就注定了會和ChatGPT生成的文本非常相似。
GPTzero雖然聲稱假陽性率<2%,但這個數(shù)據(jù)(即使是真的)更多的是基于對新聞類內(nèi)容的評判。
所以該網(wǎng)友認為,我們對GPTzero,或OpenAI的分類器,或任何聲稱能夠可靠地區(qū)分人類和AI的工具,都應該抱有懷疑的態(tài)度。
ChatGPT暴露了論文設定上的缺陷
AI的出現(xiàn),讓作弊的學生提供的巨大的便利,卻也讓不作弊的學生,深陷無盡的麻煩。
那么,讓我們干脆回歸問題的本質(zhì),在學校教育中,到底該不該允許學生使用ChatGPT呢?
近日,作家Colm O'Shea在文章《感謝ChatGPT揭露本科論文的平庸》中表示,本科的論文重點是教育,而不是知識的進步。這其中最關(guān)鍵的是,在寫作過程中,是要訓練和展示你有目的地處理信息的能力,而不是讓你做一個有價值的知識產(chǎn)出。有價值的產(chǎn)出是由訓練有素的合格勞動力負責的。
一般來說,文章起源于古希臘和羅馬作家的學術(shù)文本,或早期基督教會教父的書信,但其實現(xiàn)代文章的形式起源于蒙田。
這位富有而博學的16世紀法國哲學家,在人生中的某個時刻,忽然對自己龐大的圖書館感到懷疑:「如果我以為自己所知道的一切,其實都是扯淡的,怎么辦?」
于是,他開始做這件事——寫隨筆,這個行為具有深遠的意義:讓他重新看待世界。
他起的標題千奇百怪,比如「拇指」「畸形兒童」「食人族」,展現(xiàn)出他廣泛而奇特的精神領(lǐng)域。他的每篇文章都圍繞一個觀點,并從各個角度進行審視,來找到新的見解,仿佛這些角度是由另一個意識撰寫的一樣。
錄取之后,一部分學生又會去懇求教授,給他們提供一個正確的模板來模仿,亦或者,他們會找抄襲或論文代筆去走捷徑,走向他們想象中的未來。
就好像到了大學以后,學習和思考就再也不用寫作來輔助了一樣。
不過,這是在ChatGPT火起來之前?,F(xiàn)在有了ChatGPT,論文剽竊和代寫的亂象已經(jīng)蔚然成風。雖然說這些現(xiàn)象并不能只怪AI,但已經(jīng)足以說明大學教育中的問題。
癥結(jié)在哪里?
這場危機,其實源于大學本科教育中一個更巨大、更古老的問題。
長期以來,人們過分關(guān)注收斂思維——換句話說,對于有固定解決方案的問題,去測試學生能否獲得問題的「正確」答案。
大學申請的測試通常注重兩大類:知識基礎和認知能力。標準化的測試能夠檢測學生對學科掌握程度,但這忽略了另一個重要的領(lǐng)域:發(fā)散性思維。
而發(fā)散性思維,正是創(chuàng)造性工作的前提。
而且,發(fā)散性思維是與標準化背道而馳的。發(fā)散思維靠的是深度模式識別和類比(口頭、視覺、數(shù)學)等機制,而要讓ChatGPT從令人眼花繚亂的大數(shù)據(jù)集中收集「要點」,這并不是它們擅長的。
這種思維可以用一個詞形容,那就是「機智」(這種機智是一種令人驚訝的靈感,能夠把兩個不相干的事物進行融合,或者聯(lián)系起來),雖然聽起來有些玄乎,但這種能力非常重要。
認知科學家、類比思維權(quán)威專家Dedre Gentner解釋說,生動地向自己或他人解釋某事可以培養(yǎng)抽象能力,還可以發(fā)現(xiàn)不同領(lǐng)域之間的新聯(lián)系。
對于Gentner來說,相比于看一個人的智商,他進行準確隱喻或類比的能力,更能體現(xiàn)自己的創(chuàng)造性。因為科學的突破,往往就是通過那「驚鴻一瞥」,讓人們發(fā)現(xiàn)了兩個不同事物之間的類比,這種類比充滿想象。
同樣的,威廉瑪麗學院的創(chuàng)意和創(chuàng)新教授K.H Kim認為,亞洲和西方教育體系對趨同思維的癡迷關(guān)注,正在減緩整個藝術(shù)和科學的創(chuàng)新。
理想狀態(tài)下,大學論文是要作者玩一個智力游戲,過程中的各種障礙會絆倒他們,讓他們意識到自己對于學科的了解只是冰山一角。應對挑戰(zhàn)時,游戲的「音效」會提醒他們保持頭腦清醒,意識到自己可能犯了錯。
然而ChatGPT展示的是最為糟糕的情況:在一個回音室中,對于批判性共識進行了一個優(yōu)雅齊整的總結(jié)。
胡說八道大師
還記得Harry Frankfurt的那篇哲學文章《論胡說八道》(On Bullshit)嗎?他在文章中提到了兩個概念:撒謊(虛假)和滔滔不絕地提出令人信服卻沒有經(jīng)過仔細考慮的主張(胡謅)。
撒謊的人需要一個準確的真相模型來主動向他人隱瞞真相,而胡說八道者則不需要這種意識。
事實上,胡說八道的人可以一整天都在說真話;在Frankfurt看來,說他們胡說八道不是因為他們話語的真假,而是他們隨心所欲不計后果的說話方式。他寫道:「就憑這一點,廢話比謊言更能成為真理的敵人」。
ChatGPT就是Frankfurt「胡說八道」藝術(shù)流派的巔峰之作。它使用大型語言模型將人類可能對某個主題說的話拼湊在一起,這是一種令人毛骨悚然的理解模擬,但與對現(xiàn)實世界的洞察力完全脫節(jié)。
ChatGPT最引人注目的一個特點就是,它惟妙惟肖地模仿了許多學術(shù)文章中特有的口若懸河、毫無生氣的散文風格。
Stephen Marche在Atlantic上發(fā)表的文章《大學論文已死》,在我和同事中引起了許多討論。他給ChatGPT生成的示例文本打了B+,而他在解釋時說:「這段話讀起來就像填充物一樣,但是大多數(shù)學生作文也是如此?!?/span>
這句話讓我非常憂心,但也很無奈。
早在ChatGPT之前,廢話文學就一直困擾著我們,但我們難道就要順其自然,任其發(fā)展了嗎?
雖然聽起來像是無可救藥的理想主義,但是我要奮起說不!
一個有責任心的學者,應該讓文章回歸到它應有的蒙田式傳統(tǒng):對各種可能性進行不同的、創(chuàng)造性的發(fā)散探索。
這需要進行一些改革,比如遠離大講堂,在那里,學生和教授之間的唯一接觸點是一篇匆匆寫好的、匆匆打分的論文。而如果控制在較小的師生比例,足以恢復學生和老師之間以及學生之間的辯證交流。
AI將不斷發(fā)展。機器學習將在各種領(lǐng)域產(chǎn)生數(shù)以百萬計的新穎方案。
目前,AI的發(fā)展會有兩個極端方向:沒有新意的趨同和收斂,以及沒有「適當性」意識的極端分歧。
這里借用Dean Keith Simonton對于創(chuàng)造力的定義:原創(chuàng)性x適當性。
「適當性」是特定領(lǐng)域的一套龐大的維特根斯坦式的「語言游戲」,其深度和廣度只會隨著我們的文化變得更加復雜而增加。這套深層次的「游戲」過于微妙,它是非理性的,而且變化迅速,AI無法僅通過挖掘我們的文本來掌握。
在一個理想的未來,教育可能會優(yōu)先培養(yǎng)所有年齡段的學生在所有學習領(lǐng)域的好奇心、創(chuàng)造力和敏感性。這個項目令人振奮,不過有些遲了。
這并不意味著如果我們比不過AI,就放棄獲取知識了,它需要我們重新開始「玩」我們的想法,以及圍繞我們?nèi)绾螌W習、為什么學習進行元認知的實踐。
對于有情感的眾生來說,最終極游戲是當他們被邀請按照自己的條件提出問題時,他們的答案會讓自己都感到驚訝,他們會發(fā)現(xiàn)自己的答案是多么有啟發(fā)性。
人類自身的神奇思維可是比AI的模仿理解力要好得多。
在文末,小編想說,Colm O'Shea的這篇文章,真的是讓我們愛慘了。
經(jīng)常有讀者留言問我們的文章是不是ChatGPT寫的,這里可以借用這篇文章的觀點來回答:如果你能感受到文章中「驚鴻一瞥」的那一瞬間,這種創(chuàng)作一定是來自人類,而不是AI。