OpenAI開發(fā)ChatGPT「反作弊神器」,99.9%超高命中率!但沒發(fā)布
去各大高校圖書館轉(zhuǎn)一圈,會(huì)發(fā)現(xiàn)頭上一副耳機(jī)、手邊一杯咖啡,電腦上一個(gè)AI工具網(wǎng)頁幾乎成了當(dāng)代大學(xué)生標(biāo)配。
學(xué)生熱衷于在ChatGPT的幫助下完成作業(yè),教師們卻頭疼于無法杜絕學(xué)生用ChatGPT作弊的行為。
人工智能可以根據(jù)一個(gè)提示,在幾秒鐘內(nèi)免費(fèi)創(chuàng)建整篇論文或研究論文。教師和教授表示,他們迫切需要幫助來打擊濫用行為。
《每日郵報(bào)》2023年1月30報(bào)道稱,UNSW的1名學(xué)生使用ChatGPT自動(dòng)生成論文被抓,這也是全澳第一個(gè)使用AI技術(shù)作弊被抓的學(xué)生。
UNSW人工智能教授Toby Walsh表示,各大高校都在評估如何阻止學(xué)生使用AI技術(shù)作弊。
隨后,新州、昆州和塔州都封鎖了校園網(wǎng)絡(luò)對于ChatGPT的訪問,以防學(xué)生通過該技術(shù)作弊。
但Walsh教授表示,阻止校園網(wǎng)絡(luò)訪問ChatGPT是沒有意義的,因?yàn)閷W(xué)生們可以通過代理繞過封鎖。
「想要徹底阻止學(xué)生作弊,只能把他們放在一個(gè)沒有網(wǎng)絡(luò)的環(huán)境里,給他們一張紙和一支筆?!?/span>
CDT最近進(jìn)行的一項(xiàng)調(diào)查發(fā)現(xiàn),59%的中學(xué)教師確信有些學(xué)生使用了AI來幫助完成學(xué)業(yè),比前一個(gè)學(xué)年上升了17個(gè)百分點(diǎn)。
要想靠老師和學(xué)校的盯梢,避開ChatGPT的誘惑很難辦到,解鈴還須系鈴人——讓AI企業(yè)親自出馬解決抓「AI槍手」。
據(jù)悉,OpenAI已經(jīng)開發(fā)出一款能夠高精度識(shí)別ChatGPT生成文本的工具,但遲遲未發(fā)布。
「文本水印」抓作弊,成功率99.9%
ChatGPT由人工智能系統(tǒng)提供支持,生成原理是根據(jù)輸入內(nèi)容預(yù)測句子中接下來出現(xiàn)的token。
OpenAI正在討論的反作弊工具將稍微改變token的選擇方式,這些變化會(huì)留下一種稱為水印的圖案。
這些水印肉眼無法察覺,但可以通過OpenAI的檢測技術(shù)發(fā)現(xiàn),檢測器提供整個(gè)文檔或部分文檔由ChatGPT編寫的可能性的分?jǐn)?shù)。
根據(jù)內(nèi)部文件,當(dāng)ChatGPT創(chuàng)建足夠多的新文本時(shí),水印的有效率可以達(dá)到99.9%。
雖然準(zhǔn)確率超高,OpenAI工作人員仍然擔(dān)心,換一種方式可以輕松卡Bug,通過簡單的技術(shù)來刪除水印。
例如讓Google將文本翻譯成另一種語言,然后再翻譯回來,或者讓ChatGPT在文本中添加表情符號(hào),然后手動(dòng)刪除它們。
另一方面,公司內(nèi)部普遍認(rèn)為,誰可以使用該探測器將也是一個(gè)棘手的問題。
如果擁有該工具的人太少,工具基本上就沒有用處。如果太多人獲得訪問權(quán)限,有些人可能會(huì)嘗試破譯水印技術(shù)。
OpenAI員工也討論過,直接向教育工作者或外部公司提供檢測器,幫助學(xué)校識(shí)別人工智能撰寫的論文和抄襲作品。
谷歌其實(shí)也開發(fā)過一種水印工具,可以檢測Gemini AI生成的文本,叫做SynthID,正處于Beta測試階段,尚未廣泛使用。
OpenAI有一個(gè)工具可以確定圖像是否是使用文本到圖像生成器DALL-E 3創(chuàng)建的,該工具于去年春天發(fā)布用于測試。
該知情員工表示,該公司優(yōu)先考慮音頻和視頻水印而不是文本,因?yàn)槠湮:Ω鼮閲?yán)重,尤其是在美國繁忙的選舉年。
AI文本分類器
早在2023年1月,OpenAI就發(fā)布了一種算法,旨在檢測多個(gè)AI模型(包括其自己的模型)編寫的文本。
但它的成功率僅為26%,七個(gè)月后OpenAI就將其撤回。
其他公司和研究人員還開發(fā)了一些工具來檢測人工智能創(chuàng)建的文本,許多教師表示他們已經(jīng)使用過這些工具。
但它們有時(shí)無法檢測由高級(jí)大語言模型編寫的文本,并且準(zhǔn)確率很低,可能產(chǎn)生誤報(bào)。
最近在佐治亞州一所私立高中任教的教育工作者人工智能顧問Mike Kentz表示,起初,學(xué)生們確實(shí)被震懾到,以為老師們已經(jīng)完全掌握了一種方法,可以弄清楚他們是否使用了人工智能代寫。
但到了年底……他們慢慢發(fā)現(xiàn),等一下,我的老師好像不知道。
一些老師鼓勵(lì)學(xué)生使AI來幫助研究或提供想法反饋。但問題是,當(dāng)學(xué)生使用像ChatGPT這樣的應(yīng)用程序來完成所有工作時(shí),學(xué)生甚至不會(huì)去檢查自己交的是什么。
去年,猶他大學(xué)政治學(xué)教授Josh McCrain給學(xué)生布置了一份寫作作業(yè),作業(yè)要求插入了難以辨認(rèn)的小文字,其中提到了和作業(yè)無關(guān)的蝙蝠俠。
如果他們將作業(yè)復(fù)制并粘貼到人工智能中,作業(yè)提示內(nèi)容就會(huì)被合并,「蝙蝠俠」就會(huì)干擾作業(yè)內(nèi)容。
果然,少數(shù)學(xué)生提交了作業(yè)——一篇蝙蝠俠論文。
McCrain教授正在調(diào)整寫作作業(yè),更多地關(guān)注人工智能不太熟悉的時(shí)事,并懇求學(xué)生不要將他們的工作外包給人工智能。
「這就是我試圖向?qū)W生們強(qiáng)調(diào)這一點(diǎn)的地方:你需要自己學(xué)習(xí)這些東西?!筂cCrain教授說。
爭論不休
知情人士稱,有關(guān)水印工具的討論早在OpenAI于2022年11月推出ChatGPT之前就已經(jīng)開始。
它是由計(jì)算機(jī)科學(xué)教授Scott Aaronson開發(fā)的,過去兩年他在德克薩斯大學(xué)休假期間一直在OpenAI從事安全工作。
2023年初,OpenAI聯(lián)合創(chuàng)始人之一John Schulman在一份共享的Google文檔中概述了該工具的優(yōu)缺點(diǎn)。
OpenAI高管隨后決定,在采取進(jìn)一步行動(dòng)之前,他們將征求一系列人士的意見。
在接下來的一年半時(shí)間里,OpenAI高管反復(fù)討論,并尋求新數(shù)據(jù)集優(yōu)化算法,猶豫是否發(fā)布該技術(shù)。
內(nèi)部文件顯示,2023年4月,OpenAI委托進(jìn)行了一項(xiàng)調(diào)查,結(jié)果顯示,世界范圍的人們以四比一的比例支持人工智能檢測工具的想法。
同月,OpenAI對ChatGPT用戶進(jìn)行了調(diào)查,發(fā)現(xiàn)69%的人認(rèn)為作弊檢測技術(shù)會(huì)導(dǎo)致使AI技術(shù)錯(cuò)誤指控。
近30%的人表示,如果ChatGPT部署了水印功能,而競爭對手沒有部署水印,他們會(huì)減少使用。
另外,OpenAI內(nèi)部還有一種反對的聲音是反作弊工具可能會(huì)損害ChatGPT的寫作質(zhì)量。
知情人士稱,OpenAI今年早些時(shí)候進(jìn)行了一項(xiàng)測試,發(fā)現(xiàn)文本水印不會(huì)降低輸出質(zhì)量。
6月初,OpenAI高級(jí)員工和研究人員再次聚會(huì)討論該項(xiàng)目。該組織一致認(rèn)為水印技術(shù)效果良好,但去年的ChatGPT 用戶調(diào)查結(jié)果仍然是一個(gè)頭疼的問題。
內(nèi)部文件顯示,OpenAI需要在今年秋天之前制定一項(xiàng)計(jì)劃,圍繞AI透明度以及相關(guān)潛在新法律來左右公眾輿論——
「如果做不到這一點(diǎn),我們就有可能失去負(fù)責(zé)任企業(yè)的信譽(yù)?!?/span>