檢測器鬧烏龍,非英語母語者撰寫的英語文章過半被認為是 AI 寫的
7 月 13 日消息,斯坦福大學的研究者日前發(fā)現(xiàn),如果非英語母語者掌握的英文詞匯量不夠多,在撰寫英文文章時,很容易被 GPT 檢測器誤認為是 AI 生成內(nèi)容。
據(jù)悉,這項研究由史丹福大學生物醫(yī)學資料科學的助理教授 James Zou 所主導,刊登于《Patterns》期刊,表示當下的 GPT 檢測器實際上存在不足,難以評定文章是否出自 AI 之手。
▲ 圖源 期刊論文
研究者使用了 7 款熱門的 GPT 檢測器來檢查共計 179 篇真人書寫的文章,發(fā)現(xiàn)這些檢測器把一半以上非英語母語者撰寫的文章當作是 AI 生成的。
▲ 圖源 期刊論文
IT之家查詢論文發(fā)現(xiàn),研究者并未公布用來實驗的 GPT 檢測器名稱,但研究成果表示,當下的 GPT 檢測器在“辨識托福文章是否由 AI 撰寫”時,錯誤率高達 61.3%,甚至有一款 GPT 檢測器的錯誤率高達 97.8%,且所有的檢測器都一致認為,這些由真人書寫的文章中,有 19.8% 的內(nèi)容“絕對是由 AI 生成的”。
▲ 圖源 期刊論文
研究者通過進一步分析發(fā)現(xiàn),造成辨識錯誤的主要原因是非英語母語者在語言的多樣化與詞語的選擇上較為有限,且掌握的英文詞匯相對更“正式”,在部分生活場景中并不常使用,因此產(chǎn)生了 AI 的錯誤判定現(xiàn)象。
▲ 圖源 Pexels