1 月 17 日消息，隨著文生文、文生圖、文生視頻等領(lǐng)域應(yīng)用成熟，隨之而來的信任危機(jī)也同步爆發(fā)。為此，騰訊今日宣布推出 AI 生成文本檢測 / AI 生成圖像檢測工具。

騰訊官方稱，雖然 AI 生成的圖像在細(xì)節(jié)紋理上越來越逼真，但依然有跡可循，朱雀實(shí)驗(yàn)室研發(fā)了一款 AI 生成圖片檢測系統(tǒng)，將圖片上傳 —— 等待驗(yàn)證 —— 判斷是否由 AI 生成，整個(gè)過程只有幾秒鐘，就能用魔法打敗魔法 —— 用 AI“檢測”AI 生成。

究其背后的檢測邏輯，主要是捕捉真實(shí)圖片與 AI 生圖之間的差異來進(jìn)行區(qū)分，例如 AI 生圖有時(shí)不符合常識(shí)邏輯、AI 生成圖片需要“加水印”、AI 生成圖片包含隱層特征。

騰訊指出，鑒別 AI 生成往往不能依靠單一依據(jù)。因此，AI 生成圖片檢測系統(tǒng)需要利用 AI 模型來捕捉真實(shí)圖片與 AI 生圖之間各類特征的差異，包括圖片的紋理、語義及隱形特征。

為了提升系統(tǒng)的檢測效果，其使用了 140 萬份正負(fù)樣本進(jìn)行模型訓(xùn)練，考慮了多種生成內(nèi)容場景，如人體、人像、風(fēng)景、地標(biāo)、植物、電影、游戲、新聞等，最終測試檢出率達(dá) 95% 以上，還在持續(xù)優(yōu)化提升中。

IT之家注意到，朱雀實(shí)驗(yàn)室還同步開發(fā)了文本檢測系統(tǒng)，通過對(duì) AI 生成文本和人類寫作內(nèi)容的海量數(shù)據(jù)學(xué)習(xí)來實(shí)現(xiàn)文本檢測。

與圖片內(nèi)容檢測一樣，文本檢測系統(tǒng)背后也搜集了大量正負(fù)樣本進(jìn)行訓(xùn)練，涵蓋不同領(lǐng)域、不同大語言模型的生成文本。此外，還運(yùn)用了對(duì)比的方式，將檢測文本與大模型預(yù)測內(nèi)容進(jìn)行重疊度對(duì)比，來推斷文章的 AI 生成概率，以增強(qiáng)對(duì)未見過數(shù)據(jù)的檢測能力。

目前，AI 生成文本檢測系統(tǒng)涵蓋了新聞通訊、公文、小說、散文等多樣化文體，接下來還會(huì)對(duì)詩歌等體裁進(jìn)行補(bǔ)強(qiáng)，用于提高文本識(shí)別的準(zhǔn)確率。