華人研究團(tuán)隊推出AI“諷刺”檢測模型，準(zhǔn)確率達(dá)86%
本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。
最近網(wǎng)絡(luò)上散發(fā)著一股濃濃的凡爾賽文學(xué)氣息，比如。
好煩，睡過了，錯過馬爾代夫的航班，只能專機(jī)去了。
在看似平淡的話語中，流露出一股浮夸的炫耀，這就是凡爾賽文學(xué)。
諸如凡爾賽文學(xué)等網(wǎng)絡(luò)熱詞每年都有，但你真的get到它們的含義了嗎？
先來做個小測試吧！
以下三個句子中，請判斷哪一個是諷刺、吐槽和凡爾賽文學(xué)？
- 在這個社會上，不管承受多少的責(zé)難，都別忍。因為現(xiàn)在管虛偽不叫虛偽了，都叫做情商高。
- 長得丑真是難為你了，早上跑出來嚇人，晚上跑出來嚇鬼。
- iphone 11 pro max真的一點(diǎn)也不好用，我的卡死了，還是512g的暗夜綠！其實(shí)也就這樣，大家還是買1024g的吧
如果答對了，你可別驕傲，因為這道題可能連AI都會。
最近，中國北京的信息工程研究所和中國科學(xué)院聯(lián)合推出的一款A(yù)I模型，『諷刺』識別準(zhǔn)確率高達(dá)86%。
而且，這項研究成果還登上了計算機(jī)語言協(xié)會（ACL）。
聽到這里你可能會好奇，AI為甚么要識別『諷刺』？？？
AI『諷刺』模型
其實(shí)，諷刺作為情緒表達(dá)的一種方式，是AI情感分析的重點(diǎn)研究方向。
情感分析，又稱傾向性分析，或意見挖掘，它是對帶有情感色彩的主觀性文本進(jìn)行分析、處理、歸納和推理的過程。利用情感分析能力，可以針對帶有主觀描述的自然語言文本，自動判斷該文本的情感正負(fù)傾向并給出相應(yīng)的結(jié)果。
它有什么用處呢？簡單舉個例子。
本次美國大選，除了兩位當(dāng)事人拜登和川建國外，最頭疼的可能就是Facebook創(chuàng)始人扎克伯克了。
一直以“言論自由”著稱的Facebook，要確保美國大選期間社交網(wǎng)絡(luò)中不能出現(xiàn)“虛假的政治言論”。
龐大的社交網(wǎng)絡(luò)每天有成千上萬條帖子被發(fā)表，其中哪些有政治風(fēng)險，哪些無政治風(fēng)險，如果靠人工逐一審核再刪除的話，顯然有點(diǎn)不切實(shí)際。
這時候，AI就派上用場了。
早在美國大選之前，F(xiàn)acebook AI Research團(tuán)隊就開始利用AI語言模型，識別網(wǎng)絡(luò)中的虛假信息或仇恨言論，有數(shù)據(jù)統(tǒng)計，在2020年第一季度，F(xiàn)acebook利用XLM語言模型刪除了960萬條涉及仇恨言論的帖子。
對此，F(xiàn)acebook首席技術(shù)官M(fèi)ike Schroepfer還曾表示，
我沒有天真的以為AI可以解決每天個問題，但我認(rèn)為它確實(shí)能幫助我們完成一些常見任務(wù)，以及一些人類無法勝任的、規(guī)模達(dá)十億的、繁重的任務(wù)。
在這個例子中，AI的難點(diǎn)就在于如何提高情感分析能力，精準(zhǔn)識別出含虛假政治言論的帖子。
但相比之下，識別『諷刺』可能比識別虛假政治言論對AI而言更有難度。
根據(jù)百度百科顯示，『諷刺』是指用比喻、夸張等手法對人或事進(jìn)行揭露、批評；用譏刺和嘲諷筆法描寫敵對的落后的事物；用譏諷的眼神，嘲笑的語氣對著他人說。
明顯的諷刺意味人類可以一眼看穿，但對于AI來說卻不是一件容易的事兒。
最新的研究成果在2019年，首次引入多模態(tài)檢測的AI模型HFM，其準(zhǔn)確率能夠達(dá)到83%。而近日，該項研究取得突破性進(jìn)展，其準(zhǔn)確率提升了2.74%。
這項成果來自中國北京的信息工程研究所和中國科學(xué)院聯(lián)合研究團(tuán)隊，他們研發(fā)的新型多模態(tài)AI諷刺檢測模型，經(jīng)過Twitter數(shù)據(jù)集檢測準(zhǔn)確率可達(dá)到86％。
研究人員介紹，他們從2016年開始嘗試多模式策略，并將其應(yīng)用在Tumblr，instagram和Twitter等多個網(wǎng)絡(luò)數(shù)據(jù)集中進(jìn)行測試。
目前這項研究成果代表了AI多模式諷刺檢測的最高水準(zhǔn)，并且已在計算機(jī)語言協(xié)會（ACL）、自然語言處理實(shí)證方法協(xié)會（EMNLP）等多個NLP頂會上發(fā)表。
據(jù)了解，“多模式檢測（MultiModal Detection）”已成為一種主要的『諷刺』檢測模式，此前密歇根大學(xué)和新加坡大學(xué)的研究人員也曾使用語言模型和計算機(jī)視覺來檢測電視節(jié)目中的諷刺，相關(guān)研究也發(fā)表在了ACL上。
相比之下，此次研究成果在技術(shù)上有哪些特別之處呢？
技術(shù)原理
特別之處在于：他們發(fā)現(xiàn)了多模態(tài)之間的不一致性！
什么叫多模態(tài)呢？官方定義是每一種信息的來源或形式，都可以成為一種模態(tài)。比如，人有觸覺，聽覺，視覺，嗅覺，以上都是一種模態(tài)。
那么，對于Twitter發(fā)帖來說，文字、圖片、視頻分別代表了三種模態(tài)。研究人員發(fā)現(xiàn)，現(xiàn)有的多模態(tài)諷刺檢測方法通常是簡單地將多模態(tài)特征連接起來，或者以設(shè)計的方式融合多模態(tài)信息，而忽略了多模態(tài)之間和模態(tài)內(nèi)的不一致性。
受此啟發(fā)，他們提出了一種基于BERT架構(gòu)的模型，該模型可有效解決這一問題。
模型框架
具體來說，研究人員利用自注意機(jī)制（Self-Attention Mechanism）的思想，設(shè)計了一種模態(tài)間注意力機(jī)制以捕獲其間的不一致性。圖中，預(yù)先訓(xùn)練的BERT模型對給定的序列和其中的Hashtags進(jìn)行編碼。ResNet用于獲取圖像形式。我們運(yùn)用Intra-modality注意來模擬文本內(nèi)部的不協(xié)調(diào)，而Inner-modality來模擬文本和圖像之間的不協(xié)調(diào)。然后將不協(xié)調(diào)信息進(jìn)行組合并用于預(yù)測。
實(shí)驗結(jié)果表明，該模型在公共多模式諷刺檢測數(shù)據(jù)集上達(dá)到了最新的性能—86%。
與此同時，研究人員還將該模型與現(xiàn)有模型基準(zhǔn)，從預(yù)測率（Precision）、召回率（Recall）、精準(zhǔn)度（Accuracy）和F1分?jǐn)?shù)等指標(biāo)進(jìn)行了比較。
結(jié)果顯示，與當(dāng)前最先進(jìn)的層次融合模型HFM相比，提高了2.74%。與微調(diào)的BERT模型相比，提高了2.7%。如圖：
從該表中可以看出，僅使用圖像特征的模型并沒有很好的表現(xiàn)（72.6%），這說明對于多模態(tài)檢測任務(wù)來說，圖像是不能單獨(dú)處理的。而且基于文本模態(tài)的方法(均在80%以上)比基于圖像模態(tài)的方法具有更好的性能。因此，文本信息比圖像信息更能用于諷刺信息的檢測。
此外，經(jīng)過微調(diào)的BERT模型比其他基于文本的非預(yù)訓(xùn)練模型表現(xiàn)得更好，這也再次驗證了研究人員的設(shè)想，即像BERT這樣的預(yù)訓(xùn)練模型可以改進(jìn)檢測任務(wù)，它表明視覺+文本模式的模型通常比其他模式能夠獲得更好的結(jié)果，同時，它也說明圖像有助于提高檢測性能。
值得注意的是，從文本模態(tài)內(nèi)部的模型來看，SIARN（80.5%）和SMSD（80.9%）都考慮了不一致信息，且性能表現(xiàn)優(yōu)于TextCNN（80%），因此，不一致信息有助于識別諷刺，再次驗證研究人員提出的模態(tài)間的非一致性檢測方法比簡單的模態(tài)間連接方法更有效。
更多論文詳情，可參見：https://www.aclweb.org/anthology/2020.findings-emnlp.124.pdf
