AI對(duì)抗系列之--你的推薦算法被破防了嗎？
當(dāng)你在Google搜尋新聞資訊時(shí)，搜索結(jié)果卻混進(jìn)了亂七八糟的小黃文……
當(dāng)你在知網(wǎng)查詢學(xué)術(shù)文獻(xiàn)時(shí)，排在前面的居然是“論咸魚的30種烹飪方式”……
當(dāng)你在全球最大同性交友社區(qū)GitHub搜索摸魚插件時(shí)，出來的卻是996icu……
以上場(chǎng)景不是瞎掰，基于AI神經(jīng)網(wǎng)絡(luò)脆弱性帶來的信息檢索攻擊風(fēng)險(xiǎn)，這一切都有可能發(fā)生。
對(duì)于廣大網(wǎng)民來說，信息檢索無疑是個(gè)日常高頻行為——寫論文查文獻(xiàn)、做菜搜食譜、買電影票前看影評(píng)口碑……借助搜索引擎/工具進(jìn)行信息檢索，是我們查詢和獲取信息的主要手段。
而當(dāng)前的信息檢索算法，為了進(jìn)一步提升檢索任務(wù)的精度，很多都是基于神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的模型來優(yōu)化的。因此，神經(jīng)網(wǎng)絡(luò)的脆弱性，也將更多安全隱患引入了信息檢索領(lǐng)域。本著以攻促防的目的，我們做了一次“擾亂搜索排名”的研究實(shí)驗(yàn)。
首先，利用微軟發(fā)布的段落檢索數(shù)據(jù)集（英文文本）作為本次實(shí)驗(yàn)數(shù)據(jù)，數(shù)據(jù)樣本分為查詢?cè)~、正樣本、負(fù)樣本三類—— 查詢?cè)~ ，也就是用戶輸入的查詢對(duì)象； 正樣本 ，表示屬于此查詢?cè)~下的段落； 負(fù)樣本 ，表示和此查詢?cè)~無關(guān)的段落。
這里舉個(gè)例子：
查詢?cè)~： about how much paint do you need to paint a bedroom （粉刷臥室需要多少油漆）
正樣本： If you choose to tackle a painting project yourself, there are several items you'll need to purchase. The first is paint. Expect to pay between $15 and $30 per gallon of paint, and you'll need 2-3 gallons for an average-sized bedroom (with some left over for contingencies and touch-ups). You also have several options for the shine or gloss of your paint. Flat finish or wall paint is paint with a matte surface that doesn't reflect light. （大意：需要7~12升的油漆）
負(fù)樣本： 1 Note: Detailing clay does not remove oxidized paint or fill in blemishes. 2 If your paint is mildly oxidized, clean the paint with clay and then use a polish to remove the oxidized paint. 3 If the oxidation is severe, polish first because the oxidized paint may flake off as you clay and ruin the clay bar. （大意：黏土使用的一些注意事項(xiàng)）
這個(gè)例子中，正樣本與查詢?cè)~的相關(guān)性得分為 73.344040 ，負(fù)樣本的得分為 61.572620 。
我們知道，信息與查詢?cè)~的相關(guān)性越高，搜索排名就越靠前，也就越容易得到曝光。而我們實(shí)驗(yàn)要做的，就是給負(fù)樣本的段落中加入一定長度的字詞作為trigger，提升該負(fù)樣本與查詢?cè)~的相關(guān)性，從而使其獲得更高的搜索排名，更容易被搜索引擎“找到”。
于是，根據(jù)上述例子中的查詢?cè)~，采用公開論文介紹的AI算法，學(xué)習(xí)生成了一個(gè)長度為5個(gè)單詞的trigger：
“bedroom formula paintings national code”
當(dāng)我們對(duì)負(fù)樣本的段落加入該trigger后，發(fā)現(xiàn)負(fù)樣本與查詢?cè)~的相關(guān)性得分，從原來的 61.572620 提升至 78.570793 ，超過了正樣本的得分。這就意味著，通過為段落加入trigger，能夠增強(qiáng)與特定查詢?cè)~的搜索相關(guān)性。
為了測(cè)試對(duì)比不同長度trigger的攻擊效果，這里分別測(cè)試了trigger長度為1、5、10個(gè)單詞情況下的效果，在每種情況下分別列出了在3個(gè)樣本被攻擊后的相關(guān)性得分情況——
如圖表所示，trigger僅為1個(gè)單詞時(shí)，也能一定程度提升段落在特定查詢下的相關(guān)性得分，但是效果相對(duì)有限。
可以看到，對(duì)負(fù)樣本加入5個(gè)單詞的trigger時(shí)，段落在特定查詢?cè)~下的相關(guān)性得分得到了比較顯著的提升。
而當(dāng)trigger長度增加到10個(gè)單詞時(shí)，效果進(jìn)一步增強(qiáng)，在大部分情況下負(fù)樣本相關(guān)性得分甚至超過了正樣本的得分——這樣的攻擊效果，足以造成檢索結(jié)果大亂套的后果。
此外，我們以上述在查詢?cè)~（about how much paint do you need to paint a bedroom）下學(xué)到的trigger（bedroom formula paintings national code）為例，隨機(jī)選取100個(gè)樣本，計(jì)算將trigger拼接在其他段落后和當(dāng)前查詢?cè)~相關(guān)性得分的變化，結(jié)果如下圖所示：
圖：100個(gè)樣本加入同一個(gè)trigger后，與當(dāng)前查詢?cè)~的相關(guān)性得分變化
圖中，每條紅線的末端圓點(diǎn)為加入trigger前負(fù)樣本的段落得分，紅線頂端圓點(diǎn)為加入trigger后的得分?？梢钥吹剑袠颖驹诩尤雝rigger后，相關(guān)性均得到顯著提升，得分平均提升22.21%。由此可以得到結(jié)論，trigger在不同段落上具備遷移性，通過AI學(xué)習(xí)獲取的trigger，可以提升不同文檔在當(dāng)前查詢?cè)~下的檢索排名。
總而言之，對(duì)檢索對(duì)象增加對(duì)抗擾動(dòng)，從而擾亂搜索相關(guān)性排名，是一個(gè)具備可行性且具有顯著實(shí)際危害的攻擊場(chǎng)景。一旦信息檢索算法被攻擊，檢索結(jié)果出錯(cuò)，將導(dǎo)致用戶被誤導(dǎo)或被欺詐等嚴(yán)重后果。該攻擊手法也有可能被不法分子利用作惡，比如用來定向輸出種族主義言論、傳播黃賭毒信息等。因此，重視這里面的風(fēng)險(xiǎn)并提前防范尤為重要。
當(dāng)前，攻擊方法生成的trigger還難以控制語法結(jié)構(gòu)的正確性，因此對(duì)信息檢索場(chǎng)景文檔進(jìn)行語法分析，能夠一定程度幫助過濾發(fā)現(xiàn)攻擊。另外，類似圖像領(lǐng)域的對(duì)抗訓(xùn)練也有助于增強(qiáng)信息檢索模型的健壯性，幫助降低被攻擊風(fēng)險(xiǎn)。
