[[421975]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

GitHub的AI代碼生成插件Copilot發(fā)布才兩個(gè)多月，就闖下不少大禍。

照搬過(guò)開源代碼，還有生成的內(nèi)容包含用戶隱私和歧視性語(yǔ)言等。

GitHub的對(duì)策也夠粗暴——拉清單。

覺得不合適的詞統(tǒng)統(tǒng)列入敏感詞，現(xiàn)在連Boy和Girl都不能用了。

大神的平方根倒數(shù)速算法連代碼帶注釋里的“what the f**k?”就被Copilot原樣照搬。

這事被曝光后，Github悄悄把能召喚出這段經(jīng)典代碼的“q rsqrt”提示詞加入了黑名單，順便把f**k相關(guān)的詞也給加進(jìn)去了。

發(fā)現(xiàn)這事的是紐約大學(xué)的副教授Brendan Dolan-Gavitt，他最近一項(xiàng)研究就是找出Copilot加密敏感詞列表中的上千個(gè)詞。

翻過(guò)他的履歷后才發(fā)現(xiàn)，這位破解大師還因?yàn)檎颐舾性~這事在IEEE上發(fā)過(guò)論文。

以色列和性別詞匯都不讓用

Brendan發(fā)現(xiàn)Copilot敏感詞列表就在VS Code的插件包里，只不過(guò)是加密的。

加密后的敏感詞是32位Hash值，逆運(yùn)算解密不太可能。

不過(guò)這位大哥在敏感詞領(lǐng)域頗有經(jīng)驗(yàn)，直接用以前搜集到的常見敏感詞挨個(gè)碰撞。

常見的都嘗試過(guò)以后，剩下的就暴力窮舉。

窮舉法最大的難點(diǎn)在于同一個(gè)Hash值可能對(duì)應(yīng)許多詞，他舉例“-1223469448”就對(duì)應(yīng)80萬(wàn)個(gè)11位字母數(shù)字的組合。

于是Brendon搞了個(gè)GPT-2模型用來(lái)判斷哪種組合最像英語(yǔ)。

就這樣遇到困難解決苦難，破解方法從最開始的簡(jiǎn)單窮舉，最后都用上了GPU加速和Z3解約束算法(Constraint Solver)

最終現(xiàn)存的1170個(gè)敏感詞他找出了1168個(gè)，只剩最后兩個(gè)算出來(lái)的結(jié)果實(shí)在沒有長(zhǎng)得像人話的，只好放棄了。

通過(guò)對(duì)Copilot插件每一個(gè)版本分析，他還能跟蹤具體哪個(gè)敏感詞是在哪次更新中添加的。

他們把敏感詞分了9大類25小類。

不過(guò)也有一些不算攻擊性但可能出現(xiàn)爭(zhēng)議的，比如Israel（以色列）和Palestan（巴勒斯坦），還有Man、Women、Girl、Boy這些常見的性別稱謂。

敏感詞對(duì)用戶輸入的提示詞和Copilot給出的建議結(jié)果都有效。

他測(cè)試讓Copilot生成一個(gè)國(guó)家列表，按字母順序生成到伊朗、伊拉克，下一個(gè)講道理是以色列的時(shí)候就卡住了。

Debug日志給出的信息是檢測(cè)到了slur(侮辱性語(yǔ)言)。

Brendon認(rèn)為列敏感詞的方法只能算一個(gè)80分的臨時(shí)措施，并不能真正解決問(wèn)題，畢竟真正解決需要仔細(xì)核查訓(xùn)練數(shù)據(jù)，還挺花時(shí)間的。

順便說(shuō)一下，Github知道這事以后打算把敏感詞列表從插件包里挪到服務(wù)器端，增加破解的難度。

在IEEE發(fā)過(guò)敏感詞論文

Brendon此舉吸引了大量關(guān)注，他也借機(jī)宣傳了一下之前的研究。

歡迎新來(lái)的老鐵，你們可能同樣會(huì)喜歡我去年在IEEE S&P發(fā)的論文，我們用自動(dòng)方法提取了手機(jī)App里的敏感詞列表和其他秘密。

在這篇論文中，他和團(tuán)隊(duì)測(cè)試了15萬(wàn)個(gè)安卓App，其中4000多個(gè)存在敏感詞列表。

這些App分別來(lái)自谷歌商店，百度手機(jī)助手和三星手機(jī)預(yù)裝App。

他們把敏感詞分了9大類25小類。

然后重點(diǎn)測(cè)試了幾個(gè)App，列了一個(gè)表，黑點(diǎn)代表存在該類的敏感詞。

列幾個(gè)有趣的結(jié)論：

• 被屏蔽最多的是下流話(13)和恐嚇威脅(11)。
• 有的App屏蔽了簡(jiǎn)單密碼，比如1234這種。
• 中文App的敏感詞數(shù)量顯著多于英文和韓文的。

最后，團(tuán)隊(duì)還把找到的所有敏感詞匯總成一個(gè)大表，英文、中文和韓文部分都有。

但是由于里面的詞實(shí)在太辣眼，根本不適合公開發(fā)表，論文最終版里這張大表被移除了。

除了敏感詞以外，他們還發(fā)現(xiàn)了很多App存在秘密入口，比如NBC Sports里點(diǎn)擊13次版本號(hào)，輸入密碼后就能進(jìn)入隱藏的Debug界面，蘋果版還和安卓版密碼一樣。

密碼是“UUDDLRLRBASS”

有點(diǎn)“上上下下左右左右BABA”那味了。

IEEE論文地址：

https://panda.moyix.net/~moyix/papers/inputscope_oakland20.pdf