AWSL，鸚鵡鸚鵡，傻傻分不清楚。

結(jié)果，AI一頓操作猛如虎，進(jìn)行了判斷：左邊的是桃面牡丹鸚鵡，右邊的是國家保護(hù)動(dòng)物費(fèi)氏牡丹鸚鵡，二者區(qū)別僅在于喙的顏色以及白色眼圈。

小鳥并不孤單，貓貓狗狗和花花草草也在被“找茬”。最近，浙江大學(xué)和阿里安全在AI細(xì)粒度圖像識(shí)別技術(shù)上取得了新進(jìn)展，利用RAMS-Trans相關(guān)技術(shù)先后在公開數(shù)據(jù)集CUB（鳥類識(shí)別）、Standford Dogs（狗類識(shí)別）、iNaturalist（動(dòng)植物識(shí)別）的識(shí)別上準(zhǔn)確率達(dá)到91.3%、68.5%、92.4%的行業(yè)最優(yōu)效果，研究成果被多媒體國際頂會(huì)ACM MM 2021 收錄。

論文鏈接：https://arxiv.org/pdf/2107.08192.pdf

怎么“找茬”

細(xì)粒度圖像識(shí)別是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)經(jīng)典問題，屬于圖像分類任務(wù)的細(xì)分支任務(wù)，難點(diǎn)主要在于類別之間的差異較細(xì)微，難以區(qū)分。舉幾個(gè)看起來簡單實(shí)際并不簡單的例子：

以上都是松鴉，搞起區(qū)別對(duì)待并不容易，最右那只松鴉因?yàn)轭伾耆煌瑫呵铱梢酝顺霰荣愋辛校筮厓芍?ldquo;小朋友”就要考驗(yàn)AI對(duì)圖片細(xì)節(jié)的把控，俗稱“考眼力”了。

AI的“眼力”可不同于人類的“眼力”。

在細(xì)粒度圖像識(shí)別領(lǐng)域，區(qū)域注意力的定位和放大是一個(gè)重要因素，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法對(duì)此進(jìn)行了大量探索。然而，CNN的感受野有限，且缺乏全局依賴關(guān)系的建模能力。最近視覺Transformer（ViT）在計(jì)算機(jī)視覺領(lǐng)域取得了非常多的研究進(jìn)展。研究者認(rèn)為，與CNN相比，圖像序列化是一種全新的方式。

浙江大學(xué)和阿里安全的研究者起初引入ViT中的自注意力機(jī)制，提取圖像中的長距離依賴關(guān)系。然而，ViT的感受野大小相對(duì)固定，對(duì)圖像中的每個(gè)patch的關(guān)注程度沒有產(chǎn)生區(qū)分，對(duì)細(xì)粒度圖像識(shí)別帶來了性能的局限。

也就是說，這種方法并不能讓AI找準(zhǔn)“重點(diǎn)”。

為了學(xué)習(xí)局部判別性的區(qū)域注意力，研究者使用注意力權(quán)重的強(qiáng)度來衡量對(duì)應(yīng)于原始圖像的patch重要性，提出了多尺度循環(huán)注意力的Transformer（RAMS-Trans），它利用Transformer的自注意力機(jī)制，以多尺度的方式循環(huán)地學(xué)習(xí)判別性區(qū)域注意力。

“我們方法的核心是動(dòng)態(tài)patch建議模塊（DPPM）引導(dǎo)區(qū)域放大，以完成多尺度圖像patch塊的集成。DPPM從全局圖像開始，迭代放大區(qū)域注意力，以每個(gè)尺度上產(chǎn)生的注意力權(quán)重的強(qiáng)度為指標(biāo)，從全局到局部生成新的patch塊。”阿里安全圖靈實(shí)驗(yàn)室算法專家炫謙介紹。

具體來說，研究者首先提取ViT每層的自注意力機(jī)制，并且進(jìn)行歸一化，然后采取累乘的方式對(duì)自注意力整合。

然后，研究者得到了整合后的自注意力均值分布矩陣，由于細(xì)粒度圖像識(shí)別任務(wù)的關(guān)鍵因素在于局部注意力，往往存在于圖像的局部區(qū)域，如鳥的尾部、喙和蛙類的頭部等，因此研究者通過設(shè)定閾值的方式來“過濾”不需要的部位，增強(qiáng)對(duì)局部判別性區(qū)域的識(shí)別能力。

最后，研究者通過插值算法將選定的patch塊放大到原圖像的尺寸，通過共享參數(shù)的模型，重新進(jìn)行訓(xùn)練，整體結(jié)構(gòu)對(duì)應(yīng)于文章所提的多尺度循環(huán)機(jī)制。

RAMS只需要ViT本身附帶的注意力權(quán)重，可以很容易地進(jìn)行端到端的訓(xùn)練。廣泛的實(shí)驗(yàn)表明，除了高效的CNN模型外，RAMS-Trans的表現(xiàn)比同期進(jìn)行的工作更好，分別在CUB-200-2011、Stanford Dogs、iNaturalist2017獲得SOTA。

同時(shí)，研究者在三個(gè)數(shù)據(jù)集合上可視化了Focus的區(qū)域，在不同種類動(dòng)植物的細(xì)粒度判別時(shí)，RAMS可以聚焦到類別的獨(dú)特特征區(qū)域，從而幫助細(xì)粒度分類。

可用于內(nèi)容治理和知產(chǎn)保護(hù)

今年5月，國家林業(yè)和草原局下發(fā)《關(guān)于妥善解決人工繁育鸚鵡有關(guān)問題的函》，要求河南省林業(yè)局對(duì)包括費(fèi)氏牡丹鸚鵡在內(nèi)的多種人工養(yǎng)殖鸚鵡進(jìn)行標(biāo)識(shí)管理試點(diǎn)，對(duì)符合條件的養(yǎng)殖戶盡快核發(fā)管理證件，同時(shí)，對(duì)合法人工繁育來源、依法允許出售的鸚鵡，停止執(zhí)行禁止交易措施，在政府規(guī)定的場所進(jìn)行銷售活動(dòng)。原來，1月初，河南商丘近1000家養(yǎng)殖戶因不了解費(fèi)氏牡丹鸚鵡屬于國家保護(hù)動(dòng)物，直到外地公安部門多次來商丘調(diào)查，他們才后知后覺。“鸚鵡案”困境終于有了解法。

怎么才能避免因“不懂法”“不認(rèn)識(shí)”而觸碰野生動(dòng)植物保護(hù)的紅線？

“幫他們辨別，幫他們認(rèn)識(shí)。”在淘寶、閑魚等商品平臺(tái)上，阿里安全風(fēng)控的做法是，依靠通過人工智能對(duì)商家掛出商品進(jìn)行初篩，再交給人工審核來精細(xì)判斷處理，并對(duì)禁限售商品的搜索彈出科普引導(dǎo)。

一萬多種受保護(hù)的動(dòng)植物，每種又有繁雜的細(xì)分種類，對(duì)人來說，光記名字遠(yuǎn)遠(yuǎn)不夠，必須結(jié)合實(shí)物圖片和各種背景資料綜合學(xué)習(xí)，比如鸚鵡里的牡丹鸚鵡（也叫愛情鳥），除了桃臉牡丹鸚鵡、虎皮鸚鵡等大部分都被納入《華盛頓公約》附錄二，個(gè)人不可隨意飼養(yǎng)。其中的費(fèi)氏牡丹鸚鵡屬于保護(hù)物種，都是牡丹鸚鵡，費(fèi)氏牡丹俗稱“頭類”，桃臉牡丹俗稱“面類”。一般可以依靠眼圈和嘴的顏色進(jìn)行區(qū)別，“頭類”眼睛四周有一圈眼白，通常嘴偏紅，而“面類”沒有這些特征。

風(fēng)控專家把市面上非法交易頻繁的動(dòng)植物作為重點(diǎn)研究，買百科全書，網(wǎng)上查閱相關(guān)科普資料，然后上專業(yè)網(wǎng)站和一些動(dòng)物知識(shí)APP，向動(dòng)物保護(hù)領(lǐng)域研究者請(qǐng)教，與算法人員一起打造算法模型。

浙江大學(xué)和阿里安全研發(fā)的細(xì)粒度圖像識(shí)別技術(shù)就可用在上述場景。算法的下游是風(fēng)控運(yùn)營，對(duì)他們而言，在萬能的橙色軟件上“買（看）不到什么”是一種合法合規(guī)，也是構(gòu)建健康網(wǎng)絡(luò)環(huán)境的主動(dòng)選擇。當(dāng)然，這個(gè)技術(shù)也可用于山寨商標(biāo)的識(shí)別，區(qū)分正版與山寨商標(biāo)，以及未成人年不良圖片治理和惡心圖治理等，如抽煙、酗酒、豎中指、賭博、密集恐懼等。

又到可怕的“我們來找茬”環(huán)節(jié)了，這也是炫謙等人給AI的一次測(cè)試，猜猜它找到正品logo了嗎？

研究者介紹

胡云青：浙江大學(xué)計(jì)算機(jī)學(xué)院DMAC實(shí)驗(yàn)室博士在讀，阿里安全圖靈實(shí)驗(yàn)室實(shí)習(xí)生，師從浙江大學(xué)教授張寅，研究方向和感興趣方向包括圖像識(shí)別，目標(biāo)檢測(cè)和多模態(tài)等。在ACMMM、ACL等發(fā)表過多篇論文。

炫謙：在中國科學(xué)院大學(xué)獲得碩士學(xué)位，阿里巴巴圖靈實(shí)驗(yàn)室算法專家，主要負(fù)責(zé)圖片內(nèi)容安全業(yè)務(wù)，擁有多篇發(fā)明專利，并在NIPS、ACM MM、ICASSP等發(fā)表多篇論文。

張寅：浙江大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院副教授，博士生導(dǎo)師，數(shù)字圖書館教育部工程研究中心副主任，中國工程科技知識(shí)中心建設(shè)總師團(tuán)隊(duì)成員，美國加州大學(xué)圣塔芭芭拉分校(UCSB)訪問學(xué)者，浙江大學(xué)“求是青年學(xué)者”。