這是一篇來自卡耐基梅隆大學(xué)和加州伯克利大學(xué) Eric Xing 和 Trevor Darrell 團(tuán)隊(duì)聯(lián)合出品的論文，探究如何在自監(jiān)督雙子結(jié)構(gòu)中通過圖像混合學(xué)習(xí)更加細(xì)粒度的特征表示，并入選 AAAI 2022。

• 論文鏈接：https://arxiv.org/pdf/2003.05438.pdf
• 代碼鏈接：https://github.com/szq0214/Un-Mix

文章核心思想非常直觀易懂：希望去探究在自監(jiān)督學(xué)習(xí)常用的雙子結(jié)構(gòu)網(wǎng)絡(luò)中，通過在輸入空間做圖像融合來學(xué)習(xí)更加細(xì)粒度的特征表示。核心內(nèi)容討論了如何來設(shè)計(jì)數(shù)據(jù)采樣和構(gòu)建對(duì)應(yīng)的損失函數(shù)，從而去匹配圖像融合之后新的輸入空間。

如下圖所示，首先形象地解釋這一基于圖像融合在自監(jiān)督學(xué)習(xí)中實(shí)現(xiàn)更加細(xì)粒度的距離度量的機(jī)制：

左邊示例表示一般常用的雙子自監(jiān)督網(wǎng)絡(luò)結(jié)構(gòu)的工作原理，它的兩個(gè)分支的距離就是默認(rèn)的距離度量，比如使用 InfoNCE 去分類輸入的圖片對(duì)是正對(duì) (positive) 還是負(fù)對(duì) (negative)。

右邊是本文 Un-Mix 提出的研究思路，即通過在一個(gè)分支上做圖像融合，使得最后的距離度量變?yōu)橐粋€(gè) [0,1] 之間的軟化系數(shù)的倍數(shù)，從而使兩個(gè)分支之間的距離變得更加細(xì)微和敏感（該工作是首個(gè)在自監(jiān)督雙子模型中引入了軟距離概念的文章），進(jìn)而讓模型學(xué)習(xí)到更加細(xì)粒度的輸入信息的隱空間表達(dá)。

實(shí)現(xiàn)策略

具體怎么來方便簡單地實(shí)現(xiàn)這一機(jī)制呢？本文作者提出了如下一種策略：通過在一個(gè) mini-batch 內(nèi)部通過某種順序做樣本融合，從而得到固定的距離度量，如下圖所示：

具體地，作者將一個(gè)批量（mini-batch）中的樣本做一個(gè)倒序，然后跟原來的樣本們做加權(quán)融合，兩張?jiān)瓐D的距離分別變成為λ和1-λ ，因此一個(gè)批量樣本集合之間相互的語義距離矩陣變?yōu)槿缦滦问剑?/p>

利用這一新的距離度量，我們可以使用新的損失函數(shù)來訓(xùn)練模型，如下所示：

下面是 Un-Mix 算法實(shí)現(xiàn)的偽代碼：

實(shí)驗(yàn)結(jié)果

作者在多個(gè)數(shù)據(jù)集上進(jìn)行了大量的實(shí)驗(yàn)。

首先是非 ImageNet 數(shù)據(jù)集上的訓(xùn)練和測試曲線：

可以發(fā)現(xiàn)一個(gè)比較有趣的現(xiàn)象：在加入了 Un-Mix 之后，訓(xùn)練的損失值（training loss）變得非常不穩(wěn)定，波動(dòng)很大，這是因?yàn)樵谳斎肟臻g進(jìn)行圖像融合操作之后導(dǎo)致兩個(gè)分支的距離度量變得更加細(xì)微多樣和敏感。但是這對(duì)模型泛化能力是有幫助的，在做模型測試的時(shí)候依然可以取得更好的測試性能。

具體的數(shù)值結(jié)果對(duì)比如下，可以看到在不同數(shù)據(jù)集和對(duì)照方法上結(jié)果都有非常明顯的提升。

接下來是在 ImageNet 上的結(jié)果，文章提出的方法在 200 和 800 epoch 兩種不同的的訓(xùn)練參數(shù)設(shè)置下都有比較穩(wěn)定的提升：

最后是在下游任務(wù)目標(biāo)檢測上的遷移結(jié)果，該方法依然有穩(wěn)定的提升：

此外，作者還討論了如何處理含有 memory bank 的框架以及如何進(jìn)行多尺度（multi-scale）訓(xùn)練（如上圖 11 所示），有興趣的同學(xué)可以去閱讀原論文。