[[403771]]

 機(jī)器學(xué)習(xí)的一個(gè)重要研究就是提升模型的泛化性，并且在訓(xùn)練模型的時(shí)候一個(gè)假設(shè)，即訓(xùn)練集數(shù)據(jù)的分布和測(cè)試集相同。

然而，模型面對(duì)的輸入數(shù)據(jù)來自于真實(shí)世界，也就是不穩(wěn)定的、會(huì)進(jìn)化的、數(shù)據(jù)分布會(huì)隨環(huán)境發(fā)生變化。

雖然對(duì)人類來說，這個(gè)問題十分好解決，例如網(wǎng)絡(luò)用語層出不窮，但每個(gè)人都能很快地接受，并熟練地運(yùn)用起來，但對(duì)機(jī)器來說卻很難。

人類可以通過重用相關(guān)的先前知識(shí)來迅速適應(yīng)和學(xué)習(xí)新知識(shí)，如果把這個(gè)思路用在機(jī)器學(xué)習(xí)模型上，首先需要弄清楚如何將知識(shí)分離成易于重新組合的模塊，以及如何修改或組合這些模塊，以實(shí)現(xiàn)對(duì)新任務(wù)或數(shù)據(jù)分布的建模。

基于這個(gè)問題，圖靈獎(jiǎng)得主Yoshua Bengio最近在arxiv上公開了一篇論文，提出了一個(gè)模塊化的架構(gòu)，由一組獨(dú)立的模塊組成，這些模塊相互對(duì)抗，利用key-value注意力機(jī)制找到相關(guān)的知識(shí)。研究人員在模塊和注意力機(jī)制參數(shù)上采用元學(xué)習(xí)方法，以強(qiáng)化學(xué)習(xí)的方式實(shí)現(xiàn)快速適應(yīng)分布的變化或新任務(wù)。

這個(gè)團(tuán)隊(duì)研究這樣的模塊化架構(gòu)是否可以幫助將知識(shí)分解成不可更改和可重用的部分，以便得到的模型不僅更具樣本效率，而且還可以在各種任務(wù)分布之間進(jìn)行泛化。

該模型基于一個(gè)包含一組獨(dú)立模塊和競(jìng)爭(zhēng)模塊的循環(huán)獨(dú)立機(jī)制(RIMs)體系結(jié)構(gòu)。在這種設(shè)置中，每個(gè)模塊通過注意力獨(dú)立行動(dòng)，并與其他模塊交互。不同的模塊通過輸入注意力處理輸入的不同部分，而模塊之間的上下文關(guān)系通過交流注意力建立。

研究人員還展示了如何利用元學(xué)習(xí)在不同的時(shí)間尺度上以不同的速度訓(xùn)練網(wǎng)絡(luò)的不同組成部分，從而捕捉到底層分布的快速變化和緩慢變化的方面。

因此，該模型既有快速學(xué)習(xí)階段，也有慢速學(xué)習(xí)階段。

在快速fast學(xué)習(xí)中，快速更新激活的模塊參數(shù)以捕獲任務(wù)分布中的變化。

在緩慢slow學(xué)習(xí)中，這兩套注意力機(jī)制的參數(shù)更新頻率較低，以捕捉任務(wù)分布中更穩(wěn)定的方面。

該團(tuán)隊(duì)評(píng)估了他們提出的 Meta-RIMs 網(wǎng)絡(luò)在從 MiniGrid 和 BabyAI 套件的各種環(huán)境。他們選擇平均回報(bào)率和平均成功率作為衡量標(biāo)準(zhǔn)，并用兩個(gè)基準(zhǔn)模型對(duì) Meta-RIMs 網(wǎng)絡(luò)進(jìn)行比較: Vanilla LSTM 模型和模塊化網(wǎng)絡(luò)(modular network)。

結(jié)果表明，所提出的方法能夠提高樣本效率，導(dǎo)致更好地推廣到訓(xùn)練分布的系統(tǒng)性變化的策略。

此外，這種方法能夠更快地適應(yīng)新的發(fā)行版本，并且通過重復(fù)利用從類似的以前學(xué)過的任務(wù)中獲得的知識(shí)，以漸進(jìn)的方式訓(xùn)練強(qiáng)化學(xué)習(xí)的學(xué)習(xí)體，形成更好的知識(shí)學(xué)習(xí)方法。

該研究成功地利用模塊化結(jié)構(gòu)上的元學(xué)習(xí)和稀疏通信來捕捉潛在機(jī)制的短期和長(zhǎng)期方面，證實(shí)了元學(xué)習(xí)和基于注意力的模塊化可以導(dǎo)致更好的樣本效率、分布外的泛化和遷移學(xué)習(xí)。

Reddit網(wǎng)友idea撞車？

論文一出，Reddit上立馬引發(fā)熱議。

一個(gè)小哥發(fā)評(píng)論說感覺相當(dāng)難受了，我做這個(gè)4年了，今年就要發(fā)表，但還是被領(lǐng)先了。后來又補(bǔ)充說并不是一模一樣的工作，但是非常接近。

這也引來了無數(shù)安慰，相似的結(jié)論可能來源于不同的方法，每個(gè)方法都是有價(jià)值的。

還有網(wǎng)友認(rèn)為，你的實(shí)力已經(jīng)可以和Bengio及他的團(tuán)隊(duì)匹敵了，這是一件好事！并且有其他人和你面對(duì)同一件事有不同的想法，也許也能給你啟發(fā)，促進(jìn)工作。

知乎上也有網(wǎng)友對(duì)此提出問題。

有網(wǎng)友表示，兩篇論文全撞車，CV太卷了，當(dāng)做的論文和大佬撞車時(shí)候，完全沒有反抗的余地，因?yàn)閯e人的工作是無懈可擊的。有機(jī)會(huì)一定要挖坑，不去填坑。

目前深度學(xué)習(xí)的一些工作已經(jīng)到了拼手速的地步，當(dāng)BERT一出，各種基于BERT的工作層出不窮，只是一個(gè)驗(yàn)證的工作，而不能對(duì)同行有一定的啟發(fā)。

畢竟牛頓和萊布尼茨還在爭(zhēng)奪微積分，普通人撞車也是很正常的。

你有論文撞車過嗎？