[[207884]]

前言：

最近發(fā)現(xiàn)了一篇很有意思的論文，有關(guān)集成學(xué)習(xí)中的可持續(xù)性的研究，這里翻譯了一下，供了解和學(xué)習(xí)使用

劉兵：美國(guó)芝加哥大學(xué)的計(jì)算機(jī)科學(xué)教授。他的研究包括情緒分析和意見挖掘、終身機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語言處理。他目前擔(dān)任ACM SIGKDD的主席，ACM Fellow, AAAI Fellow, and IEEE Fellow。

下面是正文內(nèi)容：

引言：

機(jī)器學(xué)習(xí)(ML)對(duì)數(shù)據(jù)分析和人工智能(AI)的廣告都有幫助。最近，深度學(xué)習(xí)的成功使它達(dá)到了一個(gè)新的高度。在工業(yè)、科學(xué)和工程領(lǐng)域，幾乎所有的應(yīng)用程序都成功地使用了ML算法。

目前對(duì)ML的主流范例是在給定的數(shù)據(jù)集上運(yùn)行一個(gè)ML算法來生成一個(gè)模型。該模型隨后應(yīng)用于現(xiàn)實(shí)生活中的任務(wù)中。我們把這種范式稱為孤立學(xué)習(xí)，因?yàn)樗豢紤]任何其他相關(guān)的信息或過去的知識(shí)。這種孤立學(xué)習(xí)的根本問題在于它沒有記憶。它不保留過去的知識(shí)，并利用它來幫助未來的學(xué)習(xí)。因此，需要大量的訓(xùn)練樣本才能有效地學(xué)習(xí)。對(duì)于監(jiān)督學(xué)習(xí)，訓(xùn)練數(shù)據(jù)標(biāo)簽通常是手工完成的，這是非常耗費(fèi)人力和時(shí)間的。由于世界上有太多可能的任務(wù)，因此幾乎不可能為每個(gè)任務(wù)標(biāo)記大量的示例，以便進(jìn)行一個(gè)ML算法來學(xué)習(xí)。更糟的是，每件事都在不斷變化，因此標(biāo)簽需要不斷地進(jìn)行，這是一項(xiàng)艱巨的任務(wù)。當(dāng)前的孤立學(xué)習(xí)模式可能不適合構(gòu)建一個(gè)真正智能的系統(tǒng)，但只適合在非常狹窄的領(lǐng)域中解決問題。

我們?nèi)祟愃坪鯇W(xué)到了很多不同的東西。我們從不孤立地學(xué)習(xí)。相反，我們總是保留并積累過去學(xué)到的知識(shí)，并在未來的學(xué)習(xí)中無縫地使用它。隨著時(shí)間的推移，我們學(xué)習(xí)得越來越多，知識(shí)越來越淵博，學(xué)習(xí)越來越有效。終生機(jī)器學(xué)習(xí)(簡(jiǎn)稱LML)(簡(jiǎn)稱終生學(xué)習(xí))旨在模仿人類學(xué)習(xí)過程和能力。這種類型的學(xué)習(xí)是很自然的，因?yàn)槲覀冎車氖挛锒际蔷o密相關(guān)的和相互關(guān)聯(lián)的。過去的概念和它們之間的關(guān)系可以幫助我們更好地理解一個(gè)新的主題，因?yàn)楹芏嗍虑樵诓煌念I(lǐng)域和任務(wù)中都是共享的。例如，我們?nèi)祟惒恍枰?000個(gè)正面評(píng)價(jià)和1000個(gè)負(fù)面評(píng)論，因?yàn)橐粋€(gè)ML算法需要建立一個(gè)精確的分類來識(shí)別關(guān)于電影的負(fù)面評(píng)論和負(fù)面評(píng)論。事實(shí)上，對(duì)于這個(gè)任務(wù)，如果沒有單獨(dú)的訓(xùn)練回顧，我們就可以執(zhí)行分類任務(wù)了。怎么能這樣呢?原因很簡(jiǎn)單。這是因?yàn)槲覀冊(cè)谶^去已經(jīng)積累了很多關(guān)于人們?nèi)绾钨潛P(yáng)和批評(píng)事物的知識(shí)，盡管這些贊揚(yáng)和批評(píng)可能都是在線評(píng)論的形式。事實(shí)上，如果沒有過去的知識(shí)，人類可能很難在2000年的積極和消極的訓(xùn)練評(píng)估中手動(dòng)建立一個(gè)好的分類器。

終身機(jī)器學(xué)習(xí)的定義：

定義：終身機(jī)器學(xué)習(xí)(LML)是一個(gè)連續(xù)不斷的學(xué)習(xí)過程，在這個(gè)過程中，學(xué)習(xí)者已經(jīng)完成了N個(gè)學(xué)習(xí)任務(wù)，T1，T2，..TN。當(dāng)面對(duì)(N+1)的任務(wù)TN+1和它的數(shù)據(jù)DN+1時(shí)，學(xué)習(xí)者可以利用其知識(shí)庫(知識(shí)庫)(內(nèi)存)中的先驗(yàn)知識(shí)來幫助學(xué)習(xí)TN+1。知識(shí)庫存儲(chǔ)并維護(hù)在過去學(xué)習(xí)N個(gè)任務(wù)時(shí)所學(xué)習(xí)和積累的知識(shí)。在學(xué)習(xí)了TN+1之后，知識(shí)庫更新了從TN+1中學(xué)習(xí)的(中間和***的)結(jié)果。

陳等人[1]的這一定義表明，LML的關(guān)鍵特征是 1)持續(xù)學(xué)習(xí)，2) 知識(shí)積累在知識(shí)庫(知識(shí)庫)中，3)利用知識(shí)庫中的知識(shí)來幫助未來的學(xué)習(xí)。這些特點(diǎn)使它有別于其他相關(guān)的學(xué)習(xí)任務(wù)，如轉(zhuǎn)移學(xué)習(xí)[2]和多任務(wù)學(xué)習(xí)[3]。

遷移學(xué)習(xí)(TL)：使用一個(gè)源域來幫助一個(gè)目標(biāo)獲取域?qū)W習(xí)。它假設(shè)源域S有大量的標(biāo)記訓(xùn)練數(shù)據(jù)，目標(biāo)域T只有很少或沒有標(biāo)記的訓(xùn)練數(shù)據(jù)，但有大量未標(biāo)記的數(shù)據(jù)。TL利用被標(biāo)記的數(shù)據(jù)來幫助在目標(biāo)域中學(xué)習(xí)。由于幾個(gè)原因，TL與LML不同。首先，TL不是連續(xù)的。它只使用源域來幫助目標(biāo)域?qū)W習(xí)。其次，TL并沒有積累所學(xué)的知識(shí)。第三，TL是單向的，使用源來幫助目標(biāo)。LML可以在任何方向上進(jìn)行。第四，TL假設(shè)源與目標(biāo)非常相似。這種相似性是由人類用戶決定的。LML并沒有做出這樣一個(gè)強(qiáng)有力的假設(shè)。人類用戶通常不參與確定任務(wù)的相似性。

多任務(wù)學(xué)習(xí)(MTL)：的目標(biāo)是執(zhí)行多個(gè)相似學(xué)習(xí)任務(wù)的聯(lián)合優(yōu)化，這樣它們就可以共享彼此的知識(shí)，從而獲得更好的整體效果。然而，MTL仍然在傳統(tǒng)的范式中工作。在優(yōu)化單個(gè)任務(wù)的過程中，它會(huì)優(yōu)化幾個(gè)任務(wù)。如果我們把幾個(gè)任務(wù)看作一個(gè)更大的任務(wù)，它就會(huì)減少到傳統(tǒng)的優(yōu)化，這在MTL的大多數(shù)優(yōu)化公式中都是如此。隨著時(shí)間的推移，它不會(huì)積累任何知識(shí)，它也沒有持續(xù)學(xué)習(xí)的概念，這是LML的關(guān)鍵特性。盡管有人會(huì)說MTL可以在添加新任務(wù)時(shí)聯(lián)合優(yōu)化所有任務(wù)，但是在單個(gè)進(jìn)程中同時(shí)優(yōu)化所有任務(wù)是相當(dāng)困難的，因?yàn)槿蝿?wù)是非常不同的，而且是非常numer的。

終身機(jī)器學(xué)習(xí)的歷史：

LML的概念是在1995年由Thrun和Mitchell [4]提出的。從那時(shí)起，它就被研究了四個(gè)主要方向:

終身監(jiān)督學(xué)習(xí)，Thrun [5] 開始學(xué)習(xí)終身概念學(xué)習(xí)，每一個(gè)過去或新任務(wù)都是一個(gè)階級(jí)或概念。在基于記憶的學(xué)習(xí)和中立的網(wǎng)絡(luò)環(huán)境中，提出了幾種LML技術(shù)。在參考文獻(xiàn)[6]中，神經(jīng)網(wǎng)絡(luò)方法得到了改進(jìn)。費(fèi)等[7]將這種形式的LML擴(kuò)展到累積學(xué)習(xí)，在遇到新類時(shí)，構(gòu)建了一個(gè)新的多類分類器，可以對(duì)所有的過去和新類進(jìn)行分類。它還檢測(cè)測(cè)試中未見的類。這為自我學(xué)習(xí)鋪平了道路，因?yàn)樗軌蛱綔y(cè)到看不見的類，從而使它學(xué)習(xí)新的東西。Ruvolo和Eaton[8]提出一種有效的LML算法(ELLA)來改進(jìn)一種多任務(wù)學(xué)習(xí)方法。陳等[1] 人在樸素貝葉斯分類的背景下提出了一種LML技術(shù)。對(duì)LML的理論研究是由Pentina和Pentina [9]所做的。

陳和劉[10]首先提出了終身無監(jiān)督學(xué)習(xí)的終身學(xué)習(xí)模式。隨后，他們也報(bào)告了其他幾個(gè)模型。所提出的技術(shù)可以從許多過去的任務(wù)中學(xué)習(xí)知識(shí)，并利用這些知識(shí)幫助在新任務(wù)中生成更一致的主題。劉[11]等人提出了一種利用LML方法提取信息的方法，劉[12]提出了一種終生的圖形標(biāo)記方法，將兩種類型的表達(dá)式分離開來。

終生的半監(jiān)督學(xué)習(xí)在這個(gè)領(lǐng)域的工作是由永無止境的語言學(xué)習(xí)者(NELL)系統(tǒng)[13]所代表的。自從2010年1月以來，NELL一直在為信息提取而不斷地閱讀網(wǎng)絡(luò)，并且已經(jīng)擁有了數(shù)百萬的實(shí)體和關(guān)系。

終生強(qiáng)化學(xué)習(xí)Thrun和Mitchell [4]***次學(xué)習(xí)終生強(qiáng)化學(xué)習(xí)(LRL)，用于機(jī)器人學(xué)習(xí)。Tanaka和Yamamura [14]提出了一種“LRL”方法，將每一個(gè)環(huán)境視為一項(xiàng)任務(wù)。Bou Ammar等[15]人提出了一種政策梯度有效的LRL算法。

總結(jié)：

雖然LML已經(jīng)存在了20多年，但到目前為止還沒有進(jìn)行大量的研究。一個(gè)原因可能是，過去20年里的ML研究側(cè)重于統(tǒng)計(jì)和算法的方法。LML通常需要系統(tǒng)方法。然而，隨著統(tǒng)計(jì)機(jī)器學(xué)習(xí)的日益成熟，研究人員意識(shí)到它的局限性，LML將變得越來越重要?？梢钥隙ǖ氖?，如果沒有LML的能力來積累學(xué)習(xí)的知識(shí)并在過去的知識(shí)的幫助下學(xué)習(xí)新的任務(wù)，那么我們將無法建立一個(gè)真正的智能系統(tǒng)。我們只能在非常狹窄的領(lǐng)域內(nèi)解決問題。

參考文獻(xiàn)：

1. Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015
2. Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359
3. Caruana R. Multitask learning. Machine Learning, 1997, 28(1)
4. Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L, ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer, 1995, 165–196
5. Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems, 1996: 640–646
6. Silver D L, Mercer R E. The task rehearsal method of life-long learning: overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101
7. Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574
8. Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. In: Proceedings of International Conference on Machine Learning. 2013, 507–515
9. Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. In: Proceedings of International Conference on Machine Learning. 2014, 991–999
10. Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. In: Proceedings of International Conference on Machine Learning. 2014
11. Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016
12. Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016
13. Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence. 2015, 2302–2310
14. Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–99
15. Bou Ammar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214