在開(kāi)放、高動(dòng)態(tài)和演化環(huán)境中的學(xué)習(xí)能力是生物智能的核心要素之一，也是人類以及大多數(shù)動(dòng)物在「適者生存」的自然選擇過(guò)程中形成的重要優(yōu)勢(shì)。目前傳統(tǒng)機(jī)器學(xué)習(xí)范式是在靜態(tài)和封閉的數(shù)據(jù)集上學(xué)習(xí)到一個(gè)模型，并假設(shè)其應(yīng)用環(huán)境和之前訓(xùn)練數(shù)據(jù)的屬性相同，因而無(wú)法適應(yīng)動(dòng)態(tài)開(kāi)放環(huán)境的挑戰(zhàn)。

針對(duì)該問(wèn)題，持續(xù)學(xué)習(xí)模擬生物智能的學(xué)習(xí)過(guò)程和學(xué)習(xí)能力，發(fā)展新型的機(jī)器學(xué)習(xí)理論和方法，通過(guò)持續(xù)學(xué)習(xí)的過(guò)程，以期提升智能體對(duì)開(kāi)放、高動(dòng)態(tài)環(huán)境的適應(yīng)能力。但是，目前主流的機(jī)器學(xué)習(xí)模型通過(guò)調(diào)整網(wǎng)絡(luò)參數(shù)進(jìn)行學(xué)習(xí)，當(dāng)學(xué)習(xí)任務(wù)的數(shù)據(jù)分布發(fā)生變化時(shí)，先前學(xué)到的網(wǎng)絡(luò)參數(shù)可能被覆蓋，從而導(dǎo)致對(duì)先前知識(shí)的災(zāi)難性遺忘（catastrophic forgetting）。

作為人工智能尤其是深度學(xué)習(xí)發(fā)展的重要瓶頸，持續(xù)學(xué)習(xí)近年來(lái)在人工智能領(lǐng)域受到廣泛關(guān)注。大多數(shù)持續(xù)學(xué)習(xí)方法都專注于提高對(duì)所學(xué)知識(shí)的記憶穩(wěn)定性以克服災(zāi)難性遺忘，例如在學(xué)習(xí)新任務(wù)時(shí)固定執(zhí)行舊任務(wù)的網(wǎng)絡(luò)參數(shù)。然而這些方法通常只能在特定場(chǎng)景中發(fā)揮作用，難以像生物智能那樣對(duì)現(xiàn)實(shí)世界的復(fù)雜環(huán)境和任務(wù)具有普遍的適應(yīng)能力。

因此，能否借鑒生物腦的持續(xù)學(xué)習(xí)機(jī)理，發(fā)展新型的持續(xù)學(xué)習(xí)方法一直是人工智能領(lǐng)域普遍關(guān)注的問(wèn)題。

針對(duì)該問(wèn)題，近期清華大學(xué)計(jì)算機(jī)系朱軍教授 TSAIL 課題組聯(lián)合生命學(xué)院鐘毅教授課題組在自然機(jī)器智能（Nature Machine Intelligence）期刊上發(fā)表了題為「融入神經(jīng)啟發(fā)適應(yīng)性的人工智能方法」（Incorporating neuro-inspired adaptability for continual learning in artificial intelligence）的研究論文，并被選作12月的封面文章。

該研究利用貝葉斯方法深入分析并建模了生物學(xué)習(xí)記憶系統(tǒng)的適應(yīng)性機(jī)制，顯著提升了深度神經(jīng)網(wǎng)絡(luò)的持續(xù)學(xué)習(xí)能力，為智能系統(tǒng)在動(dòng)態(tài)開(kāi)放環(huán)境的自適應(yīng)發(fā)展提供了跨學(xué)科的深刻見(jiàn)解。

論文鏈接：https://www.nature.com/articles/s42256-023-00747

引言

隨著大規(guī)模標(biāo)注數(shù)據(jù)的出現(xiàn)和硬件設(shè)備計(jì)算能力的增強(qiáng)，以深度學(xué)習(xí)為核心的人工智能在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、自動(dòng)駕駛、智能機(jī)器人等領(lǐng)域取得了一系列突破性進(jìn)展。然而，深度學(xué)習(xí)高度依賴于靜態(tài)的數(shù)據(jù)分布，難以對(duì)動(dòng)態(tài)變化的數(shù)據(jù)分布進(jìn)行持續(xù)學(xué)習(xí)。

從理論層面來(lái)看，持續(xù)學(xué)習(xí)的優(yōu)化目標(biāo)可以被進(jìn)一步細(xì)化為記憶穩(wěn)定性、學(xué)習(xí)可塑性、泛化兼容性等核心要素。為了適應(yīng)不斷變化的環(huán)境和任務(wù)，智能系統(tǒng)需要在記憶舊知識(shí)和學(xué)習(xí)新知識(shí)之間取得適當(dāng)?shù)钠胶?，并具備充分的泛化能力以容納數(shù)據(jù)分布之間的差異。

圖 1. 生物智能啟發(fā)的持續(xù)學(xué)習(xí)方法示意圖 (來(lái)源：NMI 原文)

作為天然的模板，人類以及大多數(shù)動(dòng)物天生就是以一種持續(xù)不斷的方式進(jìn)行學(xué)習(xí)的。即使是果蠅等簡(jiǎn)單的生命體，也進(jìn)化出了多種適應(yīng)性機(jī)制，以實(shí)現(xiàn)有效的持續(xù)學(xué)習(xí)。在果蠅的學(xué)習(xí)記憶系統(tǒng)中，動(dòng)態(tài)變化的感覺(jué)信息可以在多個(gè)并行的持續(xù)學(xué)習(xí)模塊中被有選擇地保護(hù)和遺忘，為人工智能提供了重要的啟示。

圖 2. 記憶的選擇性保護(hù)與遺忘機(jī)制 (來(lái)源：NMI 原文)

研究概覽

在方法層面，研究人員提出了一種生物啟發(fā)的記憶調(diào)控方法，對(duì)所學(xué)知識(shí)進(jìn)行有選擇地保護(hù)和遺忘。在學(xué)習(xí)新任務(wù)時(shí)，該方法通過(guò)優(yōu)化參數(shù)分布中的舊任務(wù)信息來(lái)促進(jìn)記憶穩(wěn)定性，并引入一定程度的遺忘率以促進(jìn)學(xué)習(xí)可塑性。研究人員進(jìn)一步推導(dǎo)出一種突觸擴(kuò)張-再歸一化的優(yōu)化算法，使神經(jīng)網(wǎng)絡(luò)能夠在新舊任務(wù)的最優(yōu)解之間做出明確的權(quán)衡，并依此分析了遺忘率在降低持續(xù)學(xué)習(xí)的泛化誤差方面的作用，從功能目標(biāo)和實(shí)現(xiàn)機(jī)制兩個(gè)層面與生物智能相呼應(yīng)。

圖 3. 動(dòng)態(tài)調(diào)節(jié)的并行多模塊結(jié)構(gòu) (來(lái)源：NMI 原文)

同時(shí)，研究人員構(gòu)建了一種類似果蠅學(xué)習(xí)記憶系統(tǒng)的并行多模塊結(jié)構(gòu)，對(duì)應(yīng)于多個(gè)持續(xù)學(xué)習(xí)專家。通過(guò)在每個(gè)模塊中實(shí)施所提出的記憶調(diào)控機(jī)制，對(duì)記憶進(jìn)行有選擇地保護(hù)和遺忘，從而使各個(gè)模塊都能分化出適當(dāng)?shù)娜蝿?wù)專長(zhǎng)，充分適應(yīng)不同任務(wù)的數(shù)據(jù)分布差異。研究人員還深入探討了神經(jīng)網(wǎng)絡(luò)的隨機(jī)性因素與學(xué)習(xí)規(guī)則和遺忘率的相互作用，證明神經(jīng)系統(tǒng)的適應(yīng)性機(jī)制并非孤立運(yùn)作，而是高度協(xié)同的。

圖 4. 多種持續(xù)學(xué)習(xí)基準(zhǔn)的實(shí)驗(yàn)結(jié)果 (來(lái)源：NMI 原文)

在多種持續(xù)學(xué)習(xí)基準(zhǔn)中，包括視覺(jué)任務(wù)和強(qiáng)化任務(wù)等，所提出的適應(yīng)性機(jī)制能夠顯著提高深度神經(jīng)網(wǎng)絡(luò)的持續(xù)學(xué)習(xí)能力。此外，論文還從遺忘的生物學(xué)意義和實(shí)現(xiàn)機(jī)制等角度，深入探討了智能系統(tǒng)在持續(xù)學(xué)習(xí)方面的聯(lián)系，作為一種新的范式推動(dòng)人工智能和生物智能的協(xié)同發(fā)展。

圖 5. 持續(xù)學(xué)習(xí)的全面綜述 (來(lái)源：團(tuán)隊(duì)的 arxiv 論文 https://arxiv.org/abs/2302.00487)

作者及課題組介紹

清華大學(xué)的朱軍教授和鐘毅教授為本論文的共同通訊作者，水木學(xué)者博士后王立元和張幸幸助理研究員為本論文的共同第一作者。清華大學(xué)的李乾助理研究員、蘇航副研究員、以及倫敦大學(xué)學(xué)院的張鳴天博士是本論文的共同作者。

清華大學(xué) TSAIL 課題組長(zhǎng)期致力于貝葉斯機(jī)器學(xué)習(xí)的理論和算法研究。近年來(lái)，課題組結(jié)合機(jī)器學(xué)習(xí)與神經(jīng)科學(xué)的前沿進(jìn)展，在持續(xù)學(xué)習(xí)領(lǐng)域發(fā)表了一系列重要成果。在今年年初完成持續(xù)學(xué)習(xí)領(lǐng)域的綜述論文「A comprehensive survey of continual learning: theory, method and application」，系統(tǒng)地梳理了持續(xù)學(xué)習(xí)的基本設(shè)置、理論基礎(chǔ)、代表性方法和實(shí)際應(yīng)用等方面的研究進(jìn)展，并提出未來(lái)的發(fā)展方向，受到了國(guó)內(nèi)外人工智能社區(qū)的廣泛關(guān)注。

另外，針對(duì)持續(xù)學(xué)習(xí)領(lǐng)域的普遍技術(shù)難點(diǎn)，提出了生成模型的半監(jiān)督持續(xù)學(xué)習(xí) (CVPR’21)、具備選擇性遺忘的權(quán)重正則化方法 (NeurIPS’21)、自適應(yīng)數(shù)據(jù)壓縮的記憶回放方法 (ICLR’22)、動(dòng)態(tài)并行模塊的持續(xù)學(xué)習(xí)架構(gòu) (ECCV’22) 等。

近期，關(guān)于預(yù)訓(xùn)練模型的持續(xù)學(xué)習(xí)理論與方法的研究論文「Hierarchical decomposition of prompt-based continual learning: rethinking obscured sub-optimality」被 NeurIPS’23 評(píng)為 spotlight，該論文通過(guò)對(duì)預(yù)訓(xùn)練背景下的持續(xù)學(xué)習(xí)優(yōu)化目標(biāo)進(jìn)行層次化分解，提出了適用于各類微調(diào)技術(shù)（如 prompt、adapter、LoRA 等）的通用框架，顯著提升了預(yù)訓(xùn)練模型在動(dòng)態(tài)開(kāi)放環(huán)境下的自適應(yīng)性。