正如圖像處理、智能醫(yī)療、自動駕駛汽車和智慧城市等各個 AI 領(lǐng)域的突破所展現(xiàn)的那樣，深度學(xué)習(xí)無疑正在經(jīng)歷著黃金期。在未來十年左右，AI 和計算機系統(tǒng)將最終具備類人的學(xué)習(xí)和思考能力，以處理持續(xù)的信息流，與現(xiàn)實世界進(jìn)行交互。

但是，當(dāng)前的 AI 模型在連續(xù)進(jìn)行新信息訓(xùn)練時會遭受性能損失。這是因為每當(dāng)生成新數(shù)據(jù)時，都會在已有數(shù)據(jù)之上寫入，從而擦除以前的信息。這種效應(yīng)被稱為「災(zāi)難性遺忘」。穩(wěn)定性 - 可塑性困境導(dǎo)致 AI 模型需要更新其記憶以不斷地適應(yīng)新信息，同時保持當(dāng)前知識的穩(wěn)定性。這一問題阻止了 SOTA AI 模型持續(xù)地從現(xiàn)實世界信息中學(xué)習(xí)。

同時，邊緣計算系統(tǒng)允許將計算從云存儲和數(shù)據(jù)中心轉(zhuǎn)移到原始來源附近，例如連接物聯(lián)網(wǎng)的設(shè)備。在資源有限的邊緣計算設(shè)備上高效地應(yīng)用持續(xù)學(xué)習(xí)仍然是一個挑戰(zhàn)，盡管領(lǐng)域內(nèi)也提出了很多持續(xù)學(xué)習(xí)模型來解決這一問題。傳統(tǒng)模型需要高計算能力和大存儲容量。

最近，新加坡科技設(shè)計大學(xué)（SUTD）的一個研究團(tuán)隊設(shè)計了一種能夠?qū)崿F(xiàn)高能效持續(xù)學(xué)習(xí)系統(tǒng)的新型模型，研究《Continual Learning Electrical Conduction in Resistive-Switching-Memory Materials》發(fā)表在了期刊《先進(jìn)理論與模擬》上。

論文地址：https://onlinelibrary.wiley.com/doi/abs/10.1002/adts.202200226

該團(tuán)隊提出一種受大腦啟發(fā)的模型—Brain-Inspired Replay(BIR)，它可以自然地進(jìn)行持續(xù)學(xué)習(xí)。BIR 模型基于人工神經(jīng)網(wǎng)絡(luò)和變分自編碼器來模擬人類大腦的功能，在沒有存儲數(shù)據(jù)的類增量學(xué)習(xí)場景中也能表現(xiàn)得很好。研究者還使用 BIR 模型來表示在數(shù)字存儲系統(tǒng)中使用電流的導(dǎo)電絲生長。

下圖左上為生成式回放設(shè)置，右上為訓(xùn)練具有生成式回放的人工神經(jīng)網(wǎng)絡(luò)；左下和右下分別為常規(guī)以及 BIR 模型的歸一化電流精度。

論文通訊作者之一、助理教授 Loke 解釋稱，「在 BIR 中，知識被保存在訓(xùn)練過的模型中，從而在引入額外任務(wù)時將性能損失降至最低，并無需參考以往工作中的數(shù)據(jù)。因此，這種做法可以大量節(jié)能。」

他還補充道，「在無存儲數(shù)據(jù)的情況下，在當(dāng)前學(xué)習(xí)任務(wù)的合規(guī)性挑戰(zhàn)上實現(xiàn)了 89% 的 SOTA 準(zhǔn)確率，這比傳統(tǒng)持續(xù)學(xué)習(xí)模型高了約兩倍，并且實現(xiàn)了高能效。」

此外，為了使 BIR 模型能夠獨立處理現(xiàn)實世界的現(xiàn)場信息，該團(tuán)隊計劃在下一階段的研究中擴(kuò)展它的可調(diào)能力。

Loke 表示，這項研究基于小規(guī)模演示，仍處于早期階段。不過，采用這種方法有望使得邊緣 AI 系統(tǒng)在無人類控制的情況下獨立發(fā)展。