預(yù)測復(fù)雜的系統(tǒng)一定要用更多的神經(jīng)元嗎？在最新一期的《自然 · 通訊》上，俄亥俄州立大學(xué)的研究者給出了否定的答案。他們找到了一種將儲備池計算速度最高提升 100 萬倍的方法，使用的神經(jīng)元比原來要少得多。

在數(shù)學(xué)領(lǐng)域，有一個名叫「動力系統(tǒng)」的概念。這一系統(tǒng)中存在一個固定的規(guī)則，描述了幾何空間中的一個點隨時間的演化情況，例如鐘擺晃動、管道中水的流動、湖中每年春季魚類的數(shù)量等。

然而，動力系統(tǒng)就像天氣一樣，是很難預(yù)測的，因為初始條件下微小的變化能帶動整個系統(tǒng)的長期的巨大的連鎖反應(yīng)，這就是我們所熟知的蝴蝶效應(yīng)。

[[425395]]

為了更好地預(yù)測動力系統(tǒng)隨時間的演化，相關(guān)研究者在本世紀(jì)初提出了一種名為「儲備池計算（Reservoir computing ）」的機器學(xué)習(xí)算法。這是一種模仿人腦工作方式的計算方法，在預(yù)測動力系統(tǒng)演化方面非常有效，研究者也一直在這條路上不斷改進。

在最新一期的《自然 · 通訊》雜志上，來自美國俄亥俄州立大學(xué)的研究者公布了他們在儲備池計算研究上的新進展。這些研究者表示，他們找到了一種新方法，將儲備池計算的速度提高了 33 到 100 萬倍，而所需的計算資源和數(shù)據(jù)輸入?yún)s大大減少。他們將這種方法稱為「下一代儲備池計算」。

論文鏈接：https://www.nature.com/articles/s41467-021-25801-2

這項研究的一作兼通訊作者為俄亥俄州立大學(xué)物理系教授 Daniel Gauthier。

共同作者包括克拉克森大學(xué)電子與計算機工程系教授 Erik Bollt、俄亥俄州立大學(xué)物理學(xué)博士 Aaron Griffith 和俄亥俄州立大學(xué)物理學(xué)博士后研究員 Wendson Barbosa。

這項研究還得到了美國國防高級研究計劃局（DARPA）的支持。

在針對新方法的一次測試中，研究者在臺式電腦上只用不到一秒的時間就解決了一個復(fù)雜的計算問題。如果使用當(dāng)前的 SOTA 技術(shù)來解決該問題，研究者要用到超級計算機，而且需要更長的時間。

下一代儲備池計算：用更少的神經(jīng)元作出更準(zhǔn)確的預(yù)測

儲備池計算使用人工神經(jīng)網(wǎng)絡(luò)來預(yù)測動力系統(tǒng)的演化。研究者將動力系統(tǒng)上的數(shù)據(jù)輸入神經(jīng)網(wǎng)絡(luò)中一個由隨機連接的人工神經(jīng)元組成的「儲備池」中。該網(wǎng)絡(luò)產(chǎn)生有用的輸出，研究者可以解釋該輸出并給出反饋，從而建立一個越來越準(zhǔn)確的演化預(yù)測系統(tǒng)。

系統(tǒng)越大、越復(fù)雜，期望預(yù)測的結(jié)果越準(zhǔn)確，人工神經(jīng)網(wǎng)絡(luò)就越大，完成任務(wù)所需的計算資源和時間也就越多。新研究主要作者、美國俄亥俄州立大學(xué)物理學(xué)教授 Daniel Gauthier 說，這里的問題是，基于人工神經(jīng)元的儲備池是一個黑盒子，科學(xué)家們不知道它里面到底發(fā)生了什么，只知道它管用。

儲備池計算核心的人工神經(jīng)網(wǎng)絡(luò)建立在數(shù)學(xué)基礎(chǔ)上的，Gauthier 解釋說，「我們讓數(shù)學(xué)家看一下這些網(wǎng)絡(luò)，并告訴我們里面的各種組件到底在多大程度上是必不可少的?！?/p>

在這項新研究中，Gauthier 和他的同事調(diào)查了這個問題，發(fā)現(xiàn)整個儲備池計算系統(tǒng)可以大大簡化，從而顯著降低對計算資源的需求，節(jié)省大量時間。

他們在一個預(yù)測任務(wù)中測試了此概念，該任務(wù)涉及 Edward Lorenz 開發(fā)的天氣系統(tǒng)，Edward Lorenz 是蝴蝶效應(yīng)的發(fā)現(xiàn)者，被譽為混沌理論之父。

在 Lorenz 預(yù)測任務(wù)中，研究者提出的下一代儲備池計算技術(shù)明顯優(yōu)于當(dāng)前的 SOTA 技術(shù)。在一臺臺式機上進行的一個相對簡單的模擬中，新系統(tǒng)的速度是當(dāng)前模型的 33 到 163 倍。

但是，當(dāng)目標(biāo)是達到 great accuracy 時，下一代儲備池計算要快 100 萬倍。Gauthier 說，新方法只需要 28 個神經(jīng)元就能達到原本 4000 個神經(jīng)元才能達到的準(zhǔn)確率。

速度提升的一個重要原因在于：與上一代儲備池計算相比，新一代儲備池計算背后的「大腦」需要的 warmup 和訓(xùn)練要少得多。

Warmup 指的是需要作為輸入被添加到儲備池計算機，從而為其實際任務(wù)做好準(zhǔn)備的訓(xùn)練數(shù)據(jù)?！肝覀兊男路椒◣缀醪恍枰?warm 時間，」Gauthier 表示，「目前，為了 warmup，研究者必須放入 1000、10000 個甚至更多的數(shù)據(jù)點。這些都是實際工作中不需要的數(shù)據(jù)。我們只需要輸入一兩個或三個數(shù)據(jù)點。」

一旦研究人員準(zhǔn)備好訓(xùn)練儲備池計算機進行預(yù)測，下一代系統(tǒng)需要的數(shù)據(jù)就會少很多。

在 Lorenz 預(yù)測任務(wù)的測試中，研究人員使用 400 個數(shù)據(jù)點，就得到了與上一代儲備池計算機使用 5000 個或更多數(shù)據(jù)點產(chǎn)生的相同的結(jié)果（具體數(shù)據(jù)點數(shù)量取決于所需的準(zhǔn)確率）。

Gauthier 說：「令人興奮的是，下一代儲備池計算采用了之前就已經(jīng)非常優(yōu)秀的技術(shù)，大大提高了效率。」他們計劃將這項工作擴展到更復(fù)雜的計算問題上，比如預(yù)測流體動力學(xué)。

「這是一個極具挑戰(zhàn)性的問題。我們想看看，是否可以使用簡化的儲備池計算模型，以加快解決這個問題的進程?！笹authier 表示。