近年來，隨著科學(xué)家們不斷推動機(jī)器學(xué)習(xí)的邊界，訓(xùn)練日益復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型所需的時(shí)間、能源和資金正在飛速增長?！改Ｐ湍芙ǎ?xùn)練太慢」成為困擾越來越多研究人員的一個(gè)頭疼問題。

最近，被稱為「模擬深度學(xué)習(xí)」的人工智能新領(lǐng)域有望以更少的能源實(shí)現(xiàn)更快的計(jì)算。可編程電阻器是模擬深度學(xué)習(xí)的關(guān)鍵部分，就像晶體管是數(shù)字處理器的核心元素一樣。

通過在復(fù)雜的層中重復(fù)排列可編程電阻器，研究人員可以創(chuàng)建一個(gè)模擬人工神經(jīng)元和突觸網(wǎng)絡(luò)，就像數(shù)字神經(jīng)網(wǎng)絡(luò)一樣執(zhí)行計(jì)算。這個(gè)網(wǎng)絡(luò)可以被訓(xùn)練來實(shí)現(xiàn)復(fù)雜的人工智能任務(wù)，如圖像識別和自然語言處理。

模擬神經(jīng)網(wǎng)絡(luò)的計(jì)算速度很大程度上取決于「人造突觸」的傳輸速度。麻省理工學(xué)院的一個(gè)團(tuán)隊(duì)要解決的就是這個(gè)環(huán)節(jié)。他們之前已經(jīng)開發(fā)了一種人造模擬突觸，現(xiàn)在要做的是，搞個(gè)新材料，超越原來的老版本。

這次，他們在制造過程中利用了一種實(shí)用的無機(jī)材料，讓前文提到的可編程電阻器的運(yùn)行速度達(dá)到了以前的版本的100萬倍，同時(shí)也實(shí)現(xiàn)了比人腦中的突觸快約100萬倍。此外，這種材料還使電阻的能源效率極高。與早期版本的設(shè)備中使用的材料不同，新材料與硅制造技術(shù)兼容。這一變化使得在納米尺度上制造器件成為可能，并可能為整合到深度學(xué)習(xí)應(yīng)用的商業(yè)計(jì)算硬件中鋪平道路。這項(xiàng)研究論文已經(jīng)發(fā)表在Science上。

論文鏈接：https://www.science.org/doi/pdf/10.1126/science.abp8064

論文的通信作者、麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系（EECS）的唐納教授Jesús A. del Alamo說：「憑借這一關(guān)鍵發(fā)現(xiàn)，加上MIT.nano的強(qiáng)大的納米制造技術(shù)，我們已經(jīng)能夠把這些碎片放在一起，并證明這些設(shè)備本質(zhì)上是非?？斓?，可以在合理的電壓下運(yùn)行?！埂冈撛O(shè)備的工作機(jī)制是將最小的離子--質(zhì)子--電化學(xué)插入絕緣氧化物中，以調(diào)節(jié)其電子傳導(dǎo)性。因?yàn)槲覀冇玫脑O(shè)備非常薄，所以可以通過使用強(qiáng)電場來加速這個(gè)離子的運(yùn)動，并將這些離子設(shè)備推向納秒級操作」論文通信作者、核科學(xué)與工程系和材料科學(xué)與工程系的Breene M. Kerr教授Bilge Yildiz解釋說。論文通信作者、巴特爾能源聯(lián)盟核科學(xué)與工程系教授和材料科學(xué)與工程系教授Ju Li說：

「生物細(xì)胞中的動作電位以毫秒級尺度上升和下降，因?yàn)榇蠹s0.1伏的電壓差受制于水的穩(wěn)定性。"在這里，我們在一個(gè)特殊的納米級厚度的固體玻璃薄膜上施加高達(dá)10伏的電壓，該薄膜可以傳導(dǎo)質(zhì)子，而不會永久損壞它。而且，電場越強(qiáng)，離子設(shè)備運(yùn)行速度就越快。」本文的共同作者還包括材料科學(xué)與工程系的Ellen Swallow Richards教授Frances M. Ross；博士后Nicolas Emond和Baoming Wang；以及EECS的研究生Difei Zhang。

這些可編程電阻器極大地提高了神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度，同時(shí)極大降低了進(jìn)行訓(xùn)練的成本和能耗。這可以幫助科學(xué)家們更快地開發(fā)深度學(xué)習(xí)模型，應(yīng)用于自動駕駛汽車、欺詐檢測或醫(yī)學(xué)圖像分析等用途?！敢坏┯辛四M處理器，就不用再訓(xùn)練其他人正在研究的網(wǎng)絡(luò)了。你可以訓(xùn)練具有前所未有的高復(fù)雜度的網(wǎng)絡(luò)，而這種復(fù)雜度是其他人無法承受的。換句話說，這不僅僅是一輛跑得快的汽車，而是一家飛機(jī)」。論文第一作者、麻省理工學(xué)院博士后Murat Onen說。

100萬倍加速深度學(xué)習(xí)

模擬深度學(xué)習(xí)之所以比其數(shù)字深度學(xué)習(xí)更快、更節(jié)能，主要有兩個(gè)原因。

首先，計(jì)算是在內(nèi)存中進(jìn)行的，所以巨大的數(shù)據(jù)負(fù)載不會從內(nèi)存來回傳輸?shù)教幚砥?。模擬處理器也以并行方式進(jìn)行操作。如果矩陣擴(kuò)大，模擬處理器不需要更多時(shí)間來完成新的操作，因?yàn)樗械挠?jì)算都是同時(shí)進(jìn)行的。麻省理工學(xué)院新的模擬處理器技術(shù)的關(guān)鍵元素被稱為質(zhì)子可編程電阻。這些電阻以納米為單位，排列成一個(gè)陣列，就像一個(gè)棋盤。

納秒級質(zhì)子可編程電阻器

為了開發(fā)一種超高速、高能效的可編程質(zhì)子電阻，研究人員尋找了不同的電解質(zhì)材料。當(dāng)其他設(shè)備使用有機(jī)化合物時(shí)，Onen卻專注于無機(jī)磷硅酸鹽玻璃（PSG）。PSG基本上是二氧化硅，這是一種粉狀的干燥劑材料，用來除濕。

在加濕條件下，研究人員研究了它作為燃料電池的質(zhì)子導(dǎo)體。它也是硅加工中最著名的氧化物。為了制造PSG，硅中加入了少量的磷，使其具有質(zhì)子傳導(dǎo)的特殊特性。Onen假設(shè)，優(yōu)化后的PSG在室溫下可以具有較高的質(zhì)子導(dǎo)電性，且不需要水，這將使其成為理想的固體電解質(zhì)。

驚人的速度

PSG能夠?qū)崿F(xiàn)質(zhì)子的超快運(yùn)動，因?yàn)樗罅考{米大小的孔，這些孔的表面為質(zhì)子擴(kuò)散提供了路徑。

它還能承受非常強(qiáng)的脈沖電場。

Onen解釋說：「這一點(diǎn)至關(guān)重要，因?yàn)閷ρb置施加更多的電壓可以使質(zhì)子極速移動?！?/span>

Onen說：「這種速度相當(dāng)令人驚訝。通常情況下，我們不會在設(shè)備上使用如此強(qiáng)大的磁場，以避免它們變成灰燼。但相反，質(zhì)子最終以巨大的速度穿梭在設(shè)備堆上，而且還是比我們之前的速度快一百萬倍。此外，由于質(zhì)子體積小、質(zhì)量低，這種運(yùn)動不會破壞任何東西。它幾乎就像傳送一樣?！?/span>

因?yàn)橘|(zhì)子不會損壞材料，所以電阻器可以運(yùn)行數(shù)百萬個(gè)周期而不發(fā)生故障。

質(zhì)子可編程電阻器的超快和高能效調(diào)制特性

這種新型電解質(zhì)使可編程質(zhì)子電阻器的速度比以前的設(shè)備快100萬倍，并且可以在室溫下有效工作，這對于將其納入計(jì)算硬件非常重要。

由于PSG的絕緣特性，當(dāng)質(zhì)子運(yùn)動時(shí)，幾乎沒有電流通過材料。Onen補(bǔ)充說：「這使得該設(shè)備非常節(jié)能?！?/span>

del Alamo表示：「現(xiàn)在他們已經(jīng)證明了這些可編程電阻器的有效性，研究人員計(jì)劃對其進(jìn)行重新設(shè)計(jì)，以實(shí)現(xiàn)大批量生產(chǎn)。然后他們可以研究電阻陣列的特性，并將其放大，以便將其嵌入到系統(tǒng)中。」

Yildiz補(bǔ)充說：「這些離子設(shè)備可以實(shí)現(xiàn)的另一個(gè)令人興奮的方向是節(jié)能硬件，以模擬神經(jīng)科學(xué)中推導(dǎo)的神經(jīng)回路和突觸可塑性規(guī)則，超越模擬深度神經(jīng)網(wǎng)絡(luò)。我們已經(jīng)開始與神經(jīng)科學(xué)進(jìn)行這樣的合作，得到了MIT Quest for Intelligence的支持。」

del Alamo說：「 我們的合作對未來的創(chuàng)新至關(guān)重要。未來的道路仍然充滿挑戰(zhàn)，但同時(shí)也非常令人興奮！」

斯坦福大學(xué)材料科學(xué)與工程副教授William Chueh說：「 諸如鋰離子電池中發(fā)現(xiàn)的插層反應(yīng)已經(jīng)在存儲設(shè)備中得到了廣泛的探索。這項(xiàng)工作表明，基于質(zhì)子的存儲器件提供了令人印象深刻且令人驚訝的開關(guān)速度和耐用性。」

不過William Chueh并沒有參與這項(xiàng)研究。