IBM研發(fā)新型神經(jīng)網(wǎng)絡(luò)芯片高度匹配GPU
近日,《自然》雜志上的一篇論文中,IBM Research博士后研究員Stefano AmbrogioAmbrogio和他的同事們描述了他們利用新興的模擬記憶和更傳統(tǒng)的電子元件組合創(chuàng)造出了一種芯片,這種芯片可以與GPU的精度相匹配,同時運行速度更快,能耗更少。
該芯片中運用“突觸單元”解決了存儲技術(shù)難以訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)的問題,以前在訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)時,需要將每個神經(jīng)元的權(quán)重進(jìn)行上下數(shù)千次的刺激,直到網(wǎng)絡(luò)完全對齊,當(dāng)改變這些設(shè)備的電阻時,又需要重新配置它們的原子結(jié)構(gòu),并且每次的操作過程都不一樣,所以,這些刺激并不總是完全相同,導(dǎo)致了對神經(jīng)元權(quán)重的不精確的調(diào)整。但是新研發(fā)的“突觸單元”則可以使每一個“突觸單元”都和網(wǎng)絡(luò)中的單個神經(jīng)元相對應(yīng),同時具有長期和短期記憶。每個單元格由一對相變存儲器(PCM)單元和三個晶體管以及一個電容的組合構(gòu)成,PCM可以在電阻中存儲權(quán)重數(shù)據(jù),而電容可以將權(quán)重數(shù)據(jù)存儲為電荷。
Ambrogio表示,最終的芯片將被設(shè)計成可以與GPU合作的形式,從而在處理其它連接時也能夠處理全連接層的計算。他還認(rèn)為,這種處理全連接層的更有效的方法可以被更廣泛地應(yīng)用。
而對于該芯片的應(yīng)用,Ambrogio表示:一是可以將人工智能應(yīng)用到個人設(shè)備上,二是使數(shù)據(jù)中心更加高效。如果直接在個人設(shè)備上應(yīng)用人工智能,用戶就可以不必在云端分享他們的數(shù)據(jù),從而增加隱私性,而更令人興奮的前景是人工智能的個性化——在汽車或智能手機(jī)上應(yīng)用這個神經(jīng)網(wǎng)絡(luò),智能設(shè)備就能夠不斷地從人們的經(jīng)驗中學(xué)習(xí)。