萊斯大學(xué)的計(jì)算機(jī)科學(xué)家已經(jīng)改編了一種普遍使用的技術(shù)來(lái)快速檢查數(shù)據(jù)從而削減計(jì)算量，因此深度學(xué)習(xí)所需的能耗和時(shí)間也有所削減。

[[193636]]

萊斯大學(xué)的助理教授 Anshumali Shrivastava 說(shuō)，「它應(yīng)用于任何深度學(xué)習(xí)架構(gòu)，該技術(shù)都能亞線性地?cái)U(kuò)展，也就是應(yīng)用到的深度神經(jīng)網(wǎng)絡(luò)越大節(jié)省的計(jì)算越多?！?/p>

該研究將會(huì)發(fā)布在今年的 KDD 會(huì)議上被介紹，它解決了谷歌、Facebook、微軟等大公司面臨的***難題之一。這些大公司都在爭(zhēng)相建立、訓(xùn)練、部署大量的深度學(xué)習(xí)網(wǎng)絡(luò)來(lái)發(fā)展不同的產(chǎn)品，例如自動(dòng)駕駛汽車(chē)、翻譯、郵件智能回復(fù)。

Shrivastave 和萊斯大學(xué)的研究生 Ryan Spring 表示該技術(shù)來(lái)自于哈希法(hashing)，一種行之有效的數(shù)據(jù)檢索方法，經(jīng)過(guò)改編可極大地減少深度學(xué)習(xí)的計(jì)算成本。哈希法使用哈希函數(shù)將數(shù)據(jù)轉(zhuǎn)換為易管理的小數(shù)值哈希(被稱(chēng)作 hash)。哈希被存儲(chǔ)在表格中，類(lèi)似于印刷書(shū)中的索引。

Spring 說(shuō)：「我們的方法融合了兩項(xiàng)技術(shù)——巧妙的本地敏感性哈希法變體(variant of locality-sensitive hashing)和稀疏反向傳播變體——以減少計(jì)算需求，且不附帶大量的精確度損失。例如，在小規(guī)模的測(cè)試中發(fā)現(xiàn)我們可以降低 95% 的計(jì)算，但是和通過(guò)標(biāo)準(zhǔn)方法獲取的精確度依然差 1% 以?xún)?nèi)。」

深度學(xué)習(xí)網(wǎng)絡(luò)的基本構(gòu)建塊是人工神經(jīng)元。盡管在 1950 年代就被作為生物大腦神經(jīng)元的模型，人工神經(jīng)元還僅僅是把輸入數(shù)據(jù)轉(zhuǎn)化為輸出結(jié)果的數(shù)學(xué)函數(shù)和方程式。

在機(jī)器學(xué)習(xí)中，所有神經(jīng)元都有相同的初始狀態(tài)，就像白紙一樣，它們會(huì)隨著訓(xùn)練擁有各自的特定功能。在訓(xùn)練中，神經(jīng)網(wǎng)絡(luò)「看到」了大量數(shù)據(jù)，每個(gè)神經(jīng)元都會(huì)成為識(shí)別數(shù)據(jù)中特定模式的專(zhuān)用結(jié)構(gòu)。在***層，神經(jīng)元執(zhí)行簡(jiǎn)單的任務(wù)。例如在圖像識(shí)別應(yīng)用中，底層神經(jīng)元或許用于識(shí)別亮/暗，或是物體的邊緣。來(lái)自這些神經(jīng)元的輸出會(huì)被傳遞到網(wǎng)絡(luò)中下一層的神經(jīng)元那里，經(jīng)受其他模式的識(shí)別和處理。僅有幾層的神經(jīng)網(wǎng)絡(luò)即可識(shí)別面部、貓狗、交通指示牌和校車(chē)等概念。

Shrivastava 說(shuō)：「向神經(jīng)網(wǎng)絡(luò)層級(jí)添加更多的神經(jīng)元能擴(kuò)展其表現(xiàn)性能，而我們希望神經(jīng)網(wǎng)絡(luò)沒(méi)有大小上限，據(jù)報(bào)道谷歌正在嘗試訓(xùn)練一個(gè)包含 1370 億神經(jīng)元的模型。」相比之下，對(duì)于訓(xùn)練和部署這樣的神經(jīng)網(wǎng)絡(luò)可能會(huì)有計(jì)算力的限制。

他說(shuō)：「如今使用的大部分機(jī)器學(xué)習(xí)算法都開(kāi)發(fā)于 30 至 50 年前，設(shè)計(jì)時(shí)并未考慮計(jì)算復(fù)雜性。但有了大數(shù)據(jù)之后，在資源上有了基本的限制，比如計(jì)算周期、能耗和存儲(chǔ)。我們實(shí)驗(yàn)室旨在解決這些限制?！?/p>

Spring 表示，大規(guī)模的深度網(wǎng)絡(luò)中，哈希法將會(huì)極大地節(jié)省計(jì)算量和能耗。

他說(shuō)：「節(jié)能隨著規(guī)模而增加是由于我們利用了大數(shù)據(jù)之中的稀疏性。例如，我們知道一個(gè)深度網(wǎng)絡(luò)有 10 億個(gè)神經(jīng)元。對(duì)于任何給定的輸入，比如一只狗的圖片，只有其中的幾個(gè)會(huì)變興奮。按照數(shù)據(jù)用語(yǔ)，我們將其稱(chēng)為稀疏性，而正是由于稀疏性，我們的方法將在網(wǎng)絡(luò)變大之時(shí)節(jié)能更多。因此，當(dāng)我們展示了 1000 個(gè)神經(jīng)元的 95% 的節(jié)能時(shí)，數(shù)學(xué)表明我們可以為 10 億個(gè)神經(jīng)元實(shí)現(xiàn)超過(guò) 99% 的節(jié)能?！?/p>

論文：通過(guò)隨機(jī)化哈希的可擴(kuò)展和可持續(xù)的深度學(xué)習(xí)(Scalable and Sustainable Deep Learning via Randomized Hashing)

鏈接地址：https://arxiv.org/abs/1602.08194

摘要：為了能在復(fù)雜的數(shù)據(jù)集上進(jìn)行學(xué)習(xí)，當(dāng)前深度學(xué)習(xí)架構(gòu)正變得越來(lái)越大。這些架構(gòu)需要極大量的矩陣乘法運(yùn)算以訓(xùn)練數(shù)以百萬(wàn)計(jì)的參數(shù)。相對(duì)地，還有另一個(gè)正在發(fā)展的趨勢(shì)想要將深度學(xué)習(xí)引入低功耗的、嵌入式的設(shè)備中。這些矩陣運(yùn)算(深度網(wǎng)絡(luò)的訓(xùn)練和測(cè)試都需要)在計(jì)算和功耗上都有很高的成本。我們提出了一種全新的基于哈希法(hashing)的技術(shù)，可以極大地減少深度網(wǎng)絡(luò)的訓(xùn)練和測(cè)試所需的計(jì)算量。我們的方法結(jié)合了自適應(yīng) dropout(adaptive dropout)和用于***內(nèi)積搜索(maximum inner product search)的隨機(jī)化哈希(randomized hashing)，從而可以有效地選擇有***激活(activation)的節(jié)點(diǎn)。我們用于深度學(xué)習(xí)的新算法可以運(yùn)行在顯著更少(稀疏)的節(jié)點(diǎn)上，從而可以極大減少前向和反向傳播的總計(jì)算成本。因此，我們的算法可以?xún)H使用 5% 的總乘法量就平均保持在原模型準(zhǔn)確度的 1% 的范圍內(nèi)。這里提出的基于哈希法的反向傳播有一個(gè)獨(dú)特的性質(zhì)：其更新總是稀疏的。因?yàn)檫@種稀疏的梯度更新，我們的算法可以***地用于異步和并行的訓(xùn)練，可以通過(guò)增加內(nèi)核的數(shù)量來(lái)實(shí)現(xiàn)近乎線性的加速。我們通過(guò)在幾個(gè)真實(shí)數(shù)據(jù)集上的嚴(yán)格評(píng)估證明了我們提出的算法的可擴(kuò)展性和可持續(xù)性(能效)。

算法 1：使用隨機(jī)化哈希的深度學(xué)習(xí)

圖 2：一個(gè)使用隨機(jī)化哈希的神經(jīng)網(wǎng)絡(luò)的可視化表示

圖 2中(1) 通過(guò)對(duì)每一隱藏層的權(quán)重進(jìn)行哈希操作來(lái)構(gòu)建哈希表;(2) 使用該層的隨機(jī)化哈希函數(shù)來(lái)對(duì)該層的輸入進(jìn)行哈希操作;(3) 查詢(xún)?cè)搶佑糜诨顒?dòng)集 AS 的哈希表;(4) 僅在該活動(dòng)集中的神經(jīng)元上執(zhí)行前向和反向傳播。隱藏層中實(shí)心涂色的神經(jīng)元是活動(dòng)神經(jīng)元。(5) 對(duì)更新后的權(quán)重重新執(zhí)行哈希至新的哈希位置，從而更新 AS 權(quán)重和哈希表。

原文：https://phys.org/news/2017-06-scientists-slash-deep.html

【本文是51CTO專(zhuān)欄機(jī)構(gòu)“機(jī)器之心”的原創(chuàng)譯文，微信公眾號(hào)“機(jī)器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文