本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。

由美國宇航局推動開始的電子產(chǎn)品小型化成為整個消費品行業(yè)（的趨勢）?，F(xiàn)在我們把貝多芬的完整作品帶在領(lǐng)章上使用耳機聽。—天體物理學家、科學評論員尼爾-德格拉斯-泰森(Neil deGrasse Tyson)[......]超低功耗嵌入式設(shè)備的普及，再加上像TensorFlow Lite for Microcontrollers這樣的嵌入式機器學習框架的引入，將使人工智能驅(qū)動的物聯(lián)網(wǎng)設(shè)備大規(guī)模擴散。— 哈佛大學副教授 Vijay Janapa Reddi

嵌入式設(shè)備的微小機器學習（TinyML）概述

這是關(guān)于微型機器學習系列文章的第一篇。本文的目的是向讀者介紹微型機器學習的理念及其未來的潛力。關(guān)于具體應(yīng)用、實現(xiàn)和教程的深入討論將在該系列后續(xù)文章中進行。

簡介

在過去的十年里，由于處理器速度的提高和大數(shù)據(jù)的出現(xiàn)，我們見證了機器學習算法的規(guī)模成倍增長。最初，模型小到可以使用中央處理單元（CPU）內(nèi)的一個或多個內(nèi)核在本地機器上運行。

不久之后，使用圖形處理單元(GPU)進行計算成為處理較大數(shù)據(jù)集的必要條件，并且由于引入了基于云的服務(wù)，如SaaS平臺(如Google Colaboratory)和IaaS(如Amazon EC2 Instances)，變得更加容易實現(xiàn)。此時，算法仍然可以在單機上運行。

最近，我們看到了專門的應(yīng)用專用集成電路(ASIC)和張量處理單元(TPU)的發(fā)展，它們可以包裝出約8個GPU的功率。這些設(shè)備已經(jīng)增強了在多個系統(tǒng)之間分布式學習的能力，以嘗試建立得到更多更大的模型。

最近，隨著GPT-3算法（2020年5月發(fā)布）的發(fā)布，這種情況達到了頂峰，它擁有一個包含1750億個神經(jīng)元的驚人網(wǎng)絡(luò)架構(gòu)—比人類大腦中存在的神經(jīng)元數(shù)量（約850億）多出一倍。這比有史以來創(chuàng)建的下一個最大的神經(jīng)網(wǎng)絡(luò)Turing-LG（2020年2月發(fā)布，包含約175億個參數(shù)）的神經(jīng)元數(shù)量多10倍以上。有估計稱，該模型的訓(xùn)練成本約為1000萬美元，耗電量約為3GWh（約為三座核電站一小時的發(fā)電量）。

雖然GPT-3和Turing-LG取得的成績值得稱贊，當然也自然導(dǎo)致了一些業(yè)內(nèi)人士對人工智能行業(yè)日益增長的碳足跡提出了批評。不過，這也有助于激發(fā)人工智能學界對更加節(jié)能計算的興趣。這樣的想法，比如更高效的算法、數(shù)據(jù)表示和計算，幾年來一直是一個看似不相關(guān)領(lǐng)域的焦點：微型機器學習。

微型機器學習（tinyML）是機器學習和嵌入式物聯(lián)網(wǎng)（IoT）設(shè)備的交叉領(lǐng)域。該領(lǐng)域是一門新興的工程學科，有可能給許多行業(yè)帶來革命性的變化。

tinyML的主要行業(yè)受益者是在邊緣計算和節(jié)能計算領(lǐng)域。TinyML源于物聯(lián)網(wǎng)（IoT）的概念。傳統(tǒng)的物聯(lián)網(wǎng)概念是將數(shù)據(jù)從本地設(shè)備發(fā)送到云端進行處理。一些人對這個概念提出了一定的擔憂：包括隱私、延遲、存儲和能效等等。

能源效率。傳輸數(shù)據(jù)(通過電線或無線)是非常耗能的，比機載計算(具體來說是乘積單元)耗能約一個數(shù)量級。開發(fā)能夠自己進行數(shù)據(jù)處理的物聯(lián)網(wǎng)系統(tǒng)是最節(jié)能的方法。AI先驅(qū)們討論這種 "以數(shù)據(jù)為中心 "的計算理念（相對于云模式的 "以計算為中心"）已經(jīng)有一段時間了，現(xiàn)在我們開始看到它的發(fā)揮。

隱私。傳輸數(shù)據(jù)可能會被侵犯隱私。這些數(shù)據(jù)可能會被惡意行為者攔截，而且當數(shù)據(jù)被儲存在一個單一的位置（如云端）時，其本質(zhì)上變得不那么安全。通過將數(shù)據(jù)主要保存在設(shè)備上并盡量減少通信，這可以提高安全性和隱私性。  

存儲。對于很多物聯(lián)網(wǎng)設(shè)備來說，它們獲取的數(shù)據(jù)是沒有價值的。想象一下，一個監(jiān)控攝像頭每天24小時記錄一棟大樓的入口。在一天中的很大一部分時間里，攝像頭的錄像是沒有用處的，因為沒有任何事情發(fā)生。通過擁有一個更智能的系統(tǒng)，只有在必要的時候才會激活，就需要更低的存儲容量，并減少傳輸?shù)皆贫怂璧臄?shù)據(jù)量。

延時。對于標準的物聯(lián)網(wǎng)設(shè)備，比如亞馬遜Alexa，這些設(shè)備將數(shù)據(jù)傳輸?shù)皆贫诉M行處理，然后根據(jù)算法的輸出返回響應(yīng)。從這個意義上說，該設(shè)備只是通向云模型的便捷網(wǎng)關(guān)，就像自己和亞馬遜服務(wù)器之間的信鴿。這個設(shè)備很笨，完全依靠網(wǎng)速來產(chǎn)生結(jié)果。如果你的網(wǎng)絡(luò)速度很慢，亞馬遜的Alexa也會變得很慢。對于具有板載自動語音識別功能的智能物聯(lián)網(wǎng)設(shè)備來說，由于減少了（甚至沒有）對外部通信的依賴，所以延遲會降低

這些問題導(dǎo)致了邊緣計算的發(fā)展，即在邊緣設(shè)備（位于云的 "邊緣 "的設(shè)備）上執(zhí)行處理活動的想法。這些設(shè)備在內(nèi)存、計算和功率方面受到資源的高度限制，從而引發(fā)了更高效的算法、數(shù)據(jù)結(jié)構(gòu)和計算方法的發(fā)展。  

這樣的改進也適用于更大的模型，這可能會使機器學習模型的效率提高一個數(shù)量級，而對模型的準確性沒有影響。舉個例子，微軟開發(fā)的 Bonsai 算法可以小到 2 KB，但其性能甚至可以比典型的 40 MB kNN 算法，或者 4 MB 神經(jīng)網(wǎng)絡(luò)更好。這個結(jié)果聽起來可能并不重要，但在大小只有1/10000的模型上，同樣的精度是相當驚人的。這么小的模型可以在Arduino Uno上運行，Arduino Uno的可用內(nèi)存為2 KB，簡而言之，你現(xiàn)在可以在一個5美元的微控制器上建立這樣一個機器學習模型。

我們正處在一個有趣的十字路口，機器學習正在兩種計算范式之間分叉：以計算為中心的計算和以數(shù)據(jù)為中心的計算。在以計算為中心的范式中，數(shù)據(jù)是由數(shù)據(jù)中心的實例進行儲備和分析的，而在以數(shù)據(jù)為中心的范式中，處理是在數(shù)據(jù)的原始本地完成的。雖然我們似乎正在迅速走向以計算為中心范式的上限，但以數(shù)據(jù)為中心范式的工作才剛剛開始。

在現(xiàn)代世界中，物聯(lián)網(wǎng)設(shè)備和嵌入式機器學習模型正變得越來越無處不在（預(yù)計到2020年底，活躍設(shè)備將超過200億臺）。其中很多你可能根本沒有注意到。智能門鈴、智能恒溫器、當你說兩句話時就會 "喚醒 "的智能手機，甚至只是拿起手機。本文的剩余部分將更深入地關(guān)注 tinyML 的工作原理，以及當前和未來的應(yīng)用。

  云端的層次結(jié)構(gòu)（資源：eBizSolutions）

TinyML的例子

之前，復(fù)雜的電路是設(shè)備執(zhí)行各種動作的必要條件?，F(xiàn)在，機器學習使得將這種硬件 "智能 "抽象成軟件的可能性越來越大，使得嵌入式設(shè)備越來越簡單、輕巧、靈活。

嵌入式設(shè)備中的機器學習應(yīng)用所面臨的挑戰(zhàn)是相當大的，但在這一領(lǐng)域已經(jīng)取得了很大的進展。在微控制器上部署神經(jīng)網(wǎng)絡(luò)的關(guān)鍵挑戰(zhàn)是低內(nèi)存占用、有限的功率和有限的計算。

也許TinyML最明顯的例子是在智能手機內(nèi)。這些設(shè)備永遠主動聆聽 "喚醒詞"，如Android智能手機的 "Hey Google"，或iPhone上的 "Hey Siri"。通過智能手機的主要中央處理單元（CPU）來運行這些活動，現(xiàn)代iPhone的CPU主頻為1.85GHz，將在短短幾個小時內(nèi)耗盡電池。對于大多數(shù)人每天最多使用幾次的東西來說，這種程度的消耗是不可接受的。

 為了解決這個問題，開發(fā)者們創(chuàng)造了專門的低功耗硬件，能夠由小電池（如圓形CR2032 "硬幣 "電池）供電。這使得這些電路即使在CPU不運行時也能保持活躍，基本上只要屏幕不亮就可以。

這些電路的功耗可以低至1毫瓦，使用標準CR2032電池可以供電長達一年。

看上去似乎不像是，但這是個大問題。能源是許多電子設(shè)備的限制因素。任何需要市電的設(shè)備都被限制在有線路的地點，當十幾個設(shè)備出現(xiàn)在同一個地點時，很快就會變得不堪重負。市電是低效且昂貴的。將市電電壓（在美國的工作電壓約為120V）轉(zhuǎn)換為典型的電路電壓范圍（通常為約5V），會浪費大量的能源。任何有筆記本充電器的人在拔掉充電器時可能都會知道這一點。在電壓轉(zhuǎn)換過程中，充電器內(nèi)部變壓器產(chǎn)生的熱量在電壓轉(zhuǎn)換過程中被浪費掉了能量。   

即使是帶電池的設(shè)備也會受到電池壽命有限的影響，這就需要頻繁的對接。很多消費類設(shè)備的設(shè)計都是電池只能維持一個工作日。TinyML設(shè)備可以用硬幣大小的電池繼續(xù)工作一年，這意味著它們可以被放置在偏遠的環(huán)境中，只有在必要時才進行通信以節(jié)約能源。

喚醒詞并不是我們看到的唯一無縫嵌入智能手機的TinyML。加速計數(shù)據(jù)被用來判斷是否有人剛剛拿起手機，從而喚醒CPU并打開屏幕。

顯然，這些并不是TinyML唯一可能的應(yīng)用。事實上，TinyML為企業(yè)和業(yè)余愛好者提供了許多令人興奮的機會，可以生產(chǎn)出更智能的物聯(lián)網(wǎng)設(shè)備。在一個數(shù)據(jù)變得越來越重要的世界里，將機器學習資源分配到遠程位置中受內(nèi)存限制設(shè)備的能力可能會對數(shù)據(jù)密集型行業(yè)產(chǎn)生巨大的好處，如農(nóng)業(yè)、天氣預(yù)測或地震學。

毫無疑問，賦予邊緣設(shè)備以執(zhí)行數(shù)據(jù)驅(qū)動處理的能力，將為工業(yè)流程帶來模式轉(zhuǎn)變。舉個例子，如果設(shè)備能夠監(jiān)測農(nóng)作物，并在檢測到土壤濕度、特定氣體（例如，蘋果成熟時會釋放乙烷）或特定大氣條件（例如，大風、低溫或高濕度）等特征時發(fā)出 "幫助 "信息， 將極大地促進作物生長，從而提高作物產(chǎn)量。 

作為另一個例子，智能門鈴可能會安裝一個攝像頭，可以使用面部識別來確定誰在現(xiàn)場。這可以用于安全目的，甚至可以用于當有人在場時將門鈴的攝像頭輸送到房屋中的電視，以便居民知道誰在門口。    

tinyML目前主要關(guān)注的兩個方面是：

關(guān)鍵字發(fā)現(xiàn)。大多數(shù)人已經(jīng)熟悉這個應(yīng)用程序。"Hey Siri "和 "Hey Google "是關(guān)鍵詞的例子（通常與“ hotword”或“ wake word”同義使用）。這類設(shè)備連續(xù)聆聽來自麥克風的音頻輸入，并被訓(xùn)練成只對特定的聲音序列做出反應(yīng)，而這些聲音序列與學習到的關(guān)鍵詞相對應(yīng)。這些設(shè)備比自動語音識別（ASR）應(yīng)用更簡單，利用的資源也相應(yīng)較少。某些設(shè)備（例如Google智能手機）利用級聯(lián)架構(gòu)來提供揚聲器驗證以確保安全性。

視覺喚醒詞。有一種基于圖像的類似于喚醒詞的方法，稱為視覺喚醒詞。把這些詞看作是對圖像的二進制分類，以說明某些東西要么存在，要么不存在。例如，一個智能照明系統(tǒng)可能被設(shè)計成當它檢測到一個人的存在時啟動，當他們離開時關(guān)閉。同樣，野生動物攝影師可以利用這一點在特定的動物存在時拍照， 或者當他們發(fā)現(xiàn)有人時，可以使用安全攝像機拍攝照片。    

下面是TinyML當前機器學習使用案例的更廣泛概述。

  TinyML的機器學習用例（來源圖片：NXP）。

TinyML如何工作？

TinyML算法的工作方式與傳統(tǒng)的機器學習模型基本相同。通常情況下，模型是在用戶的計算機上或云端進行常規(guī)訓(xùn)練。訓(xùn)練后才是真正的tinyML工作開始的地方，這個過程通常被稱為深度壓縮。

  深度壓縮過程示意圖。來源:ArXiv。

模型蒸餾

訓(xùn)練后，然后以創(chuàng)建具有更緊湊表示形式的模型的方式改變模型。剪枝和知識蒸餾是用于此目的的兩種此類技術(shù)。   

知識蒸餾的基本思想是，大型網(wǎng)絡(luò)內(nèi)部具有一定的稀疏性或冗余性。雖然大型網(wǎng)絡(luò)具有較高的表征能力，但如果網(wǎng)絡(luò)容量沒有飽和，它可以在一個較小的網(wǎng)絡(luò)中以較低的表征能力（即較少的神經(jīng)元）來表示。Hinton等(2015)將教師模型中的嵌入信息稱為 "暗知識"，以轉(zhuǎn)移到學生模型中去。

下圖說明了知識蒸餾的過程。

深度壓縮過程的示意圖。在這個圖中，"老師 "是一個訓(xùn)練有素的卷積神經(jīng)網(wǎng)絡(luò)模型。教師的任務(wù)是將其 "知識 "轉(zhuǎn)移到一個參數(shù)較少的卷積網(wǎng)絡(luò)模型，即 "學生 "身上。這個過程被稱為知識蒸餾，用于將相同的知識封裝在一個較小的網(wǎng)絡(luò)中，提供了一種壓縮網(wǎng)絡(luò)的方法，使它們可以在更多內(nèi)存限制的設(shè)備上使用。來源：ArXiv。

在這張圖中，"老師 "是一個經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型。老師的任務(wù)是將其 "知識 "轉(zhuǎn)移到一個參數(shù)較少的小網(wǎng)絡(luò)模型—"學生 "身上。這個過程用于將相同的知識封裝在一個較小的網(wǎng)絡(luò)中，提供了一種壓縮知識表示的方法，從而壓縮了神經(jīng)網(wǎng)絡(luò)的大小，使它們可以在更多的內(nèi)存限制的設(shè)備上使用。

同樣，修剪也有助于使模型的表示更加緊湊。廣義上講，剪枝試圖去除那些對輸出預(yù)測提供很少效用的神經(jīng)元。這通常與小的神經(jīng)權(quán)重有關(guān)，而大的權(quán)重則由于其在推理過程中的重要性更大而被保留。然后在修剪后的架構(gòu)上對網(wǎng)絡(luò)進行再訓(xùn)練，以微調(diào)輸出。

為提煉模型的知識表征而進行修剪的示意圖

量化

經(jīng)過蒸餾，模型在訓(xùn)練后被量化為與嵌入式設(shè)備架構(gòu)兼容的格式。

為什么要進行量化呢？想象一個使用ATmega328P微控制器的Arduino Uno，它使用8位算術(shù)。要在Uno上運行模型，理想情況下，模型權(quán)重必須存儲為8位整數(shù)值（而許多臺式電腦和筆記本電腦使用32位或64位浮點表示）。通過量化模型，權(quán)重的存儲量減少了4倍（從32位到8位值的量化），而精度的影響通?？梢院雎圆挥嫞ㄍǔＴ?-3%左右）。

8位編碼過程中量化誤差的說明（然后用于重建32位浮點數(shù)）。(來源：TinyML書)

在量化過程中，一些信息可能會因為量化誤差而丟失（例如，在浮點表示法上為3.42的值在整數(shù)平臺上可能被截斷為3）。為了解決這個問題，量化感知（QA）訓(xùn)練也被提出來作為一種替代方案。QA訓(xùn)練主要是在訓(xùn)練過程中約束網(wǎng)絡(luò)只使用量化設(shè)備上可用的值（見Tensorflow示例）。

赫夫曼編碼

編碼是一個可選的步驟，有時會通過最大效率的方式存儲數(shù)據(jù)來進一步減小模型的大小：通常是通過著名的Huffman編碼。

編譯

一旦模型被量化和編碼后，它就會被轉(zhuǎn)換為一種可以被某種形式的輕型神經(jīng)網(wǎng)絡(luò)解釋器解釋的格式，其中最流行的可能是 TF Lite （大小約500 KB）和 TF Lite Micro（大小約20 KB）。然后，該模型被編譯成C或C++代碼（大多數(shù)微控制器工作的語言，以便有效地使用內(nèi)存），并由解釋器在設(shè)備上運行。

TInyML應(yīng)用程序的工作流程（來源：Pete Warden和Daniel Situnayake撰寫的 TinyML）

tinyML的大部分技巧都是在處理復(fù)雜的微控制器世界。TF Lite和TF Lite Micro之所以如此之小，是因為任何不必要的功能都已被刪除。不幸的是，這包括有用的能力，如調(diào)試和可視化。這意味著，如果在部署過程中出現(xiàn)錯誤，就很難分辨出發(fā)生了什么。

此外，雖然模型必須存儲在設(shè)備上，但模型還必須能夠進行推理。這意味著微控制器必須有足夠大的內(nèi)存，以便能夠運行(1)其操作系統(tǒng)和庫，(2)神經(jīng)網(wǎng)絡(luò)解釋器(如TF Lite)，(3)存儲的神經(jīng)權(quán)重和神經(jīng)架構(gòu)，以及(4)推理過程中的中間結(jié)果。因此，在tinyML的研究論文中，經(jīng)常引用量化算法的峰值內(nèi)存使用量，以及內(nèi)存使用量、乘積單元（MAC）數(shù)量、精度等。

為什么不在設(shè)備上訓(xùn)練？

在設(shè)備上進行訓(xùn)練會帶來額外的復(fù)雜性。由于數(shù)值精度的降低，要保證充分訓(xùn)練網(wǎng)絡(luò)所需的精度水平變得非常困難。標準臺式計算機上的自動微分方法大約精確到機器精度。計算導(dǎo)數(shù)的精度達到10^-16是令人難以置信的，但利用8位值的自動微分會導(dǎo)致較差的結(jié)果。在反向傳播過程中，這些導(dǎo)數(shù)會被復(fù)合并最終用于更新神經(jīng)網(wǎng)絡(luò)參數(shù)。在數(shù)值精度如此之低的情況下，這種模型的精度可能會很差。  

也就是說，神經(jīng)網(wǎng)絡(luò)已經(jīng)使用16位和8位浮點數(shù)進行訓(xùn)練。

第一篇研究在深度學習中降低數(shù)值精度的論文是2015年Suyog Gupta及其同事的論文“Deep Learning with Limited Numerical Precision”。這篇論文的結(jié)果很有意思，它表明32位浮點表示法可以減少到16位定點表示法，而精度基本沒有下降。然而，只有在使用隨機舍入時才會出現(xiàn)這種情況，因為平均而言，它會產(chǎn)生的無偏結(jié)果。

2018年，王乃剛及其同事在“Training Deep Neural Networks with 8-bit Floating Point Numbers”一文中，使用8位浮點數(shù)訓(xùn)練了一個神經(jīng)網(wǎng)絡(luò)。由于在反向傳播過程中需要保持梯度計算的保真度（使用自動微分能夠達到機器精度），因此使用8位數(shù)字而不是推理來訓(xùn)練神經(jīng)網(wǎng)絡(luò)要實現(xiàn)的挑戰(zhàn)要困難得多。  

計算效率如何？

也可以對模型進行定制，使其計算效率更高。廣泛部署在移動設(shè)備上的模型架構(gòu)，如MobileNetV1和MobileNetV2就是很好的例子。這些本質(zhì)上是卷積神經(jīng)網(wǎng)絡(luò)，它們重塑了卷積運算以使其具有更高的計算效率。這種更高效的卷積形式被稱為深度可分離卷積。還可以使用基于硬件的性能分析和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索來優(yōu)化體系結(jié)構(gòu)的延遲，本文不涉及這些問題。

下一場AI革命

在資源有限的設(shè)備上運行機器學習模型的能力為許多新的可能性敞開了大門。發(fā)展更加節(jié)能的標準機器學習，這將有助于消除對數(shù)據(jù)科學對環(huán)境影響的擔憂。此外，tinyML允許嵌入式設(shè)備具有基于數(shù)據(jù)驅(qū)動算法的新型智能，這可以用于從預(yù)防性維護到在森林中探測鳥聲等任何事情。  

雖然一些機器學習從業(yè)者無疑會繼續(xù)擴大模型的規(guī)模，但一種新的趨勢正在向更節(jié)省內(nèi)存、計算和能源的機器學習算法發(fā)展。TinyML還處于萌芽階段，這方面的專家很少。我建議有興趣的讀者查閱參考文獻中的一些論文，這些論文都是tinyML領(lǐng)域的一些重要論文。這個領(lǐng)域發(fā)展迅速，在未來幾年內(nèi)將成為人工智能在工業(yè)領(lǐng)域的一個新的重要應(yīng)用。請關(guān)注這個領(lǐng)域。