在NASA的推動下,電子產(chǎn)品的小型化成為一個(gè)完整的消費(fèi)品行業(yè)。現(xiàn)在我們可以把貝多芬的全部作品放在翻領(lǐng)針上用耳機(jī)聽。

--天體物理學(xué)家兼科學(xué)評論員尼爾·德格拉斯·泰森(Neil deGrasse Tyson)

超低功耗嵌入式設(shè)備的普遍存在，再加上諸如針對微控制器的TensorFlow Lite的嵌入式機(jī)器學(xué)習(xí)框架的引入，將使AI驅(qū)動的IoT設(shè)備大規(guī)模普及。

--哈佛大學(xué)副教授Vijay Janapa Reddi

嵌入式設(shè)備的微型機(jī)器學(xué)習(xí)(TinyML)

本文的目的是向讀者介紹小型機(jī)器學(xué)習(xí)的概念及其未來潛力。在本系列的后續(xù)文章中，將對特定的應(yīng)用程序，實(shí)現(xiàn)和教程進(jìn)行深入討論。

介紹

在過去的十年中，我們見證了由于處理器速度的提高和大數(shù)據(jù)的出現(xiàn)，機(jī)器學(xué)習(xí)算法的規(guī)模呈指數(shù)增長。最初，模型足夠小，可以使用中央處理器(CPU)中的一個(gè)或多個(gè)內(nèi)核在本地計(jì)算機(jī)上運(yùn)行。

此后不久，由于引入了基于云的服務(wù)(例如SaaS平臺(例如Google Colaboratory)和IaaS(例如Amazon EC2實(shí)例))，使用圖形處理單元(GPU)的計(jì)算對于處理更大的數(shù)據(jù)集變得十分必要，并且變得更加容易獲得。此時(shí)，算法仍可以在單臺計(jì)算機(jī)上運(yùn)行。

最近，我們已經(jīng)看到了專用的專用集成電路(ASIC)張量處理單元(TPU)的開發(fā)，該模塊可以封裝約8個(gè)GPU的功能。這些設(shè)備已經(jīng)增強(qiáng)了在多個(gè)系統(tǒng)之間分布學(xué)習(xí)的能力，以嘗試發(fā)展越來越大的模型。

最近，隨著GPT-3算法的發(fā)布(2020年5月發(fā)布)而達(dá)到了頂峰，該算法的網(wǎng)絡(luò)體系結(jié)構(gòu)包含了驚人的1750億個(gè)神經(jīng)元，是人腦中神經(jīng)元數(shù)量的兩倍(約850億)。這是有史以來創(chuàng)建的第二大神經(jīng)網(wǎng)絡(luò)Turing-NLG(于2020年2月發(fā)布，包含約175億個(gè)參數(shù))的神經(jīng)元數(shù)量的10倍以上。一些估計(jì)稱，該模型的培訓(xùn)成本約為1000萬美元，并使用了約3 GWh的電力(大約三個(gè)小時(shí)的一小時(shí)核電站的輸出)。

盡管GPT-3和Turing-NLG的成就值得稱贊，但自然而然地，這引起了業(yè)內(nèi)一些人士對AI行業(yè)日益增長的碳足跡的批評。但是，它也有助于激發(fā)AI界對更節(jié)能計(jì)算的興趣。這樣的想法，例如更高效的算法，數(shù)據(jù)表示和計(jì)算，一直是看似無關(guān)的領(lǐng)域的關(guān)注重點(diǎn)：微型機(jī)器學(xué)習(xí)。

微型機(jī)器學(xué)習(xí)(tinyML)是機(jī)器學(xué)習(xí)與嵌入式物聯(lián)網(wǎng)(IoT)設(shè)備的交叉點(diǎn)。該領(lǐng)域是一門新興的工程學(xué)科，具有革新許多行業(yè)的潛力。

tinyML的主要行業(yè)受益者是邊緣計(jì)算和節(jié)能計(jì)算。TinyML源自物聯(lián)網(wǎng)(IoT)的概念。物聯(lián)網(wǎng)的傳統(tǒng)思想是將數(shù)據(jù)從本地設(shè)備發(fā)送到云進(jìn)行處理。一些人對此概念提出了某些擔(dān)憂：隱私、延遲、存儲和能源效率等等。

能源效率。(通過有線或無線方式)傳輸數(shù)據(jù)非常耗能，比機(jī)載計(jì)算(具體而言，乘累加單位)要高大約一個(gè)數(shù)量級。開發(fā)可以執(zhí)行自己的數(shù)據(jù)處理的物聯(lián)網(wǎng)系統(tǒng)是最節(jié)能的方法。人工智能的先驅(qū)們已經(jīng)討論了"以數(shù)據(jù)為中心"的計(jì)算思想(與云模型的"以計(jì)算為中心"相對)，現(xiàn)在我們開始看到它正在發(fā)揮作用。

隱私。傳輸數(shù)據(jù)可能會侵犯隱私。此類數(shù)據(jù)可能被惡意行為者攔截，并且當(dāng)存儲在單個(gè)位置(例如云)中時(shí)，其固有的安全性降低。通過將數(shù)據(jù)主要保留在設(shè)備上并最大程度地減少通信，這可以提高安全性和隱私性。

存儲。對于許多物聯(lián)網(wǎng)設(shè)備而言，它們獲取的數(shù)據(jù)毫無用處。想象一下一個(gè)安全攝像機(jī)每天24小時(shí)記錄著建筑物的入口。在一天的大部分時(shí)間里，相機(jī)鏡頭沒有任何用處，因?yàn)槭裁匆矝]發(fā)生。通過擁有僅在必要時(shí)才激活的更智能的系統(tǒng)，就需要較低的存儲容量，并減少了傳輸?shù)皆扑璧臄?shù)據(jù)量。

潛伏。對于標(biāo)準(zhǔn)IoT設(shè)備(例如Amazon Alexa)，這些設(shè)備將數(shù)據(jù)傳輸?shù)皆浦羞M(jìn)行處理，然后根據(jù)算法的輸出返回響應(yīng)。從這個(gè)意義上講，該設(shè)備只是通向云模型的便捷網(wǎng)關(guān)，就像您自己和亞馬遜服務(wù)器之間的信鴿。該設(shè)備非常笨拙，完全取決于互聯(lián)網(wǎng)的速度才能產(chǎn)生結(jié)果。如果您的網(wǎng)速較慢，Amazon Alexa也會變慢。對于具有機(jī)載自動語音識別功能的智能IoT設(shè)備，由于減少了對外部通信的依賴(如果不是這樣)，因此可以減少延遲。

這些問題導(dǎo)致了邊緣計(jì)算的發(fā)展，即在邊緣設(shè)備(位于云"邊緣"的設(shè)備)上執(zhí)行處理活動的想法。這些設(shè)備在內(nèi)存，計(jì)算和功能方面都受到資源的高度限制，從而導(dǎo)致了更高效的算法，數(shù)據(jù)結(jié)構(gòu)和計(jì)算方法的發(fā)展。

此類改進(jìn)也適用于較大的模型，這可能導(dǎo)致機(jī)器學(xué)習(xí)模型的效率提高幾個(gè)數(shù)量級，而不會影響模型的準(zhǔn)確性。

例如，Microsoft開發(fā)的算法可以小到2 KB，但比典型的40 MB kNN算法或4 MB神經(jīng)網(wǎng)絡(luò)具有更好的性能。這個(gè)結(jié)果聽起來可能并不重要，但是在尺寸的1/10萬分之一的模型上，相同的精度令人印象深刻。如此小的模型可以在具有2 KB RAM的Arduino Uno上運(yùn)行，總之，你現(xiàn)在可以在5美元的微控制器上構(gòu)建這樣的機(jī)器學(xué)習(xí)模型。

我們正處于一個(gè)有趣的十字路口，機(jī)器學(xué)習(xí)在兩個(gè)計(jì)算范式之間分叉：以計(jì)算為中心的計(jì)算和以數(shù)據(jù)為中心的計(jì)算。在以計(jì)算為中心的范例中，數(shù)據(jù)是通過數(shù)據(jù)中心中的實(shí)例進(jìn)行存儲和分析的，而在以數(shù)據(jù)為中心的范例中，處理是在數(shù)據(jù)的原始位置進(jìn)行的。盡管我們似乎正在迅速邁向以計(jì)算為中心的范例的上限，但是以數(shù)據(jù)為中心的范例的工作才剛剛開始。

物聯(lián)網(wǎng)設(shè)備和嵌入式機(jī)器學(xué)習(xí)模型在現(xiàn)代世界中變得越來越普遍(到2020年底，預(yù)計(jì)將有200億以上的活動設(shè)備)。其中許多你甚至可能都沒有注意到。智能門鈴、智能恒溫器、智能手機(jī)，只要你說幾句話，甚至只是拿起電話，都可以"喚醒"。本文的其余部分將更深入地關(guān)注tinyML的工作方式以及當(dāng)前和將來的應(yīng)用程序。

云的層次結(jié)構(gòu)

TinyML的例子

以前，復(fù)雜的電路是設(shè)備執(zhí)行各種動作所必需的?，F(xiàn)在，機(jī)器學(xué)習(xí)使將這種硬件"智能"抽象為軟件變得越來越可能，從而使嵌入式設(shè)備變得更加簡單，輕巧和靈活。

嵌入式設(shè)備的機(jī)器學(xué)習(xí)所面臨的挑戰(zhàn)是巨大的，但是在這一領(lǐng)域已經(jīng)取得了巨大的進(jìn)步。在微控制器上部署神經(jīng)網(wǎng)絡(luò)的關(guān)鍵挑戰(zhàn)是低內(nèi)存占用，有限的功率和有限的計(jì)算。

TinyML最明顯的例子也許是在智能手機(jī)中。這些設(shè)備會永久地積極聆聽"喚醒詞"

例如Android智能手機(jī)的" Hey Google"或iPhone的" Hey Siri"。通過智能手機(jī)的主中央處理器(CPU)運(yùn)行這些活動，現(xiàn)代iPhone的主中央處理器(CPU)為1.85 GHz，將在短短幾個(gè)小時(shí)內(nèi)耗盡電池。對于大多數(shù)人每天最多使用幾次的這種程度的降級是不可接受的。

為了解決這個(gè)問題，開發(fā)人員創(chuàng)建了專用的低功耗硬件，該硬件可以用小電池(例如，環(huán)形CR2032"硬幣"電池)供電。這些功能使電路即使在CPU未運(yùn)行時(shí)(基本上在屏幕不亮?xí)r)也保持活動狀態(tài)。

這些電路消耗的功率僅為1 mW，使用標(biāo)準(zhǔn)CR2032電池可供電長達(dá)一年。

看起來好像不對，但這很重要。能量是許多電子設(shè)備的限制因素。任何需要主電源的設(shè)備都限于帶有布線的位置，當(dāng)同一位置有十幾個(gè)設(shè)備時(shí)，這些位置很快就會變得不堪重負(fù)。市電也效率低下且價(jià)格昂貴。將電源電壓(在美國大約為120 V)轉(zhuǎn)換為典型的電路電壓范圍(通常約為5 V)會浪費(fèi)大量能量。擁有筆記本電腦充電器的任何人在拔出充電器時(shí)都可能知道這一點(diǎn)。充電器內(nèi)部變壓器產(chǎn)生的熱量在電壓轉(zhuǎn)換過程中被浪費(fèi)掉了能量。

即使是帶電池的設(shè)備，電池壽命也有限，因此需要頻繁對接。許多消費(fèi)類設(shè)備的設(shè)計(jì)使電池可持續(xù)使用一個(gè)工作日。TinyML設(shè)備可以使用硬幣大小的電池繼續(xù)運(yùn)行一年，這意味著它們可以放置在偏遠(yuǎn)的環(huán)境中，僅在必要時(shí)進(jìn)行通信以節(jié)省能源。

喚醒詞并不是我們看到的無縫嵌入在智能手機(jī)中的唯一TinyML。加速度計(jì)數(shù)據(jù)用于確定是否有人剛拿起電話，這會喚醒CPU并打開屏幕。

顯然，這些并不是TinyML的唯一可能應(yīng)用。實(shí)際上，TinyML為企業(yè)和業(yè)余愛好者提供了許多令人興奮的機(jī)會，以生產(chǎn)更智能的IoT設(shè)備。在當(dāng)今世界，數(shù)據(jù)變得越來越重要的情況下，將機(jī)器學(xué)習(xí)資源分配到偏遠(yuǎn)地區(qū)受內(nèi)存限制的設(shè)備的能力可能會給農(nóng)業(yè)，天氣預(yù)報(bào)或地震等數(shù)據(jù)密集型行業(yè)帶來巨大好處。

毫無疑問，賦予邊緣設(shè)備執(zhí)行數(shù)據(jù)驅(qū)動的處理能力的能力將為工業(yè)過程帶來范式轉(zhuǎn)變。舉例來說，能夠監(jiān)測農(nóng)作物并在檢測到諸如土壤濕度，特定氣體(例如蘋果成熟時(shí)會散發(fā)出乙烷)等特征或特定大氣條件(例如大風(fēng)，低溫或高濕度)，將大大促進(jìn)作物生長并因此提高作物產(chǎn)量。

作為另一個(gè)示例，智能門鈴可能裝有攝像頭，該攝像頭可以使用面部識別來確定誰在場。這可以用于安全目的，甚至可以用于當(dāng)有人在場時(shí)將門鈴的攝像頭饋送到房屋中的電視，以便居民知道誰在門口。

目前，tinyML的兩個(gè)主要重點(diǎn)領(lǐng)域是：

• 關(guān)鍵字發(fā)現(xiàn)。大多數(shù)人已經(jīng)熟悉此應(yīng)用程序。" Hey Siri"和" Hey Google"是關(guān)鍵字的示例(通常與" hotword"或" wake word"同義使用)。這樣的設(shè)備連續(xù)收聽來自麥克風(fēng)的音頻輸入，并且被訓(xùn)練為僅響應(yīng)特定的聲音序列，這些特定的聲音序列與學(xué)習(xí)的關(guān)鍵字相對應(yīng)。這些設(shè)備比自動語音識別(ASR)應(yīng)用程序更簡單，并且相應(yīng)地使用了更少的資源。某些設(shè)備(例如Google智能手機(jī))利用來提供揚(yáng)聲器驗(yàn)證以確保安全性。
• 視覺喚醒詞。喚醒詞有一個(gè)基于圖像的類似物，稱為視覺喚醒詞。將它們視為圖像的二進(jìn)制分類，以表示存在或不存在。例如，可以設(shè)計(jì)智能照明系統(tǒng)，使得其在檢測到人的存在時(shí)啟動，并在他們離開時(shí)關(guān)閉。同樣，當(dāng)存在特定的動物時(shí)，野生動物攝影師可以使用它來拍照，而當(dāng)他們發(fā)現(xiàn)有人時(shí)，可以使用安全攝像機(jī)拍攝照片。

下面顯示了TinyML當(dāng)前機(jī)器學(xué)習(xí)用例的更廣泛概述。

TinyML的機(jī)器學(xué)習(xí)用例

TinyML如何工作

TinyML算法的工作方式與傳統(tǒng)機(jī)器學(xué)習(xí)模型幾乎相同。通常，通常在用戶計(jì)算機(jī)或云中對模型進(jìn)行訓(xùn)練。后期訓(xùn)練是真正的tinyML工作開始的地方，在此過程中通常稱為深度壓縮。

深度學(xué)習(xí)模型壓縮流程圖

模型蒸餾

訓(xùn)練后，然后以創(chuàng)建具有更緊湊表示形式的模型的方式更改模型。修剪和知識蒸餾是用于此目的的兩種此類技術(shù)。

知識提煉的基礎(chǔ)思想是，較大的網(wǎng)絡(luò)內(nèi)部具有稀疏性或冗余性。雖然大型網(wǎng)絡(luò)具有較高的表示能力，但如果網(wǎng)絡(luò)容量未達(dá)到飽和，則可以在具有較低表示能力的較小網(wǎng)絡(luò)(即較少的神經(jīng)元)中進(jìn)行表示。Hinton等，2015將教師模型中嵌入的信息稱為"黑暗知識"，轉(zhuǎn)移給學(xué)生模型。

下圖說明了知識提煉的過程。

深度壓縮過程圖。在此圖中，"老師"是經(jīng)過訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型。教師的任務(wù)是將其"知識"轉(zhuǎn)移到參數(shù)較少的較小卷積網(wǎng)絡(luò)模型中，即"學(xué)生"。此過程稱為知識提取，用于將相同的知識包含在較小的網(wǎng)絡(luò)中，從而提供了一種壓縮網(wǎng)絡(luò)的方式，以便可以將其用于更多受內(nèi)存限制的設(shè)備上。

在此圖中，"老師"是訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)模型。教師的任務(wù)是將其"知識"轉(zhuǎn)移到參數(shù)較少的較小的網(wǎng)絡(luò)模型中，即"學(xué)生"。此過程用于將相同的知識包含在較小的網(wǎng)絡(luò)中，從而提供一種壓縮知識表示的方式，從而壓縮神經(jīng)網(wǎng)絡(luò)的大小，以便可以將其用于更多受內(nèi)存限制的設(shè)備。

同樣，修剪可以幫助使模型的表示更加緊湊。廣義上講，修剪嘗試刪除對輸出預(yù)測幾乎沒有用的神經(jīng)元。這通常與較小的神經(jīng)權(quán)重相關(guān)聯(lián)，而由于在推理過程中它們的重要性較高，因此會保留較大的權(quán)重。然后在修剪后的體系結(jié)構(gòu)上對網(wǎng)絡(luò)進(jìn)行再培訓(xùn)，以微調(diào)輸出。

用于提取模型的知識表示形式的修剪

量化

蒸餾后，然后將模型量化后訓(xùn)練成與嵌入式設(shè)備的體系結(jié)構(gòu)兼容的格式。

為什么需要量化?想象一下使用ATmega328P微控制器的Arduino Uno，該微控制器使用8位算術(shù)。要在Uno上運(yùn)行模型，理想情況下，模型權(quán)重必須存儲為8位整數(shù)值(而許多臺式機(jī)和筆記本電腦使用32位或64位浮點(diǎn)表示法)。通過對模型進(jìn)行量化，權(quán)重的存儲大小將減少4倍(對于從32位到8位值的量化)，準(zhǔn)確性通常受到的影響可以忽略不計(jì)(通常約為1-3%)。

8位編碼期間的量化誤差插圖(然后用于重建32位浮點(diǎn)數(shù))

由于某些信息可能會在量化過程中丟失(例如，在基于整數(shù)的平臺上，浮點(diǎn)表示形式的值為3.42可能會被截?cái)酁?)。為了解決這個(gè)問題，還提出了量化感知(QA)培訓(xùn)作為替代方案。QA訓(xùn)練從本質(zhì)上將訓(xùn)練期間的網(wǎng)絡(luò)限制為僅使用量化設(shè)備上可用的值。

霍夫曼編碼

編碼是一個(gè)可選步驟，有時(shí)會通過最大有效地存儲數(shù)據(jù)(通常通過著名的來進(jìn)一步減小模型大小。

匯編

對模型進(jìn)行量化和編碼后，將其轉(zhuǎn)換為可由某種形式的輕型神經(jīng)網(wǎng)絡(luò)解釋器解釋的格式，其中最受歡迎的可能是(〜500 KB大小)和(〜大小為20 KB)。然后將模型編譯為C或C ++代碼(大多數(shù)微控制器使用的語言以有效利用內(nèi)存)，并由解釋器在設(shè)備上運(yùn)行。

TInyML應(yīng)用程序的工作流程

tinyML的大多數(shù)技能來自處理微控制器的復(fù)雜世界。TF Lite和TF Lite Micro非常小，因?yàn)橐褎h除了所有不必要的功能。不幸的是，這包括有用的功能，例如調(diào)試和可視化。這意味著，如果在部署過程中出現(xiàn)錯(cuò)誤，可能很難分辨正在發(fā)生什么。

另外，盡管模型必須存儲在設(shè)備上，但模型還必須能夠執(zhí)行推理。這意味著微控制器必須具有足夠大的內(nèi)存以使其能夠運(yùn)行(1)其操作系統(tǒng)和庫，(2)神經(jīng)網(wǎng)絡(luò)解釋器(例如TF Lite)，(3)存儲的神經(jīng)權(quán)重和神經(jīng)體系結(jié)構(gòu)，以及(4)推理過程中的中間結(jié)果。因此，tinyML研究論文中經(jīng)常引用量化算法的峰值內(nèi)存使用量，以及內(nèi)存使用量，乘法累加單位(MAC)的數(shù)量，準(zhǔn)確性等。

為什么不在設(shè)備上訓(xùn)練?

在設(shè)備上進(jìn)行訓(xùn)練會帶來更多的并發(fā)癥。由于數(shù)值精度降低，要保證足夠的網(wǎng)絡(luò)訓(xùn)練所需的精度水平變得極為困難。標(biāo)準(zhǔn)臺式計(jì)算機(jī)上的自動區(qū)分方法對于機(jī)器精度大約是準(zhǔn)確的。以10 ^ -16的精度計(jì)算導(dǎo)數(shù)是令人難以置信的，但是對8位值使用自動微分將導(dǎo)致較差的結(jié)果。在反向傳播過程中，這些導(dǎo)數(shù)會復(fù)合并最終用于更新神經(jīng)參數(shù)。在如此低的數(shù)值精度下，這種模型的精度可能很差。

話雖如此，神經(jīng)網(wǎng)絡(luò)已經(jīng)使用16位和8位浮點(diǎn)數(shù)進(jìn)行了訓(xùn)練。

Suyog Gupta及其同事在2015年發(fā)表的第一篇有關(guān)降低深度學(xué)習(xí)中的數(shù)值精度的論文是""。本文的結(jié)果很有趣，表明32位浮點(diǎn)表示形式可以減少為16位定點(diǎn)表示形式，而精度幾乎沒有降低。但是，這是使用的唯一情況， 因?yàn)槠骄?，它會產(chǎn)生無偏結(jié)果。

在2018年，Naigang Wang及其同事在其論文"使用8位浮點(diǎn)數(shù)"中使用8位浮點(diǎn)數(shù)訓(xùn)練了神經(jīng)網(wǎng)絡(luò)。由于需要在反向傳播期間保持梯度計(jì)算的保真度(在使用自動微分時(shí)能夠?qū)崿F(xiàn)機(jī)器精度)，因此使用8位數(shù)字而不是推理來訓(xùn)練神經(jīng)網(wǎng)絡(luò)要實(shí)現(xiàn)的挑戰(zhàn)明顯更大。

計(jì)算效率如何?

還可以對模型進(jìn)行定制，以使它們的計(jì)算效率更高。在移動設(shè)備(例如MobileNetV1和MobileNetV2)上廣泛部署的模型體系結(jié)構(gòu)就是很好的例子。這些本質(zhì)上是卷積神經(jīng)網(wǎng)絡(luò)，已經(jīng)重塑了卷積運(yùn)算以使其具有更高的計(jì)算效率。這種更有效的卷積形式稱為深度可分離卷積。還可以使用和來針對延遲優(yōu)化。

下一次AI革命

在資源受限的設(shè)備上運(yùn)行機(jī)器學(xué)習(xí)模型的能力為許多新的可能性打開了大門。發(fā)展可能有助于使標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)更加節(jié)能，這將有助于消除對數(shù)據(jù)科學(xué)對環(huán)境影響的擔(dān)憂。此外，tinyML允許嵌入式設(shè)備具有基于數(shù)據(jù)驅(qū)動算法的新智能，該智能可用于從預(yù)防性維護(hù)到檢測森林中的鳥聲的任何事物。

盡管某些機(jī)器學(xué)習(xí)從業(yè)者無疑將繼續(xù)擴(kuò)大模型的規(guī)模，但一種新的趨勢正在朝著內(nèi)存，計(jì)算和能源效率更高的機(jī)器學(xué)習(xí)算法發(fā)展。TinyML仍處于起步階段，有關(guān)該主題的專家很少。這個(gè)空間正在快速增長，并將在未來幾年內(nèi)成為人工智能在工業(yè)中的新的重要應(yīng)用。