麻省理工學(xué)院的研究人員開發(fā)了一種搜索引擎 SecureLoop，可以有效地識別深度神經(jīng)網(wǎng)絡(luò)加速器的最佳設(shè)計(jì)，在提高性能的同時(shí)保護(hù)數(shù)據(jù)安全。

隨著計(jì)算密集型機(jī)器學(xué)習(xí)應(yīng)用程序（例如執(zhí)行實(shí)時(shí)語言翻譯的聊天機(jī)器人）的激增，設(shè)備制造商通常會(huì)采用專門的硬件組件來快速移動(dòng)和處理這些系統(tǒng)所需的大量數(shù)據(jù)。

為這些組件（稱為深度神經(jīng)網(wǎng)絡(luò)加速器）選擇最佳設(shè)計(jì)具有挑戰(zhàn)性，因?yàn)樗鼈兛赡苡写罅康脑O(shè)計(jì)選項(xiàng)。當(dāng)設(shè)計(jì)人員試圖添加加密操作以保護(hù)數(shù)據(jù)免受攻擊者攻擊時(shí)，這個(gè)難題變得更加棘手。

現(xiàn)在，麻省理工學(xué)院的研究人員開發(fā)了一種搜索引擎，可以有效地識別深度神經(jīng)網(wǎng)絡(luò)加速器的最佳設(shè)計(jì)，從而在提高性能的同時(shí)保護(hù)數(shù)據(jù)安全。

他們的搜索工具稱為 SecureLoop，旨在考慮添加數(shù)據(jù)加密和身份驗(yàn)證措施將如何影響加速器芯片的性能和能源使用。工程師可以使用此工具獲得適合其神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)任務(wù)的加速器的最佳設(shè)計(jì)。

與不考慮安全性的傳統(tǒng)調(diào)度技術(shù)相比，SecureLoop 可以提高加速器設(shè)計(jì)的性能，同時(shí)保護(hù)數(shù)據(jù)。

使用 SecureLoop 可以幫助用戶提高要求苛刻的人工智能應(yīng)用程序的速度和性能，例如自動(dòng)駕駛或醫(yī)學(xué)圖像分類，同時(shí)確保敏感的用戶數(shù)據(jù)免受某些類型的攻擊。

“如果你對保證數(shù)據(jù)安全的計(jì)算感興趣，我們以前用來尋找最佳設(shè)計(jì)的規(guī)則現(xiàn)在被打破了。因此，所有的優(yōu)化都需要針對這個(gè)新的，更復(fù)雜的約束進(jìn)行定制。這就是這篇論文所做的?！盨ecureLoop 論文的合著者、麻省理工學(xué)院計(jì)算機(jī)科學(xué)和電氣工程實(shí)踐教授J oel Emer 說。

該研究于 2023 年 10 月 29 日發(fā)布在 10 月 28 日至 11 月 1 日舉行的 IEEE/ACM 國際微架構(gòu)研討會(huì)上。

“社區(qū)被動(dòng)地接受了向加速器添加加密操作會(huì)帶來開銷。他們認(rèn)為這只會(huì)在設(shè)計(jì)權(quán)衡空間中引入很小的差異。但是，這是一個(gè)誤解。事實(shí)上，加密操作會(huì)嚴(yán)重扭曲設(shè)計(jì) “節(jié)能加速器的空間。Kyungmi 在識別這個(gè)問題方面做得非常出色，”Yan 補(bǔ)充道。

安全加速

深度神經(jīng)網(wǎng)絡(luò)由處理數(shù)據(jù)的多層互連節(jié)點(diǎn)組成。通常，一層的輸出成為下一層的輸入。數(shù)據(jù)被分組為稱為塊的單元，用于在片外存儲(chǔ)器和加速器之間進(jìn)行處理和傳輸。神經(jīng)網(wǎng)絡(luò)的每一層都可以有自己的數(shù)據(jù)平鋪配置。

深度神經(jīng)網(wǎng)絡(luò)加速器是具有一系列計(jì)算單元的處理器，可在網(wǎng)絡(luò)的每一層中并行執(zhí)行乘法等操作。加速器計(jì)劃描述了如何移動(dòng)和處理數(shù)據(jù)。

由于加速器芯片上的空間非常寶貴，因此大多數(shù)數(shù)據(jù)都存儲(chǔ)在片外存儲(chǔ)器中，并在需要時(shí)由加速器獲取。但由于數(shù)據(jù)存儲(chǔ)在片外，因此很容易受到攻擊者的攻擊，攻擊者可能會(huì)竊取信息或更改某些值，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)發(fā)生故障。

“作為芯片制造商，你無法保證外部設(shè)備或整個(gè)操作系統(tǒng)的安全，”Lee 解釋道。

制造商可以通過向加速器添加經(jīng)過身份驗(yàn)證的加密來保護(hù)數(shù)據(jù)。加密使用密鑰對數(shù)據(jù)進(jìn)行加擾。然后，身份驗(yàn)證將數(shù)據(jù)切割成統(tǒng)一的塊，并將加密哈希值分配給每個(gè)數(shù)據(jù)塊，該哈希值與數(shù)據(jù)塊一起存儲(chǔ)在片外存儲(chǔ)器中。

當(dāng)加速器獲取加密數(shù)據(jù)塊（稱為身份驗(yàn)證塊）時(shí)，它會(huì)在處理原始數(shù)據(jù)之前使用密鑰來恢復(fù)和驗(yàn)證原始數(shù)據(jù)。

但是身份驗(yàn)證塊和數(shù)據(jù)切片的大小不匹配，因此一個(gè)塊中可能有多個(gè)切片，或者一個(gè)切片可能被分割在兩個(gè)塊之間。加速器無法任意獲取身份驗(yàn)證塊的一小部分，因此它最終可能會(huì)獲取額外的數(shù)據(jù)，這會(huì)消耗額外的能量并減慢計(jì)算速度。

另外，加速器仍然必須在每個(gè)身份驗(yàn)證塊上運(yùn)行加密操作，從而增加了更多的計(jì)算成本。

高效的搜索引擎

通過 SecureLoop，麻省理工學(xué)院的研究人員尋求一種可以確定最快、最節(jié)能的加速器調(diào)度的方法，該方法可以最大程度地減少設(shè)備因加密和身份驗(yàn)證而需要訪問片外存儲(chǔ)器以獲取額外數(shù)據(jù)塊的次數(shù)。

圖：SecureLoop 調(diào)度搜索引擎概述

他們首先增強(qiáng)了 Emer 和他的合作者之前開發(fā)的現(xiàn)有搜索引擎，稱為 Timeloop。首先，他們添加了一個(gè)模型，可以解釋加密和身份驗(yàn)證所需的額外計(jì)算。

然后，他們將搜索問題重新表述為一個(gè)簡單的數(shù)學(xué)表達(dá)式，這使得 SecureLoop 能夠以比搜索所有可能選項(xiàng)更有效的方式找到理想的真實(shí)塊大小。

“根據(jù)您分配該塊的方式，不必要的流量可能會(huì)增加或減少。如果您巧妙地分配加密塊，那么您只需獲取少量的額外數(shù)據(jù)，”Lee 說。

最后，他們采用了一種啟發(fā)式技術(shù)，確保 SecureLoop 識別出一個(gè)最大化整個(gè)深度神經(jīng)網(wǎng)絡(luò)（而不是單個(gè)層）性能的時(shí)間表。

最后，搜索引擎輸出一個(gè)加速器時(shí)間表，其中包括數(shù)據(jù)平鋪策略和身份驗(yàn)證塊的大小，為特定神經(jīng)網(wǎng)絡(luò)提供最佳的速度和能源效率。

“這些加速器的設(shè)計(jì)空間是巨大的。Kyungmi 所做的是找出一些非常務(wù)實(shí)的方法來使搜索變得容易處理，這樣她就可以找到好的解決方案，而無需徹底搜索空間，”Emer 說。

在模擬器中進(jìn)行測試時(shí)，SecureLoop 發(fā)現(xiàn)與其他不考慮安全性的方法相比，調(diào)度速度提高了 33.2%，能源延遲積（與能源效率相關(guān)的指標(biāo)）提高了 50.2%。

研究人員還使用 SecureLoop 來探索在考慮安全性時(shí)加速器的設(shè)計(jì)空間如何變化。Lee 表示，他們了解到，為加密引擎分配更多的芯片區(qū)域并為片上內(nèi)存犧牲一些空間可以帶來更好的性能。

未來，研究人員希望使用 SecureLoop 來尋找能夠抵御側(cè)信道攻擊的加速器設(shè)計(jì)，這種攻擊在攻擊者有權(quán)訪問物理硬件時(shí)發(fā)生。例如，攻擊者可以監(jiān)視設(shè)備的功耗模式以獲取秘密信息，即使數(shù)據(jù)已被加密。他們還擴(kuò)展了 SecureLoop，以便將其應(yīng)用于其他類型的計(jì)算。