隨著移動(dòng)設(shè)備算力的提高和對(duì)感知數(shù)據(jù)進(jìn)行實(shí)時(shí)分析需求的增長(zhǎng)，以移動(dòng)為中心的人工智能應(yīng)用愈發(fā)普遍。據(jù)估計(jì)，2022 年將有超過(guò) 80% 的商用 IoT 項(xiàng)目將包含 AI 應(yīng)用。然而多數(shù)精度最優(yōu)的 AI 模型的計(jì)算量過(guò)大，以至于難以在移動(dòng)設(shè)備上進(jìn)行高吞吐的推理，甚至當(dāng)推理任務(wù)被卸載到邊緣或云端服務(wù)器時(shí)其推理效率也難以滿足應(yīng)用的需求。

冗余的輸入廣泛存在于移動(dòng)為中心的人工智能應(yīng)用中，將其過(guò)濾是一種有效的提高推理效率的方法?，F(xiàn)有工作分別探索過(guò)兩類輸入過(guò)濾機(jī)制：推理跳過(guò)和推理重用。其中推理跳過(guò)方法旨在跳過(guò)那些不會(huì)產(chǎn)生有意義輸出的推理計(jì)算，例如相冊(cè)分類應(yīng)用可能會(huì)在沒(méi)有人臉的圖片上運(yùn)行人臉檢測(cè)模型：

智能音箱應(yīng)用可能將不包含指令的語(yǔ)音上傳至云端進(jìn)行語(yǔ)音識(shí)別：

而推理重用方法希望重用已進(jìn)行過(guò)得推理計(jì)算結(jié)果，從而在新的數(shù)據(jù)到來(lái)時(shí)能夠從緩存中更快速地返回結(jié)果，例如智能手環(huán)上的動(dòng)作分類模型可能會(huì)處理產(chǎn)生相同動(dòng)作標(biāo)簽的運(yùn)動(dòng)信號(hào)：

以及基于無(wú)人機(jī)和邊緣服務(wù)器的交通監(jiān)控可能會(huì)在連續(xù)兩個(gè)畫(huà)面幀中得到不變的車輛計(jì)數(shù)結(jié)果：

現(xiàn)有工作已針對(duì)很多應(yīng)用設(shè)計(jì)了有效的輸入過(guò)濾方法，然而兩個(gè)重要的問(wèn)題仍未得到解答，并且嚴(yán)重影響著輸入過(guò)濾方法的應(yīng)用：

1. 推理任務(wù)的可過(guò)濾性。盡管輸入過(guò)濾技術(shù)已在很多具體應(yīng)用中顯示出優(yōu)化效果，但往往是由主觀的對(duì)冗余輸入的觀察而啟發(fā)的。如果不能從理論上回答 “哪些推理任務(wù)存在輸入過(guò)濾的優(yōu)化機(jī)會(huì)” 這一問(wèn)題，則輸入過(guò)濾技術(shù)的應(yīng)用難以避免高成本的試錯(cuò)過(guò)程；
2. 魯棒的特征可區(qū)分性。輸入數(shù)據(jù)的特征表達(dá)直接關(guān)系到進(jìn)行推理跳過(guò)和找到可重用推理結(jié)果的精度，因此對(duì)于輸入過(guò)濾的表現(xiàn)有著關(guān)鍵影響。現(xiàn)有方法多數(shù)依賴手工特征或預(yù)訓(xùn)練深度特征，這些特征在應(yīng)用過(guò)程中沒(méi)有魯棒的可區(qū)分性，可能完全失去過(guò)濾效果。

在 MobiCom 2022 上，中國(guó)科學(xué)技術(shù)大學(xué) LINKE 實(shí)驗(yàn)室針對(duì)移動(dòng)為中心的模型推理場(chǎng)景，提出端到端可學(xué)的輸入過(guò)濾框架 InFi (INput FIlter)。該工作首次對(duì)輸入過(guò)濾問(wèn)題進(jìn)行了形式化建模，并基于推理模型和輸入過(guò)濾器的函數(shù)族復(fù)雜性對(duì)比，在理論層面上對(duì)推理任務(wù)的可過(guò)濾性進(jìn)行了分析。InFi 框架涵蓋了現(xiàn)有的 SOTA 方法所使用的推理跳過(guò)和推理重用機(jī)制。基于 InFi 框架，該工作設(shè)計(jì)并實(shí)現(xiàn)了支持六種輸入模態(tài)和三種推理任務(wù)部署方式的輸入過(guò)濾器，在以移動(dòng)為中心的推理場(chǎng)景中有著廣泛的適用性。在 12 個(gè)以移動(dòng)為中心的人工智能應(yīng)用上進(jìn)行的實(shí)驗(yàn)驗(yàn)證了理論分析結(jié)果，并表明 InFi 在適用性、準(zhǔn)確性和資源效率方面均優(yōu)于 SOTA 方法。其中，在一個(gè)移動(dòng)平臺(tái)上的視頻分析應(yīng)用中，相較于原始推理任務(wù)，InFi 實(shí)現(xiàn)了 8.5 倍的推理吞吐率并節(jié)省了 95% 的通信帶寬，同時(shí)保持超過(guò) 90% 的推理精度。

論文地址：https://yuanmu97.github.io/preprint/InFi_MobiCom22.pdf

項(xiàng)目地址：https://github.com/yuanmu97/infi

可過(guò)濾性分析

直觀來(lái)說(shuō)，推理任務(wù)的可過(guò)濾性指：相較于原始推理任務(wù)，能否得到一個(gè)低成本、高精度的輸入數(shù)據(jù)冗余性的預(yù)測(cè)器。原始的推理任務(wù)定義為屬于函數(shù)族 H 的模型 h，其將輸入數(shù)據(jù)映射至推理輸出，例如人臉檢測(cè)模型以圖片為輸入，輸出檢測(cè)結(jié)果（人臉位置的檢測(cè)框）。根據(jù)推理模型的輸出結(jié)果，定義冗余性判斷函數(shù) f_h，其輸出冗余性標(biāo)簽，例如當(dāng)人臉位置檢測(cè)框輸出為空時(shí)，將該次推理計(jì)算視為冗余。屬于函數(shù)族 G 的輸入過(guò)濾器 g 定義為從輸入數(shù)據(jù)到冗余標(biāo)簽的映射函數(shù)。

假設(shè)原始推理模型的目標(biāo)函數(shù)（即提供真實(shí)標(biāo)簽的函數(shù)）為 c ，其過(guò)濾器的目標(biāo)函數(shù)為

，則可見(jiàn)訓(xùn)練原始的推理模型和訓(xùn)練輸入過(guò)濾器的區(qū)別在于監(jiān)督標(biāo)簽的不同：推理預(yù)測(cè)由原始任務(wù)標(biāo)簽域 Y 監(jiān)督，而過(guò)濾預(yù)測(cè)由冗余標(biāo)簽域 Z 監(jiān)督。那么對(duì)于推理任務(wù)的可過(guò)濾性一個(gè)直觀的想法是，如果學(xué)習(xí)輸入過(guò)濾器比學(xué)習(xí)原始推理模型更簡(jiǎn)單，則有潛力得到有效的輸入過(guò)濾器。

基于此思路，該工作分析了三類常見(jiàn)推理任務(wù)的可過(guò)濾性：

分析過(guò)程的關(guān)鍵在于將輸入過(guò)濾器的目標(biāo)函數(shù)與原始推理模型相關(guān)聯(lián)，從而在兩個(gè)學(xué)習(xí)任務(wù)間建立復(fù)雜度可比較的橋梁。以分類任務(wù)基于置信度進(jìn)行冗余判別為例，輸入過(guò)濾器的目標(biāo)函數(shù)族形式為

，依此可證明輸入過(guò)濾器的函數(shù)族的 Rademarcher 復(fù)雜度小于等于原始推理模型，進(jìn)而得到該任務(wù)可過(guò)濾性的分析結(jié)果。

框架設(shè)計(jì)和實(shí)現(xiàn)

以上的可過(guò)濾性分析基于將輸入過(guò)濾視為一個(gè)學(xué)習(xí)任務(wù)得到，因此框架設(shè)計(jì)需要具有端到端可學(xué)性，而不依賴手工特征或預(yù)訓(xùn)練深度特征。同時(shí)，框架設(shè)計(jì)應(yīng)該統(tǒng)一地支持推理跳過(guò)（SKIP）和推理重用（REUSE）機(jī)制。該工作基于一個(gè)簡(jiǎn)潔的思路，即 SKIP 等價(jià)于對(duì)全零輸入的推理結(jié)果的 REUSE，將兩種機(jī)制統(tǒng)一到一個(gè)框架之中。

框架包含訓(xùn)練和推理兩個(gè)階段。訓(xùn)練階段通過(guò)孿生特征網(wǎng)絡(luò)為一對(duì)輸入數(shù)據(jù)抽取特征，計(jì)算特征距離后由一個(gè)分類網(wǎng)絡(luò)得到冗余標(biāo)簽預(yù)測(cè)結(jié)果。

在推理階段，若采用 SKIP 機(jī)制，則將另一個(gè)輸入的特征固定為零，退化為基本的分類器，根據(jù)預(yù)測(cè)的冗余性標(biāo)簽決策是否跳過(guò)當(dāng)前輸入數(shù)據(jù)；若采用 REUSE 機(jī)制，則需要維護(hù)一個(gè) “輸入特征 - 推理輸出” 表作為緩存，通過(guò)計(jì)算當(dāng)前輸入特征與緩存的輸入特征之間的距離，采用 K - 近鄰方法決策是否重用緩存的推理結(jié)果。

該工作提出了 “模態(tài)相關(guān)的特征網(wǎng)絡(luò) + 任務(wù)無(wú)關(guān)的分類網(wǎng)絡(luò)” 的設(shè)計(jì)，為文本、圖像、視頻、音頻、感知信號(hào)、中間層特征設(shè)計(jì)了特征抽取網(wǎng)絡(luò)，并能夠很容易地?cái)U(kuò)展至更多數(shù)據(jù)模態(tài)，分類器網(wǎng)絡(luò)則設(shè)計(jì)為多層感知機(jī)模型。對(duì)輸入模態(tài)的靈活支持為 InFi 在不同的任務(wù)部署方式上的適用性提供了基礎(chǔ)，包括三種典型的以移動(dòng)為中心的推理任務(wù)部署方式：端上推理、卸載至邊緣推理、端 - 邊模型切分推理。

InFi 使用 Python 實(shí)現(xiàn)，深度學(xué)習(xí)模塊基于 TensorFlow 2.4，目前代碼已開(kāi)源。

驗(yàn)證實(shí)驗(yàn)

InFi 在 5 個(gè)數(shù)據(jù)集上的 12 種人工智能推理任務(wù)上進(jìn)行了驗(yàn)證實(shí)驗(yàn)，涵蓋圖片、視頻、文本、音頻、運(yùn)動(dòng)信號(hào)、中間層特征六種輸入模態(tài)。與三個(gè)基線方法的對(duì)比實(shí)驗(yàn)表明，InFi 具有更廣泛的適用性，并且在準(zhǔn)確性和效率上都更優(yōu)。

以在城市道路監(jiān)控視頻中進(jìn)行車輛計(jì)數(shù)的任務(wù)為例，在端上推理時(shí)，相較于原始的工作流，采用 SKIP 和 REUSE 機(jī)制的 InFi 方法分別能夠?qū)⑼评硗掏绿嵘?1.9 和 7.5 倍，同時(shí)皆保持超過(guò) 90% 的推理精度；在進(jìn)行端 - 邊模型切分推理時(shí)，兩種機(jī)制下的 InFi 分別能夠節(jié)省 70.7% 和 95.0% 的通信帶寬。

InFi 的訓(xùn)練成本也很低。在一個(gè)基于運(yùn)動(dòng)信號(hào)的動(dòng)作識(shí)別應(yīng)用中，僅使用 10% 的訓(xùn)練數(shù)據(jù)集即可得到過(guò)濾表現(xiàn)接近最優(yōu)的 SKIP 和 REUSE 結(jié)果。InFi 可在保持超過(guò) 95% 推理精度的情況下，節(jié)省 80% 的推理運(yùn)算。

結(jié)論與未來(lái)展望

該工作首次給出了可過(guò)濾性的理論分析，提出了統(tǒng)一的端到端可學(xué)的輸入過(guò)濾框架，并在廣泛的人工智能推理任務(wù)中驗(yàn)證了其設(shè)計(jì)和實(shí)現(xiàn)的優(yōu)越性，對(duì)于實(shí)現(xiàn)以移動(dòng)為中心的資源高效的推理有著重要的意義。InFi 框架的一大優(yōu)點(diǎn)在于無(wú)需人工標(biāo)注，未來(lái)可能會(huì)形成新的人工智能模型部署的最佳實(shí)踐，即在每個(gè)模型的推理服務(wù)期間，自監(jiān)督地訓(xùn)練輸入過(guò)濾器，實(shí)現(xiàn)精度 - 資源權(quán)衡的模型推理。