小米開源自研移動端深度學(xué)習(xí)框架MACE
6 月 28 日,小米人工智能與云平臺副總裁崔寶秋博士在開源中國開源世界高峰論壇上發(fā)表《小米 AI 時(shí)代的開源》演講,并在會上宣布,開源小米自研的移動端深度學(xué)習(xí)框架 Mobile AI Compute Engine (MACE)。
地址:https://github.com/XiaoMi/mace
近年來,隨著移動互聯(lián)網(wǎng)的深入發(fā)展和 IoT 智能設(shè)備的普及,以及用戶對智能性,低延遲和隱私保護(hù)的訴求變得越來越高,移動設(shè)備上的離線深度學(xué)習(xí)應(yīng)用變得越來越普遍。
據(jù)雷鋒網(wǎng)了解,MACE 是專門為移動設(shè)備優(yōu)化的深度學(xué)習(xí)模型預(yù)測框架,MACE 從設(shè)計(jì)之初,便針對移動設(shè)備的特點(diǎn)進(jìn)行了專門的優(yōu)化:
-
速度:對于放在移動端進(jìn)行計(jì)算的模型,一般對整體的預(yù)測延遲有著非常高的要求。在框架底層,針對 ARM CPU 進(jìn)行了 NEON 指令級優(yōu)化,針對移動端 GPU,實(shí)現(xiàn)了高效的 OpenCL 內(nèi)核代碼。針對高通 DSP,集成了 nnlib 計(jì)算庫進(jìn)行 HVX 加速。同時(shí)在算法層面,采用 Winograd 算法對卷積進(jìn)行加速。
-
功耗:移動端對功耗非常敏感,框架針對 ARM 處理器的 big.LITTLE 架構(gòu),提供了高性能,低功耗等多種組合配置。針對 Adreno GPU,提供了不同的功耗性能選項(xiàng),使得開發(fā)者能夠?qū)π阅芎凸倪M(jìn)行靈活的調(diào)整。
-
系統(tǒng)響應(yīng):對于 GPU 計(jì)算模式,框架底層對 OpenCL 內(nèi)核自適應(yīng)的進(jìn)行分拆調(diào)度,保證 GPU 渲染任務(wù)能夠更好的進(jìn)行搶占調(diào)度,從而保證系統(tǒng)的流暢度。
-
初始化延遲:在實(shí)際項(xiàng)目中,初始化時(shí)間對用戶體驗(yàn)至關(guān)重要,框架對此進(jìn)行了針對性的優(yōu)化。
-
內(nèi)存占用:通過對模型的算子進(jìn)行依賴分析,引入內(nèi)存復(fù)用技術(shù),大大減少了內(nèi)存的占用。
-
模型保護(hù):對于移動端模型,知識產(chǎn)權(quán)的保護(hù)往往非常重要,MACE 支持將模型轉(zhuǎn)換成 C++ 代碼,大大提高了逆向工程的難度。
此外,據(jù)了解,MACE 支持 TensorFlow 和 Caffe 模型,提供轉(zhuǎn)換工具,可以將訓(xùn)練好的模型轉(zhuǎn)換成專有的模型數(shù)據(jù)文件,同時(shí)還可以選擇將模型轉(zhuǎn)換成 C++ 代碼,支持生成動態(tài)庫或者靜態(tài)庫,提高模型保密性。
目前 MACE 已經(jīng)在小米手機(jī)上的多個(gè)應(yīng)用場景得到了應(yīng)用,其中包括相機(jī)的人像模式,場景識別,圖像超分辨率,離線翻譯(即將實(shí)現(xiàn))等。
此外,隨著 MACE 一起開源的還有 MACE Model Zoo 項(xiàng)目,目前包含物體識別,場景語義分割,圖像風(fēng)格化等多個(gè)公開模型。后續(xù)會增加更多模型。
上方是用 MACE Model Zoo 中的 fast style transfer(快速風(fēng)格遷移)模型在手機(jī)端生成的風(fēng)格化圖片。
據(jù)雷鋒網(wǎng)了解,此前小米曾參與多個(gè)國際重大的開源項(xiàng)目,比如 Hadoop,HBase,Spark,TensorFlow 等,同時(shí),小米也積極參與自研、具有通用性的軟件系統(tǒng)。過去幾年,小米相繼推出了 Linden(分布式實(shí)時(shí)搜索系統(tǒng)),Open-Falcon(互聯(lián)網(wǎng)企業(yè)級監(jiān)控系統(tǒng))、Pegasus(分布式 KV 存儲系統(tǒng))等一系列開源項(xiàng)目。
在 AI 方面,小米開源了自研的針對移動端設(shè)備優(yōu)化的深度學(xué)習(xí)框架 MACE,目前已經(jīng)支持內(nèi)部的多個(gè)業(yè)務(wù)。
另外,6 月 29 日至 7 月 2 日雷鋒網(wǎng)將在深圳舉辦 CCF-GAIR 大會,小米***架構(gòu)師、小米人工智能與云平臺副總裁崔寶秋將作為嘉賓出席并發(fā)表演講。
全球人工智能與機(jī)器人峰會(CCF-GAIR) 由中國計(jì)算機(jī)學(xué)會(CCF)主辦,雷鋒網(wǎng)、香港中文大學(xué)(深圳)承辦,得到了深圳市政府的大力指導(dǎo),是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的***交流盛會,旨在打造國內(nèi)人工智能領(lǐng)域***實(shí)力的跨界交流合作平臺。
CCF-GAIR 2018 延續(xù)前兩屆的“***”陣容,提供 1 個(gè)主會場和 11 個(gè)專場(仿生機(jī)器人專場,機(jī)器人行業(yè)應(yīng)用專場,計(jì)算機(jī)視覺專場,智能安全專場,金融科技專場,智能駕駛專場,NLP 專場,AI+ 專場,AI 芯片專場,IoT 專場,投資人專場)的豐富平臺,意欲給三界參會者從產(chǎn)學(xué)研多個(gè)維度,呈現(xiàn)出更富前瞻性與落地性相結(jié)合的會議內(nèi)容與現(xiàn)場體驗(yàn)。