阿里開源MNNKit：基于MNN的移動端深度學(xué)習(xí)SDK，支持安卓和iOS
近來，有越來越多的深度學(xué)習(xí)框架開始面向移動端進(jìn)行發(fā)展。近日，阿里也基于其 MNN推理引擎開源了最新的 MNNKit深度學(xué)習(xí)SDK，安卓和 iOS 開發(fā)者都可以方便地進(jìn)行調(diào)用。
近年來，很多企業(yè)都在研發(fā)面向移動端的深度學(xué)習(xí)框架。在國內(nèi)有小米的 Mace、騰訊的 FeatherCNN（騰訊AI）和 ncnn（騰訊優(yōu)圖）、百度的 Paddle-moblie 等。而阿里也開發(fā)了自己的移動端深度學(xué)習(xí)框架 MNN。
近日，阿里開源了基于 MNN 引擎的項目 MNNKit，面向安卓和 iOS，以 SDK 的方式提供 AI 端側(cè)推理能力。開發(fā)者不需要了解算法細(xì)節(jié)就可以直接使用。
項目地址：https://github.com/alibaba/MNNKit
目前，MNNKit 已經(jīng)有人臉檢測、手勢識別、人像分割等，后續(xù)可能有更多 API 接入。
MNNKit： 基于 MNN 的深度學(xué)習(xí)工具
MNN 是基于阿里的 MNN 端上推理引擎所開發(fā)的應(yīng)用解決方案，主要面向安卓和 iOS 系統(tǒng)，幫助將 AI 能力應(yīng)用在實際的移動端場景中。
MNNKit 架構(gòu)
MNNKit 提供了一個 SDK 供開發(fā)者使用，以下為 SDK 的架構(gòu)。
從圖中可以看出，MNNKit 可以分為三層結(jié)構(gòu)，從底向上分別為：
-
MNN 引擎層，是 MNN (https://github.com/alibaba/MNN) 庫在 Android/iOS 上編譯好的包的二進(jìn)制 Release 版本，提供端側(cè)運行環(huán)境。
-
Core 基礎(chǔ)層，這主要抽象和封裝與 MNN c++接口調(diào)用粒度基本一致的上層 API，iOS 通過 OC 接口提供，Android 通過 Java 接口提供（TODO）。這一層同時也為上層 SDK 提供一些公共服務(wù)類或結(jié)構(gòu)定義。
-
業(yè)務(wù) Kit 層，包括了人臉檢測、手勢識別封裝的 API。據(jù)項目介紹，之后的業(yè)務(wù) Kit 層會不斷擴(kuò)展。
內(nèi)部原理
因為 MNNKit 主要提供阿里的端側(cè) AI 能力，因此封裝了很多相關(guān)應(yīng)用的 API。調(diào)用如下：
例如，當(dāng)用戶需要調(diào)用 API 的時候，需要首先創(chuàng)建實例，然后將圖像、視頻或其他結(jié)構(gòu)化數(shù)據(jù)輸入，進(jìn)行 AI 模型的推理工作。工作完成后釋放實例即可。
目前 MNNKit 已支持的 API 有：
-
人臉檢測API
-
手勢識別 API
-
人像分割 API
以人臉檢測為例，檢測內(nèi)容主要分為三大板塊：
-
人臉基本信息
-
人臉位置的矩形坐標(biāo)
-
106 個關(guān)鍵點坐標(biāo)（區(qū)分被遮擋的和未被遮擋的）
-
置信度
106 個關(guān)鍵點的分布（來自官方開源 github）
人臉各區(qū)域關(guān)鍵點分布對應(yīng)表
-
歐拉角度
搖頭（Yaw）、點頭（Pitch）、歪頭（Roll）三個角度值
-
人臉動作（包含 5 個人臉的動作）
-
眨眼
-
張嘴
-
搖頭
-
點頭
-
揚眉
處理過程
我們知道了人臉檢測需要檢測的數(shù)據(jù)后，接下來看看處理過程：
如圖所示，該流程是 iOS 和安卓設(shè)備后置攝像頭正向拍攝后，在移動端上的整體處理過程。
首先，系統(tǒng)從攝像頭獲取數(shù)據(jù)，作為 SDK 的輸入。接著，SDK 會進(jìn)行如下操作：
-
在 MNN 引擎執(zhí)行推理之前，對原始的輸入進(jìn)行預(yù)處理，保證輸入數(shù)據(jù)中的人臉為正向
-
使用 AI 模型進(jìn)行推理；
-
推理后，產(chǎn)生基于輸入圖像（預(yù)處理之后的）坐標(biāo)系的關(guān)鍵點結(jié)果；。
-
把關(guān)鍵點坐標(biāo)變換到和屏幕渲染坐標(biāo)系相同的方向，方便渲染。
程應(yīng)用中，最后的結(jié)果關(guān)鍵點要顯示在用戶屏幕上，前端會使用一個用來渲染的"畫布"。畫布的坐標(biāo)系被稱為渲染坐標(biāo)系，
在 SDK 檢測的最后一步，我們將關(guān)鍵點變換到和渲染坐標(biāo)系相同的方向，然后等比例映射關(guān)鍵點坐標(biāo)到渲染坐標(biāo)系的坐標(biāo)即可。映射后可以直接渲染到畫布上
代碼示例
MNNKit 提供了包括人臉檢測、手勢識別等方面的示例代碼。接下來我們以人臉檢測為例，看看怎樣可以在安卓或 iOS 中調(diào)用 API 進(jìn)行推理工作。
安卓代碼
前文提到，調(diào)用 API 需要首先創(chuàng)建一個實例，以下為異步創(chuàng)建 FaceDetector 實例，主線程中回調(diào)的代碼。
public static void createInstanceAsync (Context context, FaceDetectorCreateConfig createConfig, InstanceCreatedListener<FaceDetector> listener)
在這里，人臉檢測API 會進(jìn)行檢測和跟蹤兩個動作。檢測會遭到人臉位置和關(guān)鍵點，而跟蹤是在人臉移動時重新定位關(guān)鍵點的位置。
在視頻模式下，系統(tǒng)默認(rèn)每 20 幀檢測一次，其余幀只跟蹤。圖片模式下則每一次調(diào)用都檢測。
創(chuàng)建實例后，可以將數(shù)據(jù)輸入模型進(jìn)行推理。MNNKit 現(xiàn)在已支持多種數(shù)據(jù)格式輸入。在視頻流檢測場景中，我們可以使用攝像頭的回調(diào)數(shù)據(jù)作為接口的輸入。輸入數(shù)據(jù)的代碼如下：
public synchronized FaceDetectionReport[] inference(byte[] data, int width, int height, MNNCVImageFormat format, long detectConfig, int inAngle, int outAngle, MNNFlipType outputFlip)
使用輸入數(shù)據(jù)為 bitmap 的推理代碼如下：
public synchronized FaceDetectionReport[] inference(Bitmap bitmap, long detectConfig, int inAngle, int outAngle, MNNFlipType outputFlip)
當(dāng) FaceDetector 實例用完之后，我們需要手動釋放實例，否則會產(chǎn)生 native 的內(nèi)存泄露。
public synchronized void release()
iOS 代碼
和安卓代碼類似，首先需要創(chuàng)建人臉檢測實例：
+ (void)createInstanceAsync:(MNNFaceDetectorCreateConfig*)config Callback:(void(^)(NSError *error, MNNFaceDetector *faceDetector))block CallbackQueue:(dispatch_queue_t)callbackQueue;
默認(rèn)主線程回調(diào)：
+ (void)createInstanceAsync:(MNNFaceDetectorCreateConfig*)config Callback:(void(^)(NSError *error, MNNFaceDetector *faceDetector))block;
PixelBuffer 輸入進(jìn)行推理的代碼如下：
- (NSArray<MNNFaceDetectionReport *> *)inference:(CVPixelBufferRef)pixelBuffer Config:(MNNFaceDetectConfig)detectConfig Angle:(float)inAngle OutAngle:(float)outAngle FlipType:(MNNFlipType)flipType error:(NSError *__autoreleasing *)error;
UIImage 輸入進(jìn)行推理的代碼如下：
- (NSArray<MNNFaceDetectionReport *> *)inferenceImage:(UIImage*)image Config:(MNNFaceDetectConfig)detectConfig Angle:(float)inAngle OutAngle:(float)outAngle FlipType:(MNNFlipType)flipType error:(NSError *__autoreleasing *)error;
使用通用 buffer 數(shù)組輸入的代碼如下：
- (NSArray<MNNFaceDetectionReport *> *)inference:(unsigned char*)data Width:(float)w Height:(float)h Format:(MNNCVImageFormat)format Config:(MNNFaceDetectConfig)detectConfig Angle:(float)inAngle OutAngle:(float)outAngle FlipType:(MNNFlipType)flipType error:(NSError *__autoreleasing *)error;
實例生命周期結(jié)束后，會自動觸發(fā)相關(guān)內(nèi)存的釋放，無需調(diào)用方手動釋放。
據(jù)悉，MNNKit 是 MNN 團(tuán)隊在阿里系應(yīng)用大規(guī)模業(yè)務(wù)實踐后的成熟解決方案，歷經(jīng)雙十一等項目考驗，在不依賴于后端的情況下進(jìn)行高性能推理，使用起來穩(wěn)定方便。
