滴滴開源了一個終端側(cè) AI 集成運行時環(huán)境（IRE）—— AoE（AI on Edge）。AoE 以 “穩(wěn)定性、易用性、安全性” 為設計原則，可以幫助開發(fā)者將不同框架的深度學習算法輕松部署到終端高效執(zhí)行。
滴滴開源了一個終端側(cè) AI 集成運行時環(huán)境（IRE）—— AoE（AI on Edge）。AoE 以 “穩(wěn)定性、易用性、安全性” 為設計原則，可以幫助開發(fā)者將不同框架的深度學習算法輕松部署到終端高效執(zhí)行。
- 一是隨著人工智能技術快速發(fā)展，這兩年涌現(xiàn)出了許多運行在終端的推理框架，在給開發(fā)者帶來更多選擇的同時，也增加了將 AI 布署到終端的成本；
- 二是通過推理框架直接接入 AI 的流程比較繁瑣，涉及到動態(tài)庫接入、資源加載、前處理、后處理、資源釋放、模型升級，以及如何保障穩(wěn)定性等問題。
根據(jù)介紹，當前有以下 8 種終端運行的主流推理框架：
從本質(zhì)上來說，無論是什么推理框架，都必然包含初使化、前處理、執(zhí)行推理、后處理、釋放資源這 5 個處理過程，對這些推理過程進行抽象，是 AoE 支持各種推理框架的基礎。目前 AoE 實現(xiàn)了對兩種推理框架 NCNN 和 TensorFlow Lite 的支持。具體來說，AoE 集成運行環(huán)境最基本的便是抽象推理操作，通過依賴倒置的設計，使得業(yè)務只依賴 AoE 的上層抽象，而不用關心具體推理框架的接入實現(xiàn)。這種設計帶來的最大的好處是開發(fā)者隨時可以添加新的推理框架，而不用修改框架實現(xiàn)，做到了業(yè)務開發(fā)和 AoE SDK 開發(fā)完全解耦。
- InterpreterComponent：用來處理模型的初使化、執(zhí)行推理和釋放資源。
- Convertor：用來處理模型輸入的前處理和模型輸出的后處理。
[[275547]][[275548]]AoE 還有另一個特性是具有穩(wěn)定性保障。眾所周知，Android 平臺開發(fā)的一個重要的問題是機型適配，尤其是包含大量 Native 操作的場景，機型適配的問題尤其重要，一旦應用在某款機型上面崩潰，造成的體驗損害是巨大的。
有數(shù)據(jù)表明，因為性能問題，移動 App 每天流失的活躍用戶占比 5%，這些流失的用戶，6 成的用戶選擇了沉默，不再使用應用，3 成用戶改投競品，剩下的用戶會直接卸載應用。因此，對于一個用戶群龐大的移動應用來說，保證任何時候 App 主流程的可用性是一件最基本、最重要的事。
結(jié)合 AI 推理過程來看，不可避免地，會有大量的操作發(fā)生在 Native 過程中，不僅僅是推理操作，還有一些前處理和資源回收的操作也比較容易出現(xiàn)兼容問題。為此，AoE 運行時環(huán)境 SDK 為 Android 平臺上開發(fā)了獨立進程的機制，讓 Native 操作運行在獨立進程中，同時保證了推理的穩(wěn)定性（偶然性的崩潰不會影響后續(xù)的推理操作）和主進程的穩(wěn)定性（主進程任何時候不會崩潰）。
具體實現(xiàn)過程主要有三個部分：注冊獨立進程、異常重新綁定進程以及跨進程通信優(yōu)化。
目前 AoE SDK 已經(jīng)在滴滴銀行卡 OCR 上應用使用，想更加清晰地理解 AoE 和推理框架、宿主 App 的關系，可以通過下面的業(yè)務集成示意圖來了解它：
已經(jīng)開源的運行時環(huán)境 SDK 包括 Android 和 iOS 平臺，此外 Linux 平臺運行時環(huán)境 SDK 正在緊鑼密鼓地開發(fā)中，預計在 9 月底也會釋出。
