如果說前50年是AI的潛伏期，那么，2017就是人工智能的全面爆發(fā)年。我們在各行各業(yè)都可以看到AI的身影，包括各廠商推出的自研AI算法，以及滿屏的基于AI的智能化探索和研究。無可否認(rèn)的是，人工智能技術(shù)已經(jīng)滲透到生活的各個領(lǐng)域當(dāng)中。那么，在AI技術(shù)實際落地的過程中，會遇到什么樣的瓶頸？基于深度學(xué)習(xí)的框架這么多，企業(yè)該如何選擇最適合自己的那一條道兒？

[[215185]]

12月9日UCloud收官戰(zhàn)，聚焦AI技術(shù)的落地實踐，通過高可用的異構(gòu)AI計算平臺構(gòu)建過程、如何流程化地生產(chǎn)和發(fā)布AI產(chǎn)品、及深度學(xué)習(xí)性能優(yōu)化工具和實現(xiàn)等內(nèi)容分享，為開發(fā)者在快速落地AI應(yīng)用和產(chǎn)品上提供了一些可用的方法和途徑。

美團丁雪濤：美團配送智能網(wǎng)絡(luò)規(guī)劃系統(tǒng)

美團配送已承擔(dān)日千萬級單量的配送，為上百萬商家和千萬級用戶提供服務(wù)。這其中如何建立配送網(wǎng)絡(luò)的規(guī)劃工具和規(guī)劃策略至關(guān)重要，不過，僅僅依靠人工來對百萬級別的網(wǎng)絡(luò)進(jìn)行調(diào)整，不但效率低成本高，而且標(biāo)準(zhǔn)不一。來自美團的資深技術(shù)專家丁雪濤，就美團配送網(wǎng)絡(luò)的總體設(shè)計和規(guī)劃、商家配送范圍的策略和算法演進(jìn)、區(qū)域規(guī)劃的策略等內(nèi)容展開了深入分享。

[[215186]]

美團的整個配送網(wǎng)絡(luò)整體設(shè)計包括三個核心概念：取件范圍、送件范圍以及配送范圍。取件范圍表示加盟商的勢力范圍，每一個商家對應(yīng)一個獨立的配送團隊，勢力范圍即配送小哥能夠為哪些地方取件;送件范圍的目的是為配送團隊規(guī)劃一個整體可以到達(dá)用戶的地；配送范圍是指商家的配送范圍，只有在這個配送范圍內(nèi)的用戶才可以看到這樣一個商家。

那么，美團怎樣規(guī)劃取件范圍和配送范圍呢？在取件范圍的規(guī)劃上，美團以效率、體驗和公平為基準(zhǔn)點，制定了生成劃分方案。即基于聚類和多目標(biāo)優(yōu)化，來生成候選劃分方案，通過迭代反饋，將生成的候選方案輸入到仿真系統(tǒng)，通過真實歷史訂單騎手配置來模擬配送過程，得出效率和體驗評估報告。

在配送范圍的規(guī)劃上，美團首先將配送場景劃分為常規(guī)配送范圍、惡劣天氣范圍、閑時配送范圍、新商家范圍等等，通過block決策、導(dǎo)航路線畫圖、中間指標(biāo)、商家推薦、機器學(xué)習(xí)預(yù)估多種技術(shù)手段，分析出不同場景下最優(yōu)的配送范圍。

UCloud 宋翔：構(gòu)建商用AI平臺的挑戰(zhàn)與思考

隨后，UCloud 高級研發(fā)工程師宋翔，結(jié)合UCloud在AI PaaS產(chǎn)品研發(fā)過程中遇到的問題，以及AI平臺構(gòu)建過程中的挑戰(zhàn)與解決方案，為現(xiàn)場參會者深入講解了如何構(gòu)建一個高可用的異構(gòu)AI計算平臺。

[[215187]]

宋翔表示，目前業(yè)界主流的AI算法和框架非常多，算法包括VCG、LSTM、RestNet、Fast-RCNN等等，而框架又有TensorFlow、Keras、Caffe、MXNet等，其組合種類更加讓人眼花繚亂。那么，如何在繁雜的組合里選擇合適的算法和框架？宋翔分享了AI平臺構(gòu)建需要考慮的五大要素：算法兼容性、平臺擴展性、集群化、縱向拓展、易用性，用戶可以以這五大要素為基準(zhǔn)點，根據(jù)平臺構(gòu)建的目的來搭配最適合的算法和框架。

基于以上五大要素，UCloud構(gòu)建了自有的AI基礎(chǔ)平臺，里面包含AI訓(xùn)練和AI在線服務(wù)兩大核心功能。如下圖所示，最上層是訓(xùn)練日志和TensorBoard框架，下面接著就是圖形化界面，這里面主要是完成一些基本的部署操作，右側(cè)是Python SDK接口，接入層下面即為平臺核心的AI Train和AI Service，最底層封裝了所有的硬件和存儲接入。這個平臺看起來雖然簡單，但基本上包含了AI商用平臺的常用功能和接口，可以說是麻雀雖小，五臟俱全。

談起AI平臺的實現(xiàn)過程，宋翔表示，AI框架的構(gòu)建最重要的兩點就是保障平臺的兼容性和可靠性。在兼容性上，UCloud采用了容器封裝和數(shù)據(jù)接入兩種方法實現(xiàn)環(huán)境的分離 ，將不同功能的AI框架、依賴環(huán)境、硬件設(shè)備、存儲分隔開來，讓不同的模塊實現(xiàn)不同的功能。可靠性的實現(xiàn)上，UCloud主要采用負(fù)載均衡、請求調(diào)度算法優(yōu)化、性能監(jiān)控以及高可用的部署等方式，完成全局的彈性擴容。

值得一提的是，UCloud在GitHub開源了自身基于AI基礎(chǔ)平臺的公共鏡像庫和SDK，用戶可以通過開源的SDK，將UCloud開源的鏡像庫打包成自身可以應(yīng)用的鏡像，開發(fā)者可以在本地鏡像使用，也可以放在UCloud的在線服務(wù)或者說訓(xùn)練的平臺，這些都是完全兼容的。感興趣的同學(xué)也可以訪問鏈接 https://github.com/ucloud/uai-sdk/，進(jìn)行深入了解和演練。

UCloud范融：如何輕裝上陣玩轉(zhuǎn)AI

在產(chǎn)品化AI服務(wù)的過程中，普遍都會遇到基礎(chǔ)資源管理、使用、封裝等等問題，如何提升AI產(chǎn)品研發(fā)效率，簡化非核心業(yè)務(wù)的研發(fā)流程是各個公司最關(guān)心的問題之一。來自UCloud高級研發(fā)工程師范融，現(xiàn)場結(jié)合動手實踐，詳細(xì)分享了如何流程化地生產(chǎn)和發(fā)布AI產(chǎn)品，節(jié)省開發(fā)時間和成本。

本地開發(fā)AI之前，開發(fā)者需要提前配置基礎(chǔ)的環(huán)境，包括CPU、GPU的支持，以及深度學(xué)習(xí)框架準(zhǔn)備和科學(xué)計算庫的加載等，基礎(chǔ)環(huán)境配置完成之后，即可進(jìn)行開發(fā)工作。下圖為UCloud AI本地開發(fā)的整個過程，下層是基礎(chǔ)環(huán)境的配置，上面白框是應(yīng)用代碼部分，這部分主要解決兩個的問題，一個是數(shù)據(jù)的訓(xùn)練，一個是數(shù)據(jù)的預(yù)測。一般來說預(yù)測網(wǎng)絡(luò)和訓(xùn)練網(wǎng)絡(luò)是類似的，如果預(yù)測模型和預(yù)測程序不止在本地運行，則需要加一個Web服務(wù)框架。

為了簡化應(yīng)用代碼的部署和構(gòu)建過程，UCloud提供了一些開源的工具和框架（上圖藍(lán)色框架的所有內(nèi)容），包括輔助工具里面的代碼打包和自動部署工具，開發(fā)者也可以在UCloud提供的SDK里面免費下載使用，省去許多部署煩惱。

AI本地訓(xùn)練雖然安全性比較高，但在資源申請和迭代開發(fā)方面具有一定的局限性，例如資源擴容較慢，多任務(wù)穿行是等待時間較長，調(diào)參困難等。范融認(rèn)為，合理的將部分AI Train放在云端實現(xiàn)，可以有效的完成云端資源的按需申請、多任務(wù)并行處理以及任務(wù)參數(shù)記錄等工作。在數(shù)據(jù)的上云實踐方面，UCloud提供了比較完善的工具和方法，用戶只需通過代碼改寫、打包鏡像、上傳訓(xùn)練數(shù)據(jù)以及啟動任務(wù)四個步驟即可輕松上云。

Intel何普江：深度學(xué)習(xí)性能優(yōu)化工具及實踐

UCloud的兩位講師分享了AI落地實踐的一些平臺構(gòu)建思路和方法，來自Intel何普江，則現(xiàn)場分享了基于深度學(xué)習(xí)的性能優(yōu)化工具和實踐經(jīng)驗，包括在高性能計算庫（MKL和MKL-DNN）和框架（Intel發(fā)行版Caffe）的使用、注意事項和一些經(jīng)驗，以及基于CPU的高效的RNN設(shè)計實現(xiàn)過程。

[[215188]]

Intel數(shù)學(xué)核心函數(shù)庫（MKL）是一套高度優(yōu)化、線程安全的數(shù)學(xué)例程、函數(shù)，能加速機器學(xué)習(xí)、科學(xué)研究、工程、財務(wù)和設(shè)計等領(lǐng)域的數(shù)學(xué)處理，并提供了稠密及稀疏線性代數(shù) (BLAS, LAPACK, PARDISO), FFTs, Vector Math, Summary Statistics 等支持，具有標(biāo)準(zhǔn)的API以及高度優(yōu)化的特點，最大限度發(fā)揮多核心和 SIMD指令的優(yōu)勢。

與MKL不同的是，MKL-DNN是一個開源的深度學(xué)習(xí)框架。下圖為使用Intel MKL-DNN進(jìn)行推理的過程，有兩種方式可以實現(xiàn)這個過程，一種是訓(xùn)練好的模型，直接進(jìn)入模型轉(zhuǎn)換器，然后再用topo.txt（網(wǎng)絡(luò)拓?fù)洌┥蒊nference.cpp（基于MKL-DNN的Inference代碼，在初始化的時候會加載weights.bin），這套邏輯需要用到Intel自身的網(wǎng)絡(luò)拓?fù)淠Ｐ偷闹虚g表示形式。另外一種方式是待topo.txt生成后，再用簡單的代碼轉(zhuǎn)換器，實現(xiàn)輕量級的InferenceFramework.cpp（輕量級Inference框架，可以解析topo.txt并加載weights.bin）。

Caffe是一個清晰、可讀性高、快速的深度學(xué)習(xí)框架，Intel發(fā)行版的Caffe同樣也是開源框架，它基于BAIR/BVLC Caffe改進(jìn)而來，Intel在BAIR/BVLC Caffe的基礎(chǔ)上添加了流行檢測網(wǎng)絡(luò)的支持（如SSD），同時，也支持多節(jié)點訓(xùn)練以及CAFFE、MKL2017和MKLDNN三種引擎。在RNN的優(yōu)化上，何普江介紹到，Intel主要對高效的GEMM實現(xiàn)、一些小操作的合并、并行化元素級操作、合理的數(shù)據(jù)排布以及低精度表示上進(jìn)行了系列改進(jìn)實踐，優(yōu)化之后的CPU性能基本上可以比GPU高甚至高出不少。

寫在最后

這次分享從平臺、方法和工具等不同角度，全面詮釋和講解了開發(fā)者該如何從0開始快速落地AI產(chǎn)品。雖然目前人工智能技術(shù)整體都還處在探索階段，不過相信大家定能從這次分享中吸取精華，有所收獲，在并將其應(yīng)用在未來的開發(fā)者之路上。UCan下午茶2017系列沙龍，在走過了北京、上海、深圳、廣州等一系列城市后，于美麗的杭州湖畔完美收官。