“企業(yè)要構建自己的AI在線服務系統(tǒng)并非易事，無論是IT基礎設施的建設還是AI 框架的部署，都需要耗費大量人力、物力。如果在IT系統(tǒng)、AI框架上選擇失誤，則會前功盡棄，這給AI項目的發(fā)展和普及制造了很高的門檻。我們的目標是幫助用戶像使用云主機、云存儲這些成熟的云產品一樣使用AI在線服務。通過充分利用英特爾?至強?處理器E5產品家族的高可擴展性及英特爾?AVX，我們的UAI-Service正逐漸走近這一目標。”

在人工智能（Artificial Intelligence，AI）如火如荼的今天，很多初創(chuàng)企業(yè)和傳統(tǒng)企業(yè)都選擇以AI為契機開拓市場，但同時也面臨著缺乏高效部署AI能力的難題。為此，UCloud基于英特爾?至強?服務器平臺，充分發(fā)掘和利用英特爾?高級矢量擴展（英特爾?AVX）指令集相關處理單元的潛能，推出了UCloud AI 在線服務（UCloud AI online Service，UAI-Service*），其具備的大規(guī)模分布式計算平臺可以滿足企業(yè)在圖像識別、自然語言處理等多個AI領域的在線服務應用需求。

面臨挑戰(zhàn)

企業(yè)的AI之路并非坦途大道：無論是初創(chuàng)企業(yè)踏上AI創(chuàng)新之旅，還是傳統(tǒng)企業(yè)希冀借助AI之力調轉航向，實現(xiàn)轉型或升級，AI系統(tǒng)的設計、部署和運維都需要巨大、多維度的投入且困難重重，在決策選型過程中稍有不慎，都會帶來巨大的沉沒成本，令許多企業(yè)望而生畏。

AI的高成本正侵蝕企業(yè)的總擁有成本（Total Cost of Ownership, TCO ）：AI能力提升的背后，可能會給企業(yè)帶來巨大的成本開支，如何在性能和成本之間達到平衡？這一問題讓許多企業(yè)決策者感到苦惱。

解決方案

UCloud UAI-Service：面向初創(chuàng)企業(yè)、傳統(tǒng)企業(yè)AI轉型而生的UCloud UAI-Service，旨在提供易部署、易運維、更安全以及多AI框架支持的AI在線服務節(jié)點，可助力企業(yè)完成AI模型部署這一關鍵環(huán)節(jié)，并在圖像識別、機器學習等多個AI領域滿足企業(yè)用戶的需求。

英特爾®至強®處理器E5產品家族及英特爾®AVX：通過與英特爾的緊密技術合作，UAI-Service一方面巧妙地利用云主機中英特爾®至強®處理器E5產品家族的空閑處理能力，將其英特爾®AVX能力用于支持和加速AI在線服務；另一方面，利用該處理器產品家族強大的可擴展性進行彈性部署，用低成本獲得高性能，降低用戶的TCO。

成果

真正推動AI技術的普及，助其持續(xù)發(fā)展：UCloud推出的UAI-Service將身處技術“深閨”中的AI技術和應用進一步平民化、實體化。通過PaaS的方式，讓更多有志于在AI領域開拓進取的企業(yè)能夠獲取出色的AI部署能力，進而讓整個AI產業(yè)實現(xiàn)“小步快跑”的前進節(jié)奏。

更有效利用空閑計算資源、節(jié)約用戶成本支出：UAI-Service創(chuàng)新地利用英特爾?至強?處理器E5產品家族的空閑處理能力，是對空閑計算資源再利用的有效嘗試，其成功實踐令成千上萬的數(shù)據(jù)中心處理器的空閑能力得以充分利用。這既降低了企業(yè)用戶的TCO，也達到了環(huán)保節(jié)能的效果。

橫空出世的AlphaGo，讓AI成為近兩年來人們持續(xù)關注的熱點。而AI也正在走出象牙塔，走近普通企業(yè)和大眾，并開始在經濟和民生層面扮演起越來越重要的角色。從機器學習、模式識別到自動駕駛、機器視覺，不但眾多初創(chuàng)企業(yè)將AI研發(fā)作為揚帆起航的契機，許多傳統(tǒng)企業(yè)也將其作為自身轉型升級所必備的利器。

但AI系統(tǒng)的建設并非易事，企業(yè)AI系統(tǒng)的建設可分為“數(shù)據(jù)收集”、“模型訓練”及“模型部署”三個步驟，每個步驟都會帶來復雜的IT系統(tǒng)建設及運維工作。隨著各類大數(shù)據(jù)、云計算技術方案的日趨成熟，“數(shù)據(jù)收集”和“模型訓練”的工作正逐漸轉移到云上，形成了成熟的云化方案，而AI模型部署的云化還存在許多問題：一方面，多種多樣的AI框架需要企業(yè)制訂和執(zhí)行不同的部署策略，難免因此產生高昂的運營成本；另一方面，主要用于模型訓練的GPU平臺在模型部署中不僅部署成本較高，而且在擴展性上的表現(xiàn)也不夠理想。

UCloud推動的UAI-Service，就是針對上述AI模型部署難題而生的創(chuàng)新方案。UCloud的工程師們創(chuàng)造性地利用了虛擬云主機上英特爾?至強?處理器E5產品家族的空閑計算資源，借助英特爾?AVX的能力，來提供專注于AI模型部署的AI在線服務。英特爾?至強?處理器強大的可擴展性也幫助UAI-Service獲得了快速便捷部署的能力，并顯著降低了企業(yè)運行AI在線服務的成本支出。

讓使用AI服務像使用云主機一樣便捷

“簡單來講，AI的三部曲可以分為大數(shù)據(jù)收集，AI模型訓練和AI在線服務。”UCloud創(chuàng)新產品線總監(jiān)葉理燈這樣描述企業(yè)AI系統(tǒng)建設，“此前，針對前兩步，UCloud都已經為用戶提供了成熟的云主機、云存儲、云網(wǎng)絡等解決方案。”

但三部曲的最后樂章，卻還面臨諸多問題。一方面，企業(yè)用戶在基于AI進行業(yè)務創(chuàng)新時，常常面臨眾多的業(yè)務流程，如何將不同的業(yè)務流程與AI在線服務一一映射，這對AI在線服務的部署、可管理性及可擴展性提出了巨大的挑戰(zhàn)；另一方面，面對眾多的AI框架，企業(yè)運維人員總有無從著手的煩惱，因為他們需要為各個框架開發(fā)和配置不同的接口，工作量巨大。為解決AI系統(tǒng)建設這“最后一公里”的問題，UCloud提供了UAI-Service，它能基于大規(guī)模分布式計算平臺為用戶提供AI在線服務。

在實際任務部署中，UAI-Service為用戶提供了“兩步走”的部署模式。首先，向用戶提供SDK工具包，內含接口代碼框架、代碼和數(shù)據(jù)打包模板以及第三方依賴庫描述模板。用戶只需根據(jù)SDK工具包內的代碼框架編寫接口代碼，準備好相關代碼和AI模型以及第三方庫列表，就可以通過打包工具一鍵完成任務的在線部署。

任務打包完畢后，用戶可以通過UAI-Service分布式的AI在線服務PaaS平臺進行后續(xù)管理和維護。該平臺可以同時管理上千個計算節(jié)點，每個計算節(jié)點都是同構節(jié)點，具有相等的計算能力，并擁有自動請求負載均衡、自動資源管理的功能。用戶只需要將業(yè)務部署在平臺上，就無須操心其后續(xù)的運維。

“UAI-Service給用戶帶來的最大優(yōu)勢，就是省去了部署AI在線服務時的大量繁瑣工作，讓用戶可以將寶貴的資源聚焦在自身的業(yè)務上。”在UCloud葉理燈看來，如果每一個企業(yè)用戶在部署自己的AI服務時，都需要通盤考慮容災、安全性、資源調度或者負載均衡，那么企業(yè)在人力資源和成本上的支出將是沉重不堪的。

UAI-Service將這些工作都內化為SDK包和PaaS平臺服務，用戶只需要像使用云主機或者云存儲服務那樣，輕松將所需的功能或服務配置在一起就可以使用，而且UAI-Service還可以自動將分布式部署的四大要素——負載均衡、自動擴容、分布式容災以及海量計算資源進行有效配置。

在下一篇中，我們將繼續(xù)介紹UAI-Service平臺的另一優(yōu)勢，以及UAI-Service如何借力英特爾技術以發(fā)揮其更強的AI能力等方面的技術解讀。