前言

自去年5月開啟免費(fèi)公測(cè)和正式上線以來(lái)，UCloud AI在線服務(wù)UAI-Inference已幫助許多初創(chuàng)企業(yè)、大型傳統(tǒng)企業(yè)降低了AI技術(shù)門檻和成本投入，有利抓住了人工智能風(fēng)口。UAI-Inference因其易部署、易運(yùn)維、支持多種主流AI框架以及安全可靠的特性，可適用于機(jī)器學(xué)習(xí)、視頻圖像識(shí)別、自然語(yǔ)言處理等多種AI應(yīng)用場(chǎng)景。

隨著人工智能技術(shù)演進(jìn)和AI細(xì)分化領(lǐng)域日趨成熟，對(duì)云服務(wù)商的AI產(chǎn)品能力也提出了更高要求。近日，UCloud AI在線服務(wù)平臺(tái)推出獨(dú)占型GPU推理節(jié)點(diǎn)，提供高性能AI在線推理服務(wù)。GPU在線服務(wù)節(jié)點(diǎn)主要面向?qū)ι疃葘W(xué)習(xí)AI在線推理服務(wù)有低延時(shí)要求的應(yīng)用場(chǎng)景。

P40高性能GPU加速卡提供算力保障

人工智能爆發(fā)的第三波浪潮離不開計(jì)算能力的提升，而算力提升的背后離不開GPU的廣泛使用。UAI-Inference的GPU節(jié)點(diǎn)采用NVIDIA P40高性能GPU加速卡，提供穩(wěn)定、高效的算力保障。

UAI-Inference GPU在線服務(wù)平臺(tái)同UAI-Inference CPU平臺(tái)一樣，可提供海量計(jì)算節(jié)點(diǎn)、自動(dòng)負(fù)載均衡、節(jié)點(diǎn)容災(zāi)、服務(wù)監(jiān)控、服務(wù)版本灰度管理等功能。同時(shí)，UAI-Inference GPU在線服務(wù)支持用戶隨時(shí)調(diào)整在線服務(wù)GPU節(jié)點(diǎn)規(guī)模，實(shí)時(shí)應(yīng)對(duì)線上業(yè)務(wù)負(fù)載變化。

UAI-Inference GPU在線服務(wù)平臺(tái)基于Docker容器技術(shù)實(shí)現(xiàn)，用戶僅需提供在線推理的容器實(shí)現(xiàn)即可。在線服務(wù)平臺(tái)的GPU節(jié)點(diǎn)預(yù)制NVIDIA GPU以及Docker的執(zhí)行環(huán)境，可以實(shí)現(xiàn)服務(wù)集群快速擴(kuò)容。另外，UAI 團(tuán)隊(duì)提供主流AI框架的基礎(chǔ)容器鏡像，支持范圍包括：TensorFlow/Caffe/MXNet/Keras等。

三大場(chǎng)景延時(shí)降低效果顯著

UAI-Inference GPU在線服務(wù)利用P40 GPU強(qiáng)勁性能可以將在線Inference的效率提升10倍以上。

例如，圖像分類場(chǎng)景利用UAI-Inference獨(dú)占型GPU在線服務(wù)，Inception-V3和ResNet101兩個(gè)算法模型在batchsize=1時(shí)的推理延時(shí)，相對(duì)8C8G的CPU云主機(jī)性能有明顯提升，可以將請(qǐng)求延時(shí)降低至50ms以內(nèi)，如下圖所示：

針對(duì)文字檢測(cè)場(chǎng)景，利用UAI-Inference獨(dú)占型GPU在線服務(wù)，CTPN和EAST兩個(gè)算法模型在batchsize=1時(shí)的推理延時(shí)，相對(duì)8C8G的CPU云主機(jī)性能有明顯提升，可以將請(qǐng)求延時(shí)從秒級(jí)優(yōu)化至100ms級(jí)，如下圖所示：

針對(duì)目標(biāo)檢測(cè)場(chǎng)景，利用UAI-Inference獨(dú)占型GPU在線服務(wù)，F(xiàn)ast RCNN算法模型在batchsize=1時(shí)的推理延時(shí)，相對(duì)8C8G的CPU云主機(jī)性能有明顯提升，可以將請(qǐng)求延時(shí)降低接近5倍，如下圖所示：

彈性付費(fèi)成本更低

目前，主要的人工智能應(yīng)用場(chǎng)景的實(shí)現(xiàn)方式之一是基于云端AI，即用戶通過(guò)網(wǎng)絡(luò)將要處理的數(shù)據(jù)上傳到云平臺(tái)，在云平臺(tái)大規(guī)模計(jì)算并進(jìn)行建模、識(shí)別等處理，***再將計(jì)算結(jié)果傳到本地。該方式的主要優(yōu)勢(shì)在于彈性可快速部署，能隨時(shí)根據(jù)用戶的實(shí)際業(yè)務(wù)需求對(duì)計(jì)算節(jié)點(diǎn)進(jìn)行調(diào)整。

UAI-Inference GPU在線服務(wù)平臺(tái)針對(duì)業(yè)務(wù)處于高峰或低峰的不同階段，支持用戶隨時(shí)調(diào)整GPU集群的節(jié)點(diǎn)數(shù)量，對(duì)GPU集群進(jìn)行橫向擴(kuò)展和回縮。因此用戶可以按照實(shí)際需求調(diào)整資源，無(wú)需擔(dān)心資源閑置浪費(fèi)。此外，還提供精確到分鐘的計(jì)費(fèi)維度，獨(dú)占服務(wù)P40 GPU節(jié)點(diǎn)僅0.085元/節(jié)點(diǎn)*分鐘。

人工智能的發(fā)展前景被越來(lái)越看好，云服務(wù)商作為企業(yè)AI轉(zhuǎn)型的基礎(chǔ)設(shè)施支撐平臺(tái)，將會(huì)面臨更多挑戰(zhàn)，但為了進(jìn)一步滿足用戶的需求，UCloud將在探索AI產(chǎn)品的道路上不斷創(chuàng)新。