【51CTO.com原創(chuàng)稿件】2018年5月18-19日，由51CTO主辦的全球軟件與運(yùn)維技術(shù)峰會(huì)在北京召開。此次峰會(huì)圍繞人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)、區(qū)塊鏈等12大核心熱點(diǎn)，匯聚海內(nèi)外60位一線專家，是一場(chǎng)高端的技術(shù)盛宴，也是***IT技術(shù)人才學(xué)習(xí)和人脈拓展不容錯(cuò)過的平臺(tái)。

在5月18日上午“人工智能技術(shù)探索”B會(huì)場(chǎng)論壇中， PP云高級(jí)技術(shù)架構(gòu)師高超帶來了《AI技術(shù)+短視頻于蘇寧易購電商平臺(tái)的應(yīng)用實(shí)踐》的主題分享。

演講一開始，高超首先介紹了蘇寧視頻云的基本情況。目前，蘇寧視頻云主要賦能直播、點(diǎn)播、短視頻網(wǎng)頁加速和低延時(shí)視頻通話這五大業(yè)務(wù)。

• 直播：軟件開發(fā)工具包、API、控制臺(tái)
• 點(diǎn)播：基于PP視頻十年媒體技術(shù)和服務(wù)經(jīng)驗(yàn)，打造的集上傳，存儲(chǔ)，轉(zhuǎn)碼，加速，管理和監(jiān)控等功能為一體的產(chǎn)品
• 短視頻：集拍攝，編輯，上傳，轉(zhuǎn)碼，管理，分發(fā)，播放于一體的全功能產(chǎn)品
• 網(wǎng)頁加速：自建+融合，支持全球智能化調(diào)度
•  低延時(shí)視頻通話：基于WebRTC的視頻通話解決方案，可以多人視頻通話和旁路直播

緊接著，高超分享了蘇寧視頻云背后的核心技術(shù)細(xì)節(jié)，主要涉及短視頻機(jī)器審核、短視頻加速智能調(diào)度和AI技術(shù)上的前景和困惑等部分。

一、短視頻機(jī)器審核

1.AI應(yīng)用起源

2016年開始，PP云進(jìn)入快速發(fā)展周期，出現(xiàn)大量涉黃視頻和版權(quán)問題視頻，主要來源是企業(yè)上傳視頻。期間編輯審核速度不快，運(yùn)營投訴，法務(wù)部門的反饋都讓技術(shù)團(tuán)隊(duì)不得不抽出時(shí)間應(yīng)對(duì)。PP云的技術(shù)人員需要花出額外的時(shí)間來人工校驗(yàn)，封禁賬號(hào)。

經(jīng)過一段時(shí)間的經(jīng)驗(yàn)積累和應(yīng)對(duì)措施調(diào)整，AI在視頻審核的應(yīng)用需求被提上日程。

2.機(jī)器審核需求演化

下面是PP云提出需求后，將機(jī)器審核服務(wù)上線落地，不斷迭代經(jīng)過的歷程。

需求初期專門針對(duì)視頻機(jī)器審核做了可行性分析，對(duì)目標(biāo)的可操作性進(jìn)行了論證，最終確認(rèn)使用人工智能來做這件事情，并且調(diào)研和測(cè)試了卷積神經(jīng)網(wǎng)絡(luò)在這方面的應(yīng)用，實(shí)際測(cè)試中也應(yīng)用了深度學(xué)習(xí)框架來驗(yàn)證效果。

業(yè)務(wù)系統(tǒng)整合階段讓機(jī)器審核作為分布式服務(wù)部署，同時(shí)和人工審核服務(wù)并行存在，避免審核錯(cuò)誤，并且糾正后的結(jié)果可以作為訓(xùn)練數(shù)據(jù)。

評(píng)估預(yù)測(cè)結(jié)果是個(gè)不斷迭代，可持續(xù)的過程，在實(shí)際應(yīng)用中，演化出了不同業(yè)務(wù)特性使用不同的模型。

3.機(jī)器審核工作流

該工作流分為兩層：上層為業(yè)務(wù)流程，下層為機(jī)器審核服務(wù)流程。

• 業(yè)務(wù)流程的輸入項(xiàng)為視頻文件，轉(zhuǎn)換為視頻全圖作為機(jī)器審核服務(wù)的輸入項(xiàng)。
• 機(jī)器審核服務(wù)對(duì)視頻全圖做特征處理，如重復(fù)檢測(cè)等等，再輸入到訓(xùn)練模型中給出結(jié)果預(yù)測(cè)，結(jié)果預(yù)測(cè)會(huì)輸出到業(yè)務(wù)流程中，由人工審核監(jiān)督。
• 訓(xùn)練模型會(huì)進(jìn)行定期評(píng)估和調(diào)整，已適應(yīng)不斷變化的業(yè)務(wù)需求。

4.機(jī)器審核服務(wù)實(shí)踐

在測(cè)試階段參與測(cè)試的視頻總量達(dá)數(shù)千萬，所占存儲(chǔ)約3PB。

測(cè)試視頻的分類豐富，主要有電商類、體育類、文化類、企業(yè)多元化視頻。電商類視頻包括蘇寧易購商品介紹視頻，商品評(píng)價(jià)視頻，社區(qū)視頻等不同場(chǎng)景類型內(nèi)容；體育類視頻有直播錄制視頻，賽事講解視頻等等；文化類包含多種娛樂性視頻，資訊類視頻，PGC專業(yè)性內(nèi)容視頻等；企業(yè)上傳視頻是分類最多，場(chǎng)景最豐富的區(qū)域。

上面示例是蘇寧易購的視頻全景圖，采用固定間隔截圖，默認(rèn)是6秒鐘間隔一張，如果是高度敏感內(nèi)容，可以調(diào)整為1秒鐘間隔一張；縮略圖采用10x10排列，一共100張一個(gè)全景，超過的部分用新的全景排列。

有了可測(cè)試數(shù)據(jù)源后，PP云對(duì)主流AI框架做了調(diào)研和測(cè)試。選型的測(cè)試框架有Caffe、Keras、TensorFlow，結(jié)合實(shí)際需求，確定了使用Caffe作為機(jī)器審核的基礎(chǔ)AI框架，***個(gè)測(cè)試階段的數(shù)據(jù)集抽取了ImageNet的部分分類做驗(yàn)證，再使用準(zhǔn)備好的視頻數(shù)據(jù)做進(jìn)一步準(zhǔn)確性測(cè)試。

上圖是一個(gè)普通神經(jīng)網(wǎng)絡(luò)的示例圖，有輸入層、隱藏層、輸出層，實(shí)際應(yīng)用中層數(shù)和鏈接都會(huì)做調(diào)整。

這是一個(gè)AlexNet模型，是兩個(gè)GPU的使用場(chǎng)景，能清晰的看到輸入層是一個(gè) 224x224x3的圖像輸入，劃分為小圖是11x11，移動(dòng)步長(zhǎng)為4；長(zhǎng)方體是卷積核，比如3x3，5x5，還有深度；***是三個(gè)全鏈接層，還有卷基層中間的池化層，起降維作用，減少參數(shù)輸入，最終輸出是100個(gè)類別；在PP云實(shí)際使用的時(shí)候調(diào)整了類別個(gè)數(shù)。

這是一個(gè)VGG16模型，PP云的目標(biāo)檢測(cè)使用了Faster RCNN，VGG16一共16層，有13個(gè)卷積層和3個(gè)全鏈接層，實(shí)際測(cè)試中比AlexNet準(zhǔn)確率更高，但是速度要慢一點(diǎn)，所以會(huì)應(yīng)用中存量視頻或及時(shí)性要求不高的視頻審核上。

從圖上可以很形象的看出池化層(max pooling)的參數(shù)降維作用，并且激活函數(shù)和AlexNet相同，都使用了ReLU，輸出層類別也是1000個(gè)

下圖是PP云測(cè)試中確定內(nèi)容判定閥值的過程數(shù)據(jù)，可以看到閥值測(cè)試范圍是0.3到0.7，步長(zhǎng)是0.05，經(jīng)過樣本測(cè)試選中了0.45作為生產(chǎn)環(huán)境常量。

以下是影片分類判定閥值測(cè)試，利用同樣的測(cè)試數(shù)據(jù)按計(jì)劃做批次測(cè)試并匯總結(jié)果。

拿測(cè)試結(jié)果的90%作為置信區(qū)間，經(jīng)過公式推算，得出閥值推薦值為0.473，推薦范圍為[0.31,0.53]，PP云根據(jù)不同的業(yè)務(wù)要求做細(xì)節(jié)調(diào)整

目前PP云的系統(tǒng)平均準(zhǔn)確率可以達(dá)到99.2%以上，準(zhǔn)確率是按照整個(gè)視頻所有圖片聚合計(jì)算后得到的最終概率計(jì)算。

在PP云使用卷積神經(jīng)網(wǎng)絡(luò)過程中也需要針對(duì)結(jié)果準(zhǔn)確性做調(diào)試，這時(shí)候就需要反卷積算法幫助，來反查判斷錯(cuò)誤的內(nèi)容是從那一層開始出錯(cuò)的，如下圖是一個(gè)VGG16模型的卷積過程和反卷積過程

下圖是PP云業(yè)務(wù)系統(tǒng)集成示例，一共有兩個(gè)模式：業(yè)務(wù)增量視頻上傳接入、掃描處理歷史數(shù)據(jù)；業(yè)務(wù)系統(tǒng)講視頻上傳至存儲(chǔ)管理系統(tǒng)中，由存儲(chǔ)管理系統(tǒng)來分發(fā)審核任務(wù)，并且獲取審核結(jié)果，機(jī)器審核分布式服務(wù)訂閱任務(wù)隊(duì)列，處理完任務(wù)后反饋結(jié)果到存儲(chǔ)管理系統(tǒng)，整個(gè)過程實(shí)時(shí)性較高。

上面審核后臺(tái)用來做結(jié)果復(fù)核，界面操作如下圖，即是審核也是打標(biāo)，打標(biāo)后的數(shù)據(jù)可以重新反饋給機(jī)器審核做訓(xùn)練數(shù)據(jù)。

下圖是業(yè)務(wù)系統(tǒng)應(yīng)用的一個(gè)場(chǎng)景，講機(jī)器審核和人工審核結(jié)果都同步過來，按照業(yè)務(wù)預(yù)定義好的判斷邏輯做最終決策。

5.其他類型的監(jiān)控

除了機(jī)器審核對(duì)視頻的動(dòng)態(tài)監(jiān)測(cè)，PP云還使用了其他運(yùn)維工具來保障服務(wù)訪問的穩(wěn)定性。如蘇寧云跡作為自研系統(tǒng)，可以滿足故障分析和基礎(chǔ)報(bào)警需求；ELK和TICK作為輔助工具可以定制更多的業(yè)務(wù)類型監(jiān)測(cè)和報(bào)警。

二、短視頻加速智能調(diào)度

1.加速智能調(diào)度演化

隨著業(yè)務(wù)越來越多，資源越來越豐富，PP云需要針對(duì)不同服務(wù)做不同級(jí)別的保障，所以提出了智能調(diào)度的需求。和機(jī)器審核類似，也經(jīng)歷了三大過程，采用TensorFlow框架，不同類型的數(shù)據(jù)類型和輸出策略。

2.加速智能調(diào)度工作流

該工作流分為兩層：上層為業(yè)務(wù)流程，下層為預(yù)測(cè)服務(wù)流程。

PP云的數(shù)據(jù)輸入邊界比較明顯，預(yù)置策略相對(duì)靈活，由模型利用歷史數(shù)據(jù)和當(dāng)前數(shù)據(jù)做調(diào)度預(yù)測(cè)，業(yè)務(wù)人工選擇推薦并應(yīng)用。

3.智能調(diào)度實(shí)踐

針對(duì)智能調(diào)度的目標(biāo)定位分為服務(wù)整體穩(wěn)定性和故障自動(dòng)恢復(fù)。

通過調(diào)度預(yù)測(cè)實(shí)現(xiàn)局部穩(wěn)定性推薦，并提升整體系統(tǒng)穩(wěn)定性指數(shù)；并且可以在故障發(fā)生時(shí)根據(jù)推薦列表嘗試自動(dòng)恢復(fù)。

作為預(yù)測(cè)數(shù)據(jù)來源，PP云一共分為三大類型：全網(wǎng)監(jiān)測(cè)數(shù)據(jù)、基調(diào)網(wǎng)絡(luò)數(shù)據(jù)和業(yè)務(wù)預(yù)置策略。全網(wǎng)監(jiān)測(cè)數(shù)據(jù)來自自建CDN節(jié)點(diǎn)詳細(xì)數(shù)據(jù)記錄，商業(yè)融合CDN可以使用節(jié)點(diǎn)日志數(shù)據(jù)，基調(diào)網(wǎng)絡(luò)數(shù)據(jù)可以更詳細(xì)，基于LastMile，可以獲取nslookup結(jié)果，ping結(jié)果，traceroute結(jié)果，終端下載耗時(shí)，下載速度，視頻buffer等等，加上業(yè)務(wù)預(yù)置邊界策略，可以推薦調(diào)度策略供業(yè)務(wù)使用。

三、 AI技術(shù)上的前景和困擾

1. AI未來應(yīng)用場(chǎng)景

• 電商應(yīng)用如用戶購買預(yù)測(cè)
• 新零售應(yīng)用如數(shù)字化導(dǎo)購
• 視頻智能分類：蘇寧集團(tuán)內(nèi)部系統(tǒng)視頻分類打標(biāo)
• 內(nèi)容智能感知：體育直播進(jìn)球片段和精彩回放預(yù)測(cè)截取

2. AI技術(shù)上的困擾

新生分類數(shù)據(jù)量初期少，如手術(shù)現(xiàn)場(chǎng)培訓(xùn)視頻，容易引起模型預(yù)測(cè)不準(zhǔn)，需要模型針對(duì)此類數(shù)據(jù)不斷優(yōu)化；這個(gè)不斷優(yōu)化的過程中，常用分類視頻的回報(bào)周期效果明顯，但是新的行業(yè)或者冷門行業(yè)數(shù)據(jù)需要不斷調(diào)優(yōu)來產(chǎn)生回報(bào)收益

【作者簡(jiǎn)介】高超，PP云高級(jí)技術(shù)架構(gòu)師，擁有7年業(yè)務(wù)研發(fā)和架構(gòu)經(jīng)驗(yàn)，目前負(fù)責(zé)PP云視頻服務(wù)研發(fā)和架構(gòu)工作。

以上內(nèi)容是51CTO記者根據(jù)高超在WOT2018全球軟件與運(yùn)維技術(shù)峰會(huì)的演講內(nèi)容整理，更多關(guān)于WOT的內(nèi)容請(qǐng)關(guān)注51cto.com，更多關(guān)于PP視頻云的內(nèi)容請(qǐng)關(guān)注PP云視頻公眾號(hào)。

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】