人工智能正加速改變各個行業(yè)，而流媒體領(lǐng)域可能是其中改變最快的一個。隨著神經(jīng)網(wǎng)絡(luò)相關(guān)算法問題得到解決，人工智能技術(shù)在最近幾年得到了快速的發(fā)展，而人工智能技術(shù)在流媒體領(lǐng)域的滲透，使這項技術(shù)獲得了新的突破。當(dāng)下圖片、長視頻、短視頻、直播、AR等各種媒體形式占據(jù)著互聯(lián)網(wǎng)圈，在媒體內(nèi)容和形式都非常豐富的今天，如何辨識、解析這些內(nèi)容，并通過人工智能反饋是目前所有科技巨頭關(guān)注的焦點，其中圖像識別、語音語義識別、同聲傳譯、字幕識別等應(yīng)用場景的進(jìn)一步挖掘，需要人工智能大戰(zhàn)拳腳。

什么是人工智能？[[215192]]

通俗一點講，人工智能就是大數(shù)據(jù)+機器學(xué)習(xí)。這跟我們?nèi)祟惡芟?，我們想要獲取知識的話，需要很多的源材料，比如通過觀察外邊的世界，去閱讀各種書籍，或者請教老師、他人等。對于計算機來說也是這樣的原理，它需要獲取大量的數(shù)據(jù)去做訓(xùn)練，在大量數(shù)據(jù)里邊抽取出有用的信息，構(gòu)成它的知識庫。

數(shù)據(jù)是人工智能的基礎(chǔ)

數(shù)據(jù)是人工智能技術(shù)實現(xiàn)的基礎(chǔ)，在UCloud平臺中，數(shù)據(jù)處理是如何操作的呢？首先，我們我們的對象存儲、直播云、媒體工廠每天會產(chǎn)生大量的原始數(shù)據(jù)，比如對象存儲每天新增的圖片會超過10億張，但是這些原始數(shù)據(jù)并不一定是對計算機友好的，例如直播數(shù)據(jù)，里面有傳輸?shù)膮f(xié)議、音視頻的交錯，還有各種編碼在里面，這樣的原始的數(shù)據(jù)對機器學(xué)習(xí)來說是不友好的。我們就需要預(yù)處理的平臺對原始數(shù)據(jù)進(jìn)行處理，譬如圖片壓縮、音頻提取與聲道、采樣率歸一化、視頻的抽幀等，這些預(yù)處理的功能目前采用docker鏡像部署的方式跑在我們的彈性計算平臺上，目前有超過10000個虛擬節(jié)點在做這個事情。

僅有數(shù)據(jù)還是不夠的，我們需要對數(shù)據(jù)打上標(biāo)簽，讓計算機知道這個東西是什么，然后它通過數(shù)據(jù)標(biāo)簽去訓(xùn)練和想學(xué)習(xí)，認(rèn)識這一類的事物。目前打標(biāo)簽有多種形式，如人工標(biāo)注、關(guān)鍵字主動抓取等，對于難于標(biāo)注的語音類的數(shù)據(jù)，我們也會購買第三方的數(shù)據(jù)。數(shù)據(jù)是人工智能的基礎(chǔ)，未來在人工智能這個領(lǐng)域，數(shù)據(jù)層面的競爭將會非常激烈。

機器學(xué)習(xí)解決哪些問題？

人工智能的另外一個重要環(huán)節(jié)機器學(xué)習(xí)，它解決的主要是兩類問題，一是分類，二是回歸。

分類目前應(yīng)用得比較廣泛，也相對成熟一些，如圖片的分類，給出一張圖片，識別這個圖片是小貓還是小狗；或是對文字內(nèi)容的分類，比如讓計算機去分析一篇文章到底是體育類的還是經(jīng)濟類的等等。回歸則是數(shù)學(xué)的概念，它處理的問題也是偏數(shù)學(xué)方向的，輸入和輸出都是數(shù)字類型的。據(jù)了解，目前有些團隊在做類似股票預(yù)測的場景，像這種場景依賴的變量非常多，而且本身系統(tǒng)非常復(fù)雜，難度比較大。

分類功能在媒體領(lǐng)域的應(yīng)用

在當(dāng)下這個內(nèi)容為王的時代，分類和回歸在媒體方面的應(yīng)用十分廣泛，如內(nèi)容審核、人臉識別、自動標(biāo)簽、字幕識別、同聲傳譯等。

【內(nèi)容審核】

目前大多數(shù)的內(nèi)容平臺對用戶都是開放的，用戶可以上傳圖片、視頻等。開放本身是好事，使得內(nèi)容更加豐富，但會涉及到很多網(wǎng)絡(luò)監(jiān)管問題，在國家和政府對網(wǎng)絡(luò)內(nèi)容的監(jiān)管要求越來越嚴(yán)格的背景下，很多內(nèi)容平臺公司會專門成立內(nèi)容審核部門，采用人工審核的方式，對用戶上傳內(nèi)容進(jìn)行全量審核。這項工作如果完全依賴人力審核的話是一項巨大的工程，且審核團隊的工作枯燥乏味。

目前UCloud的UMAI平臺支持圖片與視頻的涉黃、暴力等內(nèi)容識別，通過調(diào)用UMAI接口來對內(nèi)容做預(yù)處理，可以將占比為絕大多數(shù)的正常內(nèi)容過濾掉，而只留下極少數(shù)判定為疑似不健康的內(nèi)容，需要審核團隊進(jìn)行進(jìn)一步的復(fù)查，這樣極大的減少了人工審核的工作量。

【人臉識別】

人臉識別現(xiàn)在在人工智能這塊應(yīng)用較為廣泛，如身份認(rèn)證、手機刷臉、系統(tǒng)登錄等；另外是人臉的搜索，比如在一段視頻里快速確定有沒有出現(xiàn)某個關(guān)鍵人物，或一個圖片集里有沒有包含這樣的人。人臉識別主要的流程一般如下，首先對這個圖片進(jìn)行人臉的檢測，然后提取關(guān)鍵點，包括眼睛、鼻子、嘴巴、耳朵、輪廓等，切分處理以后，再給到卷積網(wǎng)絡(luò)提取特征，最后再做人臉識別，目前我們在公司考勤、政治任務(wù)識別方面已有相關(guān)的應(yīng)用。

【自動標(biāo)簽】

針對用戶自主上傳的圖片，自動標(biāo)簽則發(fā)揮出重要作為。用戶在上傳圖片的時候，往往只會標(biāo)注一到兩個關(guān)鍵詞，對圖片進(jìn)行描述，而圖片里邊包含的大量其他的內(nèi)容和信息，是沒辦法檢索出來的，因為現(xiàn)在很多后臺的搜索是基于關(guān)鍵字的。通過計算機視覺的場景識別功能，可以很好的將圖片的隱藏信息挖掘出來，讓圖片有更多的關(guān)鍵字，能夠被更多的場景檢索出來，發(fā)揮其作用。

【字幕識別】

字幕識別的應(yīng)用非常直接而實用，例如身份證、發(fā)票、名片的識別，可以減少手寫錄入的工作量，而類似視頻字幕識別這種，則可以幫助計算機更好地去理解視頻的內(nèi)容。

【同聲傳譯】

目前國內(nèi)企業(yè)出海風(fēng)潮正盛，利用人工智能實現(xiàn)同聲傳譯可以幫助跨國公司、員工進(jìn)行不同語種間的交流。在視頻直播這一塊，我們做了這樣的系統(tǒng)，可以在視頻直播傳輸前，把里面的音頻提取出來，做切片處理以后，把語音識別出來，經(jīng)過翻譯系統(tǒng)后輸出字幕并打上時間戳，播放終端拿到字幕和視頻數(shù)據(jù)后，做一次時間戳同步，在播放端進(jìn)行展示。

這個系統(tǒng)主要有兩個難點：一是它是經(jīng)過了兩次計算機的識別，第一次是語音的識別，第二次是翻譯，這會有一個誤差的累積；二是這種場景的實時性要求比較高，比如說字幕的翻譯有點滯后，視頻數(shù)據(jù)又需要比較低的延遲，這樣體驗會非常不好。這也是這款產(chǎn)品正在優(yōu)化的兩個方向。

人工智能私有化部署應(yīng)用

以上提及的是聚焦于公有云平臺的人工智能的應(yīng)用，而我們在跟很多客戶的交流中，因為政策以及保密的原因，他們不希望將數(shù)據(jù)放到公有云上，在他們內(nèi)部也有不少服務(wù)器、視頻采集設(shè)備等硬件資源，希望能夠直接利用上。針對這樣的需求，我們會建議使用私有化部署的方案。

UCloud平臺做了兩件事去實現(xiàn)私有化部署的方案：第一是組件化，我們內(nèi)部有很多功能，比如直播、存儲、錄制、截圖等，我們將這些功能剝離開，做成各種組件的形式。這樣有一個好處，組件可以靈活搭配，用戶需要什么功能就部署什么組件，如果對某些功能有個性化需求，只要簡單修改對應(yīng)組件的功能就可以了。第二是我們提供訓(xùn)練好的模型，部署到客戶的私有環(huán)境中，目前這個模型是在我們公有云上訓(xùn)練好的。

私有化部署在自動考勤系統(tǒng)等場景已經(jīng)有成熟的應(yīng)用，我們也在不斷挖掘更多可應(yīng)用的場景，希望運用人工智能技術(shù)讓我們的工作更便利、生活更美好。