前面介紹了直播后端系統(tǒng)的原理及優(yōu)化，那么直播推流、播放端是否就沒(méi)有可以優(yōu)化的點(diǎn)呢?答案是否定的。客戶端的優(yōu)化對(duì)直播秒開、延遲體驗(yàn)的實(shí)現(xiàn)至關(guān)重要，這里重點(diǎn)介紹移動(dòng)終端的情況。

解析優(yōu)化

參見(jiàn)之前介紹的DNS過(guò)程，如下圖：

基于可控和容災(zāi)的需要，移動(dòng)端代碼一般不會(huì)hardcode 推流、播放的服務(wù)器IP地址，而選用域名代替。在IP出現(xiàn)宕機(jī)或網(wǎng)絡(luò)中斷的情況下，還可以通過(guò)變更DNS來(lái)實(shí)現(xiàn)問(wèn)題IP的剔除。而域名的解析時(shí)間需要幾十毫秒至幾秒不等，對(duì)于新生成熱度不高的域名，一般的平均解析延遲在300ms，按上圖的各個(gè)環(huán)節(jié)只要有一個(gè)通路網(wǎng)絡(luò)產(chǎn)生波動(dòng)或者是設(shè)備高負(fù)載，會(huì)增加至秒級(jí)。幾十毫秒的情況是ISP NS這一層在熱度足夠高的情況下會(huì)對(duì)域名的解析進(jìn)行緩存。如下圖：

按我們上面分析的情況，本省延遲大概是15ms左右，那么域名解析最低也可以做到15ms左右。但由于直播場(chǎng)景的特殊性，推流和播放使用的域名使用的熱度較難達(dá)到ISP NS緩存的標(biāo)準(zhǔn)，所以經(jīng)常需要走回Root NS進(jìn)行查詢的路徑。

那客戶端解析優(yōu)化的原理就出來(lái)了：本機(jī)緩存域名的解析結(jié)果，對(duì)域名進(jìn)行預(yù)解析，每次需要直播推流和播放的時(shí)候不再需要再進(jìn)行DNS過(guò)程。此處節(jié)省幾十到幾百毫秒的打開延遲。

播放優(yōu)化

直播播放器的相關(guān)技術(shù)點(diǎn)有：直播延時(shí)、首屏?xí)r間(指從開始播放到第一次看到畫面的時(shí)間)、音視頻同步、軟解碼、硬解碼。參考如下播放流程：

播放步驟描述：

1、根據(jù)協(xié)議類型(如RTMP、RTP、RTSP、HTTP等)，與服務(wù)器建立連接并接收數(shù)據(jù);

2、解析二進(jìn)制數(shù)據(jù)，從中找到相關(guān)流信息;

3、根據(jù)不同的封裝格式(如FLV、TS)解復(fù)用(demux);

4、分別得到已編碼的H.264視頻數(shù)據(jù)和AAC音頻數(shù)據(jù);

5、使用硬解碼(對(duì)應(yīng)系統(tǒng)的API)或軟解碼(FFMpeg)來(lái)解壓音視頻數(shù)據(jù);

6、經(jīng)過(guò)解碼后得到原始的視頻數(shù)據(jù)(YUV)和音頻數(shù)據(jù)(AAC);

7、因?yàn)橐纛l和視頻解碼是分開的，所以我們得把它們同步起來(lái)，否則會(huì)出現(xiàn)音視頻不同步的現(xiàn)象，比如別人說(shuō)話會(huì)跟口型對(duì)不上;

8、最后把同步的音頻數(shù)據(jù)送到耳機(jī)或外放，視頻數(shù)據(jù)送到屏幕上顯示;

了解了播放器的播放流程后，我們可以優(yōu)化以下幾點(diǎn)：

首屏?xí)r間優(yōu)化

1、從步驟2入手，通過(guò)預(yù)設(shè)解碼器類型，省去探測(cè)文件類型時(shí)間;

2、從步驟5入手，縮小視頻數(shù)據(jù)探測(cè)范圍，同時(shí)也意味著減少了需要下載的數(shù)據(jù)量，特別是在網(wǎng)絡(luò)不好的時(shí)候，減少下載的數(shù)據(jù)量能為啟動(dòng)播放節(jié)省大量的時(shí)間，當(dāng)檢測(cè)到I幀數(shù)據(jù)后就立馬返回并進(jìn)入解碼環(huán)節(jié)。

延時(shí)優(yōu)化

1、視頻緩沖區(qū)或叫視頻緩存策略，該策略原理是當(dāng)網(wǎng)絡(luò)卡頓時(shí)增加用戶等待時(shí)間來(lái)緩存一定量的視頻數(shù)據(jù)，達(dá)到后續(xù)平滑觀看的效果，該技術(shù)能有效減少卡頓次數(shù)，但是會(huì)帶來(lái)直播上的內(nèi)容延時(shí)，所以該技術(shù)主要運(yùn)用于點(diǎn)播，直播方面已去掉該策略，以此盡可能去掉或縮小內(nèi)容從網(wǎng)絡(luò)到屏幕展示過(guò)程中的時(shí)間;(有利于減少延時(shí))

2、下載數(shù)據(jù)探測(cè)池技術(shù)，當(dāng)用戶下載速度不足發(fā)生了卡頓，然后網(wǎng)絡(luò)突然又順暢了，服務(wù)器上之前滯留的數(shù)據(jù)會(huì)加速發(fā)下來(lái)，這時(shí)為了減少之前卡頓造成的延時(shí)，播放器會(huì)加速播放探測(cè)池的視頻數(shù)據(jù)并丟棄當(dāng)前加速部分的音頻數(shù)據(jù)，以此來(lái)保證當(dāng)前觀看內(nèi)容延時(shí)穩(wěn)定。

推流優(yōu)化

推流步驟說(shuō)明：很容易看出推流跟播放其實(shí)是逆向的，具體流程就不多說(shuō)了。

優(yōu)化一：適當(dāng)?shù)腝os(Quality of Service，服務(wù)質(zhì)量)策略。推流端會(huì)根據(jù)當(dāng)前上行網(wǎng)絡(luò)情況控制音視頻數(shù)據(jù)發(fā)包和編碼，在網(wǎng)絡(luò)較差的情況下，音視頻數(shù)據(jù)發(fā)送不出去，造成數(shù)據(jù)滯留在本地，這時(shí)，會(huì)停掉編碼器防止發(fā)送數(shù)據(jù)進(jìn)一步滯留，同時(shí)會(huì)根據(jù)網(wǎng)絡(luò)情況選擇合適的策略控制音視頻發(fā)送。比如網(wǎng)絡(luò)很差的情況下，推流端會(huì)優(yōu)先發(fā)送音頻數(shù)據(jù)，保證用戶能聽到聲音，并在一定間隔內(nèi)發(fā)關(guān)鍵幀數(shù)據(jù)，保證用戶在一定時(shí)間間隔之后能看到一些畫面的變化。

優(yōu)化二：合理的關(guān)鍵幀配置。合理控制關(guān)鍵幀發(fā)送間隔(建議2秒或1秒一個(gè))，這樣可以減少后端處理過(guò)程，為后端的緩沖區(qū)設(shè)置更小創(chuàng)造條件。

軟硬編解選擇

網(wǎng)上有不少關(guān)于選擇軟解還是硬解的分析文章，這里也介紹一些經(jīng)驗(yàn)，但根本問(wèn)題是，沒(méi)有一個(gè)通用方案能最優(yōu)適配所有操作系統(tǒng)和機(jī)型。

推流編碼： 推薦Andorid4.3(API18)或以上使用硬編，以下版本使用軟編;iOS使用全硬編方案;

播放解碼：Andorid、iOS播放器都使用軟解碼方案，經(jīng)過(guò)我們和大量客戶的測(cè)試以及總結(jié)，雖然犧牲了功耗，但是在部分細(xì)節(jié)方面表現(xiàn)會(huì)較優(yōu)，且可控性強(qiáng)，兼容性也強(qiáng)，出錯(cuò)情況少，推薦使用。

附軟硬編解碼優(yōu)缺點(diǎn)對(duì)比：

云端機(jī)型及網(wǎng)絡(luò)適配

上面分析了很多針對(duì)視頻編解碼的參數(shù)，但實(shí)際情況最好的編解碼效果是需要根據(jù)機(jī)型的適配的，由于iOS的設(shè)備類型較少，可以做到每個(gè)機(jī)型針對(duì)性的測(cè)試和調(diào)優(yōu)，但是對(duì)于Android就非常難做到逐款機(jī)型針對(duì)性調(diào)優(yōu)，并且每年都會(huì)出產(chǎn)不少的新機(jī)器，如果代碼中寫死了配置或判斷邏輯將非常不利于維護(hù)和迭代。所以我們就誕生了一個(gè)想法，這些判斷邏輯或配置是否可以放在云上呢? 這樣就產(chǎn)生了云端機(jī)型與網(wǎng)絡(luò)適配的技術(shù)。

終端在推流、播放前會(huì)獲取通過(guò)協(xié)議上報(bào)當(dāng)前的機(jī)型配置、網(wǎng)絡(luò)情況、IP信息。云端會(huì)返回一個(gè)已最適合的編解碼策略配置：走軟編還是硬編、各項(xiàng)參數(shù)的配置，就近推流服務(wù)的IP，就近播放服務(wù)的IP。 終端獲取一次即可，不需要每次推流、播放前都去獲取一次。

這樣，在我們不斷的迭代和完善機(jī)型編解碼適配庫(kù)的同時(shí)，所有使用該技術(shù)的直播APP都將收益。

總結(jié)

分析很多直播后端、終端的關(guān)于低延遲、秒開的優(yōu)化技術(shù)，在UCloud直播云上都已有了相關(guān)的實(shí)踐，都是一些較“靜態(tài)”的技術(shù)。實(shí)際提供穩(wěn)定、低延遲、流暢的直播服務(wù)，是日常中非常大量細(xì)致的監(jiān)控、算法和動(dòng)態(tài)運(yùn)營(yíng)的結(jié)果，并不是實(shí)現(xiàn)了某些的技術(shù)點(diǎn)，就能坐享一套穩(wěn)定的直播服務(wù)，只能說(shuō)是完成了萬(wàn)里長(zhǎng)城的第一道磚。

點(diǎn)擊閱讀：關(guān)于直播，所有的技術(shù)細(xì)節(jié)都在這里了(一)http://www.scjtxx.cn/art/201605/511219.htm

點(diǎn)擊閱讀：關(guān)于直播，所有的技術(shù)細(xì)節(jié)都在這里了(二)http://www.scjtxx.cn/art/201605/511224.htm

點(diǎn)擊閱讀：關(guān)于直播，所有的技術(shù)細(xì)節(jié)都在這里了(三)http://www.scjtxx.cn/art/201605/511465.htm