10月20日Live video Stackcon2017音視頻大會(huì)在京舉行，音視頻行業(yè)技術(shù)精英齊聚一堂，探討2017年這一年里音視頻的技術(shù)演進(jìn)發(fā)展以及未來(lái)的趨勢(shì)。CDN作為音視頻內(nèi)容分發(fā)的重要一環(huán)，自然不能缺席，Akamai、網(wǎng)宿、云帆加速等均出席了此次盛會(huì)。云帆加速聯(lián)合創(chuàng)始人&CTO扶凱在此次大會(huì)受邀作了題為《大視頻時(shí)代的CDN》的技術(shù)分享。

[[207307]]

2017音視頻大會(huì)——云帆加速扶凱演講現(xiàn)場(chǎng)

CDN初心還在?

眾所周知，90年代互聯(lián)網(wǎng)發(fā)展之初，CDN便伴隨著互聯(lián)網(wǎng)的發(fā)展應(yīng)運(yùn)而生，解決了“世界在等待”的局面，這即是CDN最初存在的意義，也是CDN行業(yè)誕生的初心——服務(wù)于互聯(lián)網(wǎng)企業(yè)，做互聯(lián)網(wǎng)背后的強(qiáng)大支撐。如今視頻行業(yè)在直播、VR、4k等技術(shù)的更新迭代中出現(xiàn)了爆炸式增長(zhǎng)，CDN作為視頻領(lǐng)域的剛需在這個(gè)大環(huán)境下進(jìn)入了火拼狀態(tài)，藍(lán)海市場(chǎng)漸入紅海，各家拼盡全力突圍，CDN價(jià)格一降再降，但這背后初心是否還在?視頻企業(yè)理想的CDN服務(wù)究竟是怎樣的?

[[207308]]

云帆加速聯(lián)合創(chuàng)始人&CTO扶凱

扶凱，作為一個(gè)擁有15年從業(yè)經(jīng)驗(yàn)的資深CDN專(zhuān)家，并有著在土豆、音悅臺(tái)等多家甲方企業(yè)擔(dān)任架構(gòu)師、CTO的履歷。此次分享，結(jié)合了他甲方公司和云帆加速的創(chuàng)業(yè)經(jīng)歷從甲乙兩方介紹CDN企業(yè)該如何做好視頻企業(yè)的技術(shù)服務(wù)，回歸初心。

視頻企業(yè)爆發(fā)式增長(zhǎng)之煩惱：文件存儲(chǔ)和用戶(hù)體驗(yàn)

視頻企業(yè)在爆炸式增長(zhǎng)過(guò)程中也是不斷經(jīng)歷曲折，雖然中國(guó)視頻技術(shù)水平整體已經(jīng)提升了很多，但根據(jù)廣泛的市場(chǎng)調(diào)研所知，仍有兩個(gè)行業(yè)的最重要的“老大難”問(wèn)題：文件存儲(chǔ)和用戶(hù)體驗(yàn)，而這兩個(gè)問(wèn)題也是關(guān)乎視頻企業(yè)生死的大事。

首先，文件存儲(chǔ)是視頻網(wǎng)站系統(tǒng)容量最基本也是最關(guān)鍵的模塊。隨著UGC的發(fā)展，對(duì)于大型視頻網(wǎng)站而言，每天都會(huì)有海量的文件數(shù)據(jù)從用戶(hù)端上傳至網(wǎng)站上后，轉(zhuǎn)碼成不同清晰程度, 這時(shí)一個(gè)視頻會(huì)變成多份, 像高清,標(biāo)清,流暢。這對(duì)網(wǎng)站服務(wù)器的存儲(chǔ)空間而言，形成了極為嚴(yán)峻的挑戰(zhàn),視頻所需要的存儲(chǔ)空間在快速的上升。

一般而言，文件處理過(guò)程涉及層次較多，對(duì)文件的分類(lèi)及定義尤其重要。如下大型視頻網(wǎng)站的文件處理過(guò)程：

在存儲(chǔ)方面，扶凱表示用戶(hù)上傳的文件會(huì)經(jīng)過(guò)轉(zhuǎn)碼和審核后本身就會(huì)生成不同的清晰程度，然后***種轉(zhuǎn)碼后不同清晰程度的視頻文件, 會(huì)存儲(chǔ)在至少3個(gè)機(jī)房?jī)?nèi)如A/B/C,這無(wú)疑更加大了存儲(chǔ)器的負(fù)擔(dān)和空間占用,但為了可用性考慮這又是必須的,當(dāng)任何 A or B or C 的機(jī)房異常時(shí)都可以有另外的二個(gè)機(jī)房正常工作, 當(dāng)存儲(chǔ)三份可以最少保證有二個(gè)機(jī)房異常時(shí)能正常的工作。

扶凱提到在用戶(hù)體驗(yàn)方面，上傳而來(lái)的文件, 在后期用戶(hù)訪問(wèn)幾次以后,大數(shù)據(jù)分析系統(tǒng)會(huì)根據(jù)這些訪問(wèn)記錄,將文件定義為冷門(mén)文件和熱點(diǎn)文件，然后熱門(mén)文件會(huì)被推送至邊緣節(jié)點(diǎn)以供就近調(diào)用，而冷門(mén)文件依然存儲(chǔ)在上層服務(wù)器中，調(diào)用的時(shí)候從上層直接調(diào)取，另外網(wǎng)站編輯本身也會(huì)根據(jù)需要給某個(gè)文件標(biāo)記為熱門(mén)。

以上提到的存儲(chǔ)體驗(yàn)一體化解決方案看似***，其實(shí)存在著一些問(wèn)題：邊緣存儲(chǔ)空間可能存在的浪費(fèi)，有的文件并不一定能訪問(wèn)到，小運(yùn)營(yíng)商或特定地區(qū)訪問(wèn)的性能問(wèn)題。例如，所有網(wǎng)站新上傳的文件列表中，究竟推多少文件到邊緣?而且對(duì)文件訪問(wèn)而言，本身又具有地域特性，北京網(wǎng)友與上海網(wǎng)友在觀看習(xí)慣上絕對(duì)會(huì)有差異。小運(yùn)營(yíng)商也是完全不同,而冷熱文件的定義是算法算出來(lái)的，具有普遍性，如同平均值并不能展示地域性的個(gè)性化特點(diǎn)，所以會(huì)引起大量的上層節(jié)點(diǎn)的訪問(wèn)。

商業(yè)CDN回歸初心：專(zhuān)注細(xì)節(jié)，***限度的提升分發(fā)效率

扶凱詳細(xì)介紹了商業(yè)CDN 加速在這方面的處理方式：首先商業(yè)CDN的存在是對(duì)超大型視頻網(wǎng)站內(nèi)容分發(fā)上的補(bǔ)充和支持，運(yùn)行原理則是“用空間換流量，用回源換空間”。所以較之視頻網(wǎng)站，在架構(gòu)上具有更加分明的層級(jí)。

CDN架構(gòu)中，用戶(hù)在就近訪問(wèn)最邊緣的節(jié)點(diǎn)，節(jié)點(diǎn)中的存儲(chǔ)空間內(nèi)的文件服務(wù)用戶(hù)，過(guò)程是用空間換流量，但由于邊緣服務(wù)器存儲(chǔ)空間有限，會(huì)讓部分冷點(diǎn)文件用回源方式進(jìn)行重新獲取。商業(yè)CDN作為超大型視頻企業(yè)內(nèi)容分發(fā)的補(bǔ)充，做為這點(diǎn),可以補(bǔ)充具有地域特征文件訪問(wèn)，另外上一層依然使用自己的，更加保證了源站的安全。

定制交換機(jī)，EdgeControl用來(lái)邏輯處理，Cache軟件用來(lái)管理存儲(chǔ)

而CDN單個(gè)節(jié)點(diǎn)主要是解決存儲(chǔ)和速度的問(wèn)題，云帆加速定制了ospf交換機(jī)用來(lái)批量管理、批量配置機(jī)房，可以隨時(shí)屏蔽宕機(jī)機(jī)器。

在實(shí)際用戶(hù)訪問(wèn)過(guò)程中，每個(gè)客戶(hù)的特性都不一樣，邏輯(需求)也是千奇百怪。所以邊緣節(jié)點(diǎn)分成二個(gè)部分，EdgeControl用來(lái)做邏輯的處理，Cache用來(lái)存儲(chǔ)，通過(guò)7層 hash將每個(gè)文件在節(jié)點(diǎn)上只存儲(chǔ)一份。因?yàn)橹淮鎯?chǔ)一份, 這時(shí)有大量并發(fā)的熱點(diǎn)時(shí)很容易異常, 所以當(dāng)熱的請(qǐng)求發(fā)過(guò)來(lái)時(shí), 云帆會(huì)使用熱點(diǎn)遷移，云帆加速在技術(shù)使用的是隊(duì)列，即將URL做成隊(duì)列，當(dāng)URL的 隊(duì)列值達(dá)到一定的數(shù)量會(huì)立刻存儲(chǔ)到所有邊緣，提高處理效率。

在Cache處理文件存儲(chǔ)時(shí)，并不是整個(gè)文件來(lái)存儲(chǔ)，而是將文件分割成1M的存儲(chǔ)塊，然后存儲(chǔ)到我們的文件系統(tǒng)。所以整個(gè)硬盤(pán)的塊存儲(chǔ)都是物理上真實(shí)按一塊塊存儲(chǔ)到硬盤(pán)上的分塊， 但當(dāng)用戶(hù)的 HTTP 來(lái)請(qǐng)求時(shí)響應(yīng)所發(fā)出來(lái)是一個(gè)邏輯的完整的文件。所以這些物理分塊都是安排平均分布在硬盤(pán)里進(jìn)行，帶來(lái)的好處分為以下幾方面;

1、當(dāng)有大量的IO在一個(gè)文件上的時(shí)候，能保證所有的IO都是一致的;

2、當(dāng)其中一個(gè)硬盤(pán)出現(xiàn)故障，只需要去上層重新取這一個(gè)硬盤(pán)上的文件過(guò)來(lái)，放在其它盤(pán)上，能有效避免宕機(jī)，有效提升硬盤(pán)數(shù)據(jù)處理效率，就算“歸國(guó)四子”同時(shí)公布戀情都能扛得住。

3、即便是某個(gè)硬盤(pán)宕機(jī)了，也不會(huì)影響文件的傳輸，云帆加速可以通過(guò)回源調(diào)取分布在宕機(jī)硬盤(pán)里存儲(chǔ)模塊，平均分布在其他硬盤(pán)里。

4、按需存儲(chǔ)，按需回源，拖動(dòng)效率高。比如用戶(hù)在看戰(zhàn)狼2，按照觀看習(xí)慣，片頭和片尾被跳過(guò)的幾率是很高的，所以存儲(chǔ)的時(shí)候片頭和片尾都會(huì)存儲(chǔ)在上層并取下來(lái), 因?yàn)闆](méi)有訪問(wèn)，而正片部分存儲(chǔ)在邊緣。

5、進(jìn)行文件刪除時(shí)，因?yàn)槭菍⑽募殖扇舾赡K遍布在各個(gè)硬盤(pán)之中，刪除時(shí)也不會(huì)占用IO只對(duì)文件在內(nèi)存的記錄中去掉。

另外，扶凱重點(diǎn)提到了云帆加速在文件存儲(chǔ)的一個(gè)細(xì)節(jié)——目錄刷新，也做了一個(gè)質(zhì)的突破。基本上，文件路徑在存儲(chǔ)上一經(jīng)修改，可立即全網(wǎng)生效，這個(gè)在行業(yè)內(nèi)是領(lǐng)先的。而且云帆加速在業(yè)務(wù)語(yǔ)言上有根據(jù)本身接觸的業(yè)務(wù)做了進(jìn)一步的優(yōu)化，客戶(hù)可以按照自己的習(xí)慣定制業(yè)務(wù)語(yǔ)言，而這直接大幅度縮減了程序上來(lái)回反復(fù)的步驟，運(yùn)維不需要提交工單，直接根據(jù)業(yè)務(wù)語(yǔ)言代碼定位問(wèn)題所在。

CDN怎樣幫助視頻企業(yè)提升用戶(hù)體驗(yàn)?

CDN存在之初就是為了解決“世界在等待”的問(wèn)題，所以行業(yè)需要解決的就是分發(fā)效率，盡可能的縮短內(nèi)容抵達(dá)觀眾那一頭所需的時(shí)間。

這里就要提到智能調(diào)度，而云帆加速調(diào)度系統(tǒng)分為：流量調(diào)度和邊緣化調(diào)度兩個(gè)部分。

一般來(lái)講，調(diào)度都是全局調(diào)度，擁有一個(gè)調(diào)度中心來(lái)協(xié)調(diào)所有的調(diào)度請(qǐng)求，但是在實(shí)際處理問(wèn)題的時(shí)候發(fā)現(xiàn)，這種調(diào)度在接收請(qǐng)求很大時(shí)，很容易因?yàn)閯?dòng)態(tài)的請(qǐng)求,需要查詢(xún)很多相關(guān)系統(tǒng),所以處理能力低下,而導(dǎo)致調(diào)度失敗，用戶(hù)請(qǐng)求文件也將無(wú)法順利抵達(dá)用戶(hù)端，用戶(hù)將進(jìn)入持久的等待。所以云帆加速在調(diào)度上做了一個(gè)新的嘗試，也將調(diào)度邊緣化，采取無(wú)中心的調(diào)度。所有的cache都是調(diào)度服務(wù)器，有多少cache服務(wù)器就有多少調(diào)度器。當(dāng)訪問(wèn)到調(diào)度器上時(shí)，調(diào)度器會(huì)區(qū)分出來(lái)這是調(diào)度請(qǐng)求還是用戶(hù)最終訪問(wèn)請(qǐng)求，然后再根據(jù)這個(gè)結(jié)果來(lái)處理，不但302可以這樣調(diào)，甚至連DNS都是如此。“為了防止DNS被打死，每一臺(tái)機(jī)器也都是DNS的服務(wù)器。”

同樣在在動(dòng)態(tài)回源的過(guò)程中有一個(gè)經(jīng)典的場(chǎng)景，在這個(gè)結(jié)構(gòu)里面，邊緣的用戶(hù)請(qǐng)求就近的節(jié)點(diǎn)，就近的節(jié)點(diǎn)回就近的上層源。但有時(shí)遇到邊緣節(jié)點(diǎn)沒(méi)辦法訪問(wèn)上層的問(wèn)題。在這種結(jié)構(gòu)內(nèi)部，任何一個(gè)點(diǎn)或者邊緣的點(diǎn)都可以立即切換其它邊緣做為代理上層, 在云帆的架構(gòu)中所有節(jié)點(diǎn)都可以同時(shí)作為上層或者下層，不用擔(dān)心誰(shuí)是上層誰(shuí)是下層，讓文件傳輸路徑暢通無(wú)阻，一觸即達(dá)。

CDN的未來(lái)趨勢(shì)

扶凱作為從業(yè)15年的業(yè)內(nèi)資深CDN專(zhuān)家，見(jiàn)證過(guò)CDN的從無(wú)到有的成長(zhǎng)。在他眼里，未來(lái)CDN的發(fā)展勢(shì)必會(huì)朝向差異化路線發(fā)展，比如CDN+P2P的方式。云帆加速與國(guó)內(nèi)外多家知名公司的合作中都有P2P的合作，另一方面云帆在大力推行自己的安全服務(wù)比如抗DDOS服務(wù)、流量清洗服務(wù)、WAF服務(wù),還可以做很多AI的事情，比如自己數(shù)據(jù)中心機(jī)器的連接數(shù),IO占用等信息送到大數(shù)據(jù)里面學(xué)習(xí)，自動(dòng)校驗(yàn), 用于自動(dòng)發(fā)現(xiàn)故障和異常等。

扶凱提出，以前大部分人都把CDN當(dāng)一個(gè)靜態(tài)的服務(wù)，但是其實(shí)它是最前端通用的網(wǎng)關(guān)接口呢?它離用戶(hù)最近，能做的事非常多。相信在未來(lái), 企業(yè)會(huì)需要更多類(lèi)似云帆加速針對(duì)網(wǎng)絡(luò)傳輸所做的細(xì)小創(chuàng)新，“精致而美麗”才是CDN企業(yè)與客戶(hù)長(zhǎng)久陪伴的“初心”與追求。