愛(ài)奇藝許立劍:分布式計(jì)算Mesos框架和應(yīng)用
視頻網(wǎng)站已經(jīng)深深地走入了每個(gè)人的生活,并成為一種重要的內(nèi)容傳播平臺(tái),但是從事互聯(lián)網(wǎng)行業(yè)的人會(huì)更清楚這一點(diǎn),如果沒(méi)有相應(yīng)的技術(shù)支撐,即使有再好的想法和再好的內(nèi)容,也很難變現(xiàn)為可行的平臺(tái)和商業(yè)模式,對(duì)于中國(guó)互聯(lián)網(wǎng)視頻行業(yè)而言,無(wú)論是三網(wǎng)融合的契機(jī),還是移動(dòng)互聯(lián)網(wǎng)的未來(lái),對(duì)相關(guān)技術(shù)的重視都是發(fā)展的基礎(chǔ)。
愛(ài)奇藝高級(jí)工程師許立劍在活動(dòng)中對(duì)Mesos進(jìn)行了介紹,Mesos2009年誕生于伯克利AMPlab,用于構(gòu)建和運(yùn)行其他分布式系統(tǒng)的分布式系統(tǒng),可以毫不費(fèi)力得支撐3萬(wàn)臺(tái)服務(wù)器。Mesos廣泛應(yīng)用于Twitter、eBay、Vimeo等公司,支持Hadoop、Spark、Storm、Jenkins、Marathon、Chronos等多種框架,同時(shí)支持自行構(gòu)建架構(gòu),例如視頻轉(zhuǎn)碼。
Mesos在愛(ài)奇藝中的使用是從2013年7月開(kāi)始初步調(diào)研,至今已經(jīng)上線Hadoop、Spark等框架,并自行開(kāi)發(fā)上線了分布式視頻轉(zhuǎn)碼框架。在上海,北京,重慶三地近200臺(tái)服務(wù)器,讓很多地方看到了Mesos的可利用性,完成視頻轉(zhuǎn)碼任務(wù)達(dá)到1000萬(wàn)以上,Storm、Marathon、Chronos、分布式爬蟲(chóng)等框架測(cè)試并陸續(xù)上線中。
在本次講解中,許立劍拿OpenStack與Mesos進(jìn)行了對(duì)比,突出了Mesos的優(yōu)點(diǎn)。
從圖中可以很清楚的看到Mesos的優(yōu)勢(shì)很明顯,用更少的物理機(jī),無(wú)需管理虛擬機(jī),就可以很輕松的完成視頻轉(zhuǎn)碼和計(jì)算任務(wù)。
同時(shí)在活動(dòng)上許立劍還闡述了靜態(tài)資源規(guī)劃的弊端,難以共享數(shù)據(jù),難以彈性地分配資源,難以充分利用資源,難以處理服務(wù)器失敗。從他的角度為大家很好的概述了以上的情況。