故事還得從最近很火的浙江移動(dòng)說(shuō)起。最近，該運(yùn)營(yíng)商憑借一條“DCOS發(fā)力雙11”的新聞成功火了一把，主要是講他們搭建了一套基于開(kāi)源Mesos + Doker技術(shù)的DCOS(數(shù)據(jù)中心操作系統(tǒng))，而且很魄力地將一個(gè)服務(wù)于上千萬(wàn)用戶的重要生產(chǎn)系統(tǒng)遷移其上，同時(shí)后端搭配天璣數(shù)據(jù) PBData數(shù)據(jù)庫(kù)云平臺(tái)的強(qiáng)勁支撐，最終***度過(guò)了今年 “雙11”秒殺的高峰壓力。一時(shí)間“DCOS”這個(gè)詞迅速引發(fā)業(yè)內(nèi)圍觀。“它到底是何方神圣?”“為何功能如此強(qiáng)大?”如果你也對(duì)它感到好奇，就請(qǐng)毫不猶豫地往下看吧!

1 “嗨!DCOS，你從哪里來(lái)?”

在回答這個(gè)問(wèn)題前，不妨先回顧一下國(guó)際先進(jìn)互聯(lián)網(wǎng)公司數(shù)據(jù)中心資源管理系統(tǒng)的發(fā)展史。早在十多年前，Google就開(kāi)始使用***代集群管理Borg技術(shù)管理數(shù)據(jù)中心。隨后Twitter從Google的Borg系統(tǒng)中得到啟發(fā)，開(kāi)發(fā)了一個(gè)類似的資源管理系統(tǒng)幫助他們擺脫可怕的“失敗之鯨”。2009年加州大學(xué)伯克利分校AMPLab首先開(kāi)發(fā)出Apache Mesos，這是一款開(kāi)源集群管理軟件，其核心研發(fā)成員Benjamin Hindman隨后將其引入Twitter，于是Twitter、Facebook、蘋(píng)果等大型IT企業(yè)開(kāi)始陸續(xù)打造各自特色的基于Mesos的數(shù)據(jù)中心管理方案。

2012年，圍繞Mesos開(kāi)展商業(yè)活動(dòng)的初創(chuàng)公司Mesosphere誕生，而B(niǎo)enjamin Hindman也以Mesosphere***架構(gòu)師的身份投身其中。 正是該公司提出了基于Mesos的DCOS(數(shù)據(jù)中心操作系統(tǒng))，希望企業(yè)能像使用一臺(tái)計(jì)算機(jī)一樣使用整個(gè)數(shù)據(jù)中心。

2 認(rèn)識(shí)DCOS，從Apache Mesos入手

為了更好地理解DCOS，***先了解一些Apache Mesos的背景知識(shí)。 Mesos適合作為數(shù)據(jù)中心哪一層的抽象?

IaaS層抽象的是機(jī)器， PaaS則更多考慮部署、管理應(yīng)用/服務(wù)。在交互方面，PaaS可能是和開(kāi)發(fā)者直接交互，而Mesos則是以API的形式和軟件程序交互。

換句話說(shuō)，你可以基于Mesos之上構(gòu)建一個(gè)PaaS系統(tǒng)(比如Marathon)，同時(shí)你還可以在一個(gè)IaaS上(比如Openstack)運(yùn)行Mesos。因此，當(dāng)Mesos運(yùn)行在一個(gè)組合系統(tǒng)之上，就能直接跨越底層組件去管理和計(jì)劃上層工作負(fù)載。 不過(guò)Mesos現(xiàn)在還需要與其它分布式系統(tǒng)配合使用。目前已有不少分布式系統(tǒng)直接構(gòu)建于Mesos之上，包括Apache Spark，Apache Aurora，Airbnb的Chronos以及Mesosphere的Marathon等。此外還有多個(gè)流行系統(tǒng)與Mesos相連并運(yùn)行于其上，如Apache Hadoop，Apache Storm，Google的Kubernetes等。

Mesos亮點(diǎn)一：兩級(jí)調(diào)度機(jī)制 Mesos以Framework的形式，提供了兩級(jí)調(diào)度機(jī)制，將任務(wù)的調(diào)度和執(zhí)行分離。面對(duì)各種類型的任務(wù)，在調(diào)度階段，由Framework的 Scheduler(調(diào)度器)以資源邀約的形式向Mesos Master申請(qǐng)資源;在執(zhí)行階段，由Framework的Executor(執(zhí)行器)執(zhí)行任務(wù)。

如圖所示，Mesos實(shí)現(xiàn)了“兩級(jí)調(diào)度機(jī)制”，它可以管理多種類型的應(yīng)用程序(圖中只展示了Hadoop和MPI兩種類型)。

深入學(xué)習(xí)：Mesos“兩級(jí)調(diào)度機(jī)制”Mesos Master協(xié)調(diào)全部的Mesos Slave，并確定每個(gè)節(jié)點(diǎn)的可用資源，聚合計(jì)算跨節(jié)點(diǎn)的所有可用資源的報(bào)告，然后向注冊(cè)到Master的Framework(作為Master的客戶端)發(fā)出資源邀約。 Framework根據(jù)應(yīng)用程序的需求，選擇接受或拒絕來(lái)自Master的資源邀約。一旦接受邀約，Master即協(xié)調(diào)Framework和Slave，調(diào)度參與節(jié)點(diǎn)上的任務(wù)，并在容器中執(zhí)行，使得多種類型的任務(wù)可在同一個(gè)節(jié)點(diǎn)上同時(shí)運(yùn)行。

Mesos亮點(diǎn)二：圍繞Framework建設(shè)的生態(tài)系統(tǒng) 在Apache Mesos的術(shù)語(yǔ)中，使用Mesos API在集群中調(diào)度任務(wù)的Mesos應(yīng)用程序稱為Framework(框架)。 Mesos另一個(gè)顯著亮點(diǎn)就是圍繞Framework建設(shè)的生態(tài)系統(tǒng)了。一旦將任務(wù)調(diào)度委托給Framework 應(yīng)用程序，以及采用插件架構(gòu)，就能直接打造Mesos***數(shù)據(jù)中心資源管理的生態(tài)系統(tǒng)。因?yàn)槊拷尤胍环N新的Framework ，Master無(wú)需為此編碼，Slave模塊可以復(fù)用，使得在Mesos所支持的寬泛領(lǐng)域中，業(yè)務(wù)迅速增長(zhǎng)。而開(kāi)發(fā)者就可以專注于他們的應(yīng)用和Framework的選擇。 下圖為不斷增長(zhǎng)的Mesos Framework列表：

所以，Apache Mesos是________? 可以說(shuō)，Apache Mesos是為構(gòu)建和運(yùn)行其他分布式系統(tǒng)提供服務(wù)的分布式系統(tǒng)。它將CPU 、內(nèi)存、存儲(chǔ)介質(zhì)以及其它計(jì)算機(jī)資源從物理機(jī)或者虛擬機(jī)中抽象出來(lái)，構(gòu)建支持容錯(cuò)和彈性的分布式系統(tǒng)，并提供高效的運(yùn)行能力。Mesos使用與Linux 內(nèi)核相同的系統(tǒng)構(gòu)建原則，只是它們處在不同的抽象層次上。Mesos內(nèi)核運(yùn)行在每臺(tái)機(jī)器上，通過(guò)應(yīng)用程序Framework ，提供跨整個(gè)數(shù)據(jù)中心和云環(huán)境進(jìn)行資源管理和調(diào)度的API。

3 基于Mesos的DCOS其實(shí)是Mesos衍生的生態(tài)系統(tǒng)之一

下圖是基于Mesos衍生的生態(tài)圈。值得一提的是，像Twitter、Airbnb、蘋(píng)果這樣的大公司幾乎都是自己搭建基于Mesos的基礎(chǔ)設(shè)施。但開(kāi)源的Mesos是一項(xiàng)非常***的技術(shù)，通過(guò)開(kāi)源工具手工裝配，并將Mesos用于生產(chǎn)環(huán)境是非常高難度的。這也是Mesosphere DCOS的價(jià)值所在。Mesosphere推出的DCOS，具備和Twitter、蘋(píng)果公司同等的能力和自動(dòng)化效果。

下面介紹三種基于Mesos衍生的生態(tài)系統(tǒng)： Mesosphere DCOS 從Mesosphere官網(wǎng)了解到，Mesosphere DCOS是以 Mesos為“核心”，與其周邊服務(wù)及功能組件所組成的一個(gè)生態(tài)系統(tǒng)。它跨越數(shù)據(jù)中心或云環(huán)境中的所有主機(jī)，將所有主機(jī)的資源放入一個(gè)資源池，使所有主機(jī)的行為整體上像一個(gè)大計(jì)算機(jī)。 Mesosphere DCOS內(nèi)部架構(gòu)圖

由圖可見(jiàn)，Mesosphere DCOS除了內(nèi)核Mesos，還有兩個(gè)關(guān)鍵組件Marathon和Chronos。其中，Marathon(名分布式的init)是一個(gè)用于啟動(dòng)長(zhǎng)時(shí)間運(yùn)行應(yīng)用程序和服務(wù)的框架，Chronos(又名分布式的cron)是一個(gè)在Mesos上運(yùn)行和管理計(jì)劃任務(wù)的框架。此外，Mesosphere DCOS還有Mesos-DNS這樣的插件模塊，它類似一個(gè)CLI，一個(gè)GUI又或者是提供你想運(yùn)行的所有的包的倉(cāng)庫(kù)等工具。 Mesosphere DCOS 可以運(yùn)行在任意的現(xiàn)代Linux環(huán)境，公有或私有云，虛擬機(jī)甚至是裸機(jī)環(huán)境，當(dāng)前支持的平臺(tái)有亞馬遜AWS，谷歌GCE，微軟Azure，Openstack等等。據(jù)Mesosphere官網(wǎng)顯示，Mesosphere DCOS在其公有倉(cāng)庫(kù)上已提供了40多種服務(wù)組件，比如Hadoop，Spark，Cassandra, Jenkins, Kafka, MemSQL等等。 浙江移動(dòng)與天璣聯(lián)合研發(fā)的DCOS 下圖為該DCOS內(nèi)部架構(gòu)示意

由圖可見(jiàn)，“核心”Mesos負(fù)責(zé)集群中所有節(jié)點(diǎn)資源的動(dòng)態(tài)調(diào)度與管理。其上還包括DCOS管控平臺(tái)，容器應(yīng)用框架等重要功能組件。該運(yùn)營(yíng)商表示，上述DCOS平臺(tái)不僅具備靈活彈性的伸縮能力，為系統(tǒng)提供高效的平行擴(kuò)展來(lái)應(yīng)對(duì)突發(fā)的業(yè)務(wù)高峰，而且Mesos與Docker的結(jié)合極大簡(jiǎn)化業(yè)務(wù)運(yùn)維復(fù)雜度，實(shí)現(xiàn)自動(dòng)化部署與應(yīng)用程序升級(jí)，Mesos還可為資源管理提供高容錯(cuò)性，自動(dòng)辨別服務(wù)器、機(jī)架或網(wǎng)絡(luò)出現(xiàn)的故障等。

蘋(píng)果公司基于Mesos重建的Siri后端服務(wù) 在MesosCon 2015上，蘋(píng)果公司分享了在生產(chǎn)環(huán)境中使用Mesos的經(jīng)驗(yàn)。原來(lái)蘋(píng)果用了近一年時(shí)間從原有的基于VM的環(huán)境遷移到基于Mesos的環(huán)境。他們使用Apache Mesos重建了個(gè)人助理軟件Siri的后端服務(wù)，并創(chuàng)建了一個(gè)名為J.A.R.V.I.S.而且類似PaaS的專有調(diào)度Framework，由此，開(kāi)發(fā)者可以部署可伸縮和高可用的Siri服務(wù)。據(jù)說(shuō)其Mesos集群規(guī)模保守估計(jì)有10,000個(gè)節(jié)點(diǎn)，支持Siri應(yīng)用程序的后臺(tái)系統(tǒng)包括約100種不同類型的服務(wù)，應(yīng)用程序的數(shù)據(jù)則存儲(chǔ)在Hadoop分布式文件系統(tǒng)(HDFS)中。從基礎(chǔ)設(shè)施的角度來(lái)看，使用Mesos 有助于使Siri具備可伸縮性和可用性，并且還改善了iOS 應(yīng)用程序自身的延遲。

結(jié)束語(yǔ)

此刻，你是否已經(jīng)對(duì)Mesos和DCOS有了新認(rèn)識(shí)呢?其實(shí)近年來(lái)，隨著云計(jì)算的快速普及，Docker為代表的容器技術(shù)如火如荼，企業(yè)用戶越來(lái)越關(guān)注基于云計(jì)算的下一代IT架構(gòu)變革，而軟件定義數(shù)據(jù)中心(SDDC)的理念也逐漸被接收。Mesos技術(shù)正是在這樣的大環(huán)境下應(yīng)運(yùn)而生，有了基于Mesos的數(shù)據(jù)中心操作系統(tǒng)，企業(yè)可以方便地對(duì)數(shù)據(jù)中心資源進(jìn)行統(tǒng)一管理，這無(wú)疑是IT架構(gòu)質(zhì)的飛躍。相信不遠(yuǎn)的未來(lái)，以Mesos為代表的一系列SDDC技術(shù)將成為業(yè)內(nèi)的新熱點(diǎn)。