【編者的話】Mesos往往以其在大規(guī)模生產(chǎn)環(huán)境下的成熟案例為大家所熟知。但其實Mesos對于互聯(lián)網(wǎng)初創(chuàng)企業(yè)也是非常有用的。最顯著的一點：如果從一開始就使用基于Mesos的云操作系統(tǒng)，就可以讓一套IT架構(gòu)來支撐業(yè)務在不同階段的飛速發(fā)展。并讓技術(shù)人員更關(guān)注業(yè)務，而不是把精力花在服務器配置上。借用Rahman的一句話，"只要大家擁有一臺以上的服務器，都有理由來嘗試云操作系統(tǒng)。"

初創(chuàng)公司Mattermark采用Mesos技術(shù)

Mattermark是一家專門面向私營企業(yè)交付數(shù)據(jù)的高人氣初創(chuàng)企業(yè)。作為初創(chuàng)公司，其IT基礎設施規(guī)模還是相對較小的。不過正是憑借著這種初創(chuàng)特質(zhì)，其也得以順利擺脫了眾多規(guī)模更大且更為成熟的企業(yè)所難以解決的運營效率低下難題。與眾多大型企業(yè)一樣，Mattermark公司同樣使用Apache Mesos以及Marathon框架來解決自身面對的獨特問題。

這家誕生剛剛兩年的年輕公司，僅僅運行著一些Amazon Web Services實例，存儲著GB級別大小的數(shù)據(jù)，卻認為他們的IT架構(gòu)已經(jīng)變得不可為繼，會在不遠的將來影響業(yè)務的發(fā)展。在這方面，最突出的實際難題就是數(shù)據(jù)處理任務，特別是Mattermark在日常運營當中不可避免的大量數(shù)據(jù)挖掘、機器學習以及索引工作——過去，這些工作一直在以缺乏充分理論指導的隨意方式進行。

“我們擁有大量運行著重要工作內(nèi)容的EC2實例，但沒人了解其具體運行機制，”Mattermark公司機器學習工程師Samiur Rahman解釋稱。“這確實非常麻煩。”

該公司的管理層意識到，要想真正為各私營企業(yè)客戶提供可靠的數(shù)據(jù)源，必須要對現(xiàn)有運營機制進行整頓。“我們很清楚，未來的一到兩年內(nèi)公司規(guī)模會出現(xiàn)持續(xù)擴張，”Rahman表示。“所以我們要么繼續(xù)安于現(xiàn)有環(huán)境并不斷加以構(gòu)建，要么就像其它企業(yè)那樣全盤淘汰現(xiàn)有設施并直接向現(xiàn)代基礎設施轉(zhuǎn)移。”

利用Mesos進行基礎設施調(diào)度

Mattermark公司在幾個月之前決定利用Mesos對自身基礎設施進行重新設計，而且同時針對新系統(tǒng)提供了幾項必須能夠?qū)崿F(xiàn)的特殊要求：

需要在開發(fā)人員與公司AWS實例之間建立一套抽象層。能夠?qū)⑷蝿辗职l(fā)至不同的AWS實例當中。能夠根據(jù)特定任務的實際需要為其分配對應資源。面向任務調(diào)度實現(xiàn)高度細化的控制機制。對資源進行隔離以避免相鄰實例爭奪資源的問題。

該公司目前在Mesos之上運行有Chronos與Marathon，而此舉已經(jīng)帶來了理想的回報。Mattermark公司如今能夠以受控方式對批量任務進行調(diào)度，同時以智能化方式將不同類型的任務運行在同一資源池中，從而提高AWS的資源利用率。舉例來講，其能夠?qū)⒍鄠€低資源型網(wǎng)頁獲取任務與其它內(nèi)存與CPU使用率較高的機器學習任務運行在同一個實例當中。

“能夠切實完成此類資源分配(即允許這些工作負載在同一資源之上共存)的解決方案非常重要，”Rahman指出。如此一來，Mattermark公司不僅能夠通過一套可靠的方式實現(xiàn)任務流程自動化，同時也能夠在工作效果不變的前提下減少AWS實例使用量并由此降低使用成本。

相較于以往的服務器監(jiān)控最佳實踐，即企業(yè)需要從起始階段就要考慮到資源占用率趨近100%時的應對措施，“我們的監(jiān)控機制有所不同，因為如今80%到90%才是理想的資源利用率，”他解釋道。“這意味著我們能夠更加充分地利用已有資源。”

盡管Mattermark公司目前仍有一部分工作負載運行在由Elastic Load Balancer支持的AWS裸機實例當中(即非Mesos工作節(jié)點)，但Rahman強調(diào)稱那些需要高可用性保障的任務已經(jīng)運行在Mesos-Marathon環(huán)境之內(nèi)。隨著Mattermark公司不斷推出新的工作負載與任務類型，其也將全部由新系統(tǒng)負責承載。

“我們致力于讓各類工作負載與任務運行在Mesos當中，”他指出。而且由于Mattermark公司已經(jīng)開始廣泛利用預配置Docker容器作為應用程序運行環(huán)境，其目前能夠以相對簡單的方式完成各類進程由純AWS實例遷移至運行在AWS實例之上的Mesos集群中的工作。

以“積極態(tài)度”迎接大數(shù)據(jù)挑戰(zhàn)

不過就Mattermark公司的情況而言，Mesos的真正價值在于允許其保持基礎設施規(guī)模與業(yè)務發(fā)展同步擴張——反之亦然。換言之，讓IT資源隨著業(yè)務的發(fā)展而平滑增加，這樣既不會讓IT架構(gòu)成為業(yè)務發(fā)展的瓶頸，也不會因需要預留大量IT資源而造成浪費。

盡管目前規(guī)模僅為150 GB的MySQL數(shù)據(jù)庫很難被定義為“大數(shù)據(jù)”，但Rahman表示Mattermark公司計劃在未來幾年當中對其規(guī)模進行顯著拓展。而其中最突出的理由就是，Mattermark公司的從業(yè)時間越長，其需要在數(shù)據(jù)庫內(nèi)為每家企業(yè)客戶保存的數(shù)據(jù)量也就越大。

但從更具戰(zhàn)略意義的角度出發(fā)，Mattermark公司希望能夠?qū)⑵鋽?shù)據(jù)庫涵蓋能力由100萬家企業(yè)擴展到全球范圍內(nèi)的數(shù)億家企業(yè)。隨著企業(yè)客戶數(shù)量的增長，其當然也希望為每位客戶提供更加豐富的數(shù)據(jù)類型——包括員工數(shù)量、網(wǎng)站流量、融資信息、相關(guān)新聞以及社交媒體關(guān)注度等等。

“我們的業(yè)務規(guī)模取決于我們實現(xiàn)數(shù)據(jù)更新的速度以及將更多企業(yè)客戶納入數(shù)據(jù)庫的能力，”Rahman指出。

在他看來，Mesos能夠從多個角度帶來助益，使得Mattermark公司更為輕松地引入各類必要的新型數(shù)據(jù)處理技術(shù)，包括Kafka以及Spark等，并在運行大規(guī)模處理任務時快速添加對應容量?？偠灾?，該公司在基礎設施與任務之間的契合度方面投入的精力越少，那么其專注于在正確時間對正確數(shù)據(jù)進行訪問、分析以及交付的能力也就越強。

“我們希望運營體系能夠時刻為規(guī)模伸縮做好準備，從而幫助我們獲取更多數(shù)據(jù)并從其中發(fā)掘出更多有價值信息，”Rahman表示。“另外，我們也希望能夠繼續(xù)保持向客戶交付數(shù)據(jù)的速度。”

初創(chuàng)公司也要勇于嘗試Mesos或數(shù)據(jù)中心操作系統(tǒng)

著眼于未來，Rahman表示他希望看到Mattermark公司將運營體系由開源Mesos遷移至Mesosphere數(shù)據(jù)中心操作系統(tǒng)(國內(nèi)的朋友可以選擇數(shù)人云哦)，這在很大程度上意味著擺脫軟件組件更新以及漏洞修復等工作帶來的困擾。盡管目前尚在對DCOS的Early Access版本進行早期實驗，但他已經(jīng)可以在30分鐘之內(nèi)設置起一套以往通常需要數(shù)個星期才能搭建完成的系統(tǒng)。

“初創(chuàng)企業(yè)應該了解DCOS，因為它能夠讓運營工作變得更為輕松，”他解釋稱。另外，初創(chuàng)企業(yè)不必因為的自己運營規(guī)模并不像Yelp、蘋果或者是Twitter那么龐大，而害怕嘗試DCOS或者是開源Mesos組件。

“Mesos天然具備的開發(fā)者自由空間與良好運營效率讓我們從系統(tǒng)重新設計當中獲得了切實回報，”Rahman總結(jié)稱。“只要大家擁有一臺以上的服務器，都有理由在這方面做出嘗試。”

原文鏈接：http://blog.dataman-inc.com/20151112-startup-use-mesos/