數(shù)據(jù)中心需要“全能”操作系統(tǒng)嗎？
操作系統(tǒng)可以存在于PC，甚至存在于手機(jī)上。為什么數(shù)據(jù)中心沒有一個(gè)操作系統(tǒng)?當(dāng)然，制作一個(gè)能夠處理數(shù)據(jù)中心全部資源的操作系統(tǒng)要比制作一個(gè)允許一臺(tái)設(shè)備運(yùn)行應(yīng)用程序的操作系統(tǒng)困難得多。
數(shù)據(jù)中心有IT專業(yè)人員團(tuán)隊(duì)來保證所有的服務(wù)器運(yùn)行和保證應(yīng)用程序有足夠的存儲(chǔ)等等。但是，這個(gè)工作量很大，以至于有必要推出一個(gè)更昂貴的能夠處理整個(gè)數(shù)據(jù)中心事務(wù)的操作系統(tǒng)。
這是加州大學(xué)伯克利分校博士生Matei Zaharia在俄勒岡州波特蘭舉行的Usenix年度技術(shù)會(huì)議上發(fā)表的觀點(diǎn)。
他不是第一個(gè)提議為計(jì)算系統(tǒng)集群制作一個(gè)操作系統(tǒng)的人。但是，他認(rèn)為這個(gè)需要變得越來越迫切，因?yàn)閼?yīng)用程序和用戶、編程框架和存儲(chǔ)系統(tǒng)越來越多樣化。
數(shù)據(jù)中心操作系統(tǒng)能夠把所有這些集中在一個(gè)管理平臺(tái)并且提供資源共享、數(shù)據(jù)共享、編程抽象和調(diào)試。
Zaharia稱，我們開發(fā)時(shí)間共享和計(jì)算機(jī)操作系統(tǒng)也是出于同樣的原因。
一位聽眾成員指出，為計(jì)算機(jī)集群制造操作系統(tǒng)的想法已經(jīng)出現(xiàn)幾十年。他駁斥了Zaharia把它稱作一個(gè)新的想法和為什么現(xiàn)在會(huì)取勝的觀點(diǎn)。
Zaharia認(rèn)為，早期版本的數(shù)據(jù)中心操作系統(tǒng)已經(jīng)在制作。他指出，谷歌已經(jīng)在使用高級(jí)的技術(shù)運(yùn)行其數(shù)據(jù)中心。這個(gè)技術(shù)還沒有完全向大眾公開。谷歌的軟件棧就像是按照操作系統(tǒng)式的思路設(shè)計(jì)的。
Zaharia和他的同事在一篇題為“數(shù)據(jù)中心需要一個(gè)操作系統(tǒng)”的論文中解釋了他們的想法。在Usenix網(wǎng)站上可以看到這篇論文。
這篇論文稱，數(shù)據(jù)中心已經(jīng)托管了許多種類的應(yīng)用程序(存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)應(yīng)用、長(zhǎng)期運(yùn)行的服務(wù)和批量分析)，隨著新的集群編程框架的開發(fā)，我們預(yù)計(jì)應(yīng)用程序的數(shù)量還將增長(zhǎng)。例如，谷歌已經(jīng)利用Pregel (一種用于圖片應(yīng)用的特殊框架)、Dremel (一種用于交互式數(shù)據(jù)挖掘的低延遲系統(tǒng))和Percolator (一種增量索引系統(tǒng))來增強(qiáng)其MapReduce框架。同時(shí)，計(jì)算機(jī)集群用戶數(shù)量正在增長(zhǎng)。例如，F(xiàn)acebook的Hadoop數(shù)據(jù)庫處理數(shù)百個(gè)用戶的幾乎同時(shí)互動(dòng)的SQL查詢。因此，數(shù)據(jù)中心操作人員能夠在一個(gè)應(yīng)用程序的用戶與多個(gè)應(yīng)用程序之間有效地反復(fù)利用資源是非常重要的。
Zaharia沒有說他們已經(jīng)制作了一個(gè)數(shù)據(jù)中心操作系統(tǒng)。但是，他說，他的團(tuán)隊(duì)已采取初步的步驟，設(shè)計(jì)了一個(gè)名為“Mesos”計(jì)算機(jī)集群管理器，可在應(yīng)用程序之間實(shí)現(xiàn)精確的共享。
仍需要解答的一些問題包括如果制作標(biāo)準(zhǔn)化的節(jié)目、如何處理流數(shù)據(jù)和保障存儲(chǔ)性能。但是，Zaharia認(rèn)為包括谷歌、亞馬遜和微軟在內(nèi)的許多公司正在解決這些問題。
Zaharia在論文中稱，Hadoop stack、LAMP、亞馬遜的Web服務(wù)、Windows Azure和谷歌的GFS/BigTable/ MapReduce等軟件平臺(tái)是目前事實(shí)上的數(shù)據(jù)中心操作系統(tǒng)。這些平臺(tái)將逐步發(fā)展以應(yīng)對(duì)數(shù)據(jù)中心用戶和工作量的多樣性。
數(shù)據(jù)中心應(yīng)用程序仍然很難開發(fā)并且不能容易的相互兼容。這些還要等待更多的相關(guān)工作者去解決和探索。
【編輯推薦】
