基于云計(jì)算的數(shù)據(jù)中心建設(shè)及反思!
大連理工大學(xué):基于云計(jì)算的數(shù)據(jù)中心建設(shè)及反思云計(jì)算技術(shù)目前已成為包治百病的靈丹妙藥,無論何種解決方案最終一定會(huì)歸結(jié)為云計(jì)算。在云計(jì)算的浪潮下,高校數(shù)據(jù)中心是否應(yīng)該部署云計(jì)算?如何才能使云計(jì)算切實(shí)的落地,真正發(fā)揮效益,而不僅是一個(gè)概念,也是一個(gè)值得深思的問題。
虛擬化技術(shù)在數(shù)據(jù)中心的實(shí)踐
大連理工大學(xué)校從2003年開始對校內(nèi)各個(gè)部門對外信息發(fā)布的服務(wù)器進(jìn)行統(tǒng)一管理,開始建立集中的數(shù)據(jù)中心。數(shù)據(jù)中心的建設(shè)經(jīng)過了兩個(gè)階段:第一階段采用獨(dú)立的1U物理服務(wù)器來提供服務(wù),最多的時(shí)有200多臺(tái)物理服務(wù)器。在這種模式下,應(yīng)用的備份管理、物理服務(wù)器的故障處理,機(jī)房面積、供電、制冷的消耗等問題都集中爆發(fā)出來。從2006年開始,學(xué)校開始進(jìn)行服務(wù)器虛擬化技術(shù)的相關(guān)測試,并在2007年建設(shè)了高校第一個(gè)大規(guī)模VMware虛擬化服務(wù)器群;從第二個(gè)階段開始,把原有物理服務(wù)器上的應(yīng)用逐步遷移到虛擬化服務(wù)器上,現(xiàn)在已有280余臺(tái)虛擬機(jī)在運(yùn)行。2009年對虛擬化服務(wù)器群進(jìn)一步擴(kuò)容,2010年對第一批虛擬化服務(wù)器進(jìn)行了內(nèi)存和萬兆網(wǎng)卡升級,并部署了數(shù)據(jù)中心交換機(jī)CiscoNexus7018。目前數(shù)據(jù)中心已經(jīng)部署了16臺(tái)54CPU虛擬化服務(wù)器群,所有物理服務(wù)器采用雙10GbE網(wǎng)卡、雙4GbFCHBA上聯(lián),物理服務(wù)器群保持了合理的負(fù)載。
在服務(wù)器虛擬化實(shí)施的過程中,發(fā)現(xiàn)物理服務(wù)器的內(nèi)存消耗速度要遠(yuǎn)高于CPU消耗速度,因此在服務(wù)器群擴(kuò)容時(shí),新增服務(wù)器內(nèi)存提升到了144GB,原有服務(wù)器內(nèi)存也擴(kuò)充到了64GB。另一個(gè)影響服務(wù)器虛擬化效率的重要因素是存儲(chǔ)系統(tǒng)的性能。為進(jìn)一步提高存儲(chǔ)系統(tǒng)性能,在2011年,我們對現(xiàn)有存儲(chǔ)系統(tǒng)EMCCX4-960進(jìn)行了FastCache技術(shù)升級,采用多塊100GB固態(tài)盤對整個(gè)系統(tǒng)進(jìn)行讀寫緩存,使存儲(chǔ)讀寫延時(shí)得到了顯著改善。
在虛擬化平臺(tái)安全方面,設(shè)計(jì)了嚴(yán)格權(quán)限管理和備份制度。例如,資源管理部門只擁有在自己資源池內(nèi)分配虛擬機(jī)及配置指定網(wǎng)絡(luò)的權(quán)利;備份由后臺(tái)統(tǒng)一進(jìn)行,資源管理部門無法刪除備份等。在備份體系上,采用EMCAvamar進(jìn)行統(tǒng)一的全局減重備份,可以提供任何一臺(tái)虛擬機(jī)在半年內(nèi)任意一周的備份。對于關(guān)鍵服務(wù)器,同時(shí)使用VMwareDataRecovery進(jìn)行日備份;對于關(guān)鍵應(yīng)用再使用磁帶庫進(jìn)行應(yīng)用級備份。通過嚴(yán)格的管理措施和多級自動(dòng)化備份機(jī)制,有效的保證了數(shù)據(jù)中心的安全。
配合內(nèi)部機(jī)構(gòu)設(shè)置規(guī)劃了合理的管理結(jié)構(gòu),將廣義的基礎(chǔ)設(shè)施(包括網(wǎng)絡(luò)、存儲(chǔ)、虛擬化平臺(tái)、備份、機(jī)房環(huán)境等)整合統(tǒng)一到一個(gè)部門管理,其他部門變成該部門的用戶。實(shí)踐證明,這種模式有效的提高了資源的利用率,提高了管理效率,初步形成了部門內(nèi)部基礎(chǔ)設(shè)施云服務(wù)提供。
在虛擬化平臺(tái)實(shí)施的過程中,數(shù)據(jù)中心的運(yùn)行和管理成本大大降低,數(shù)據(jù)中心的物理服務(wù)器已經(jīng)從200余臺(tái)減少了近一半。管理部門進(jìn)行應(yīng)用升級、遷移成本顯著下降。通過模版、快照等機(jī)制,管理部門可以輕松的部署應(yīng)用,在應(yīng)用升級失敗時(shí)可以進(jìn)行完整的回退。 #p#
如何讓云計(jì)算在數(shù)據(jù)中心落地
在數(shù)據(jù)中心虛擬化的實(shí)施過程中,充分證明了服務(wù)器虛擬化在高校數(shù)據(jù)中心的可行性和必要性,并也實(shí)現(xiàn)了實(shí)際的效益。那么云計(jì)算和虛擬化又是什么關(guān)系?可以將高校云計(jì)算和虛擬化的關(guān)系簡單總結(jié)為以下幾點(diǎn):云計(jì)算的目標(biāo)是實(shí)現(xiàn)應(yīng)用的按需使用,虛擬化只提供了資源池化的一種手段。只能夠自動(dòng)化,提供大量虛擬機(jī)不是云計(jì)算。云計(jì)算的核心問題不是資源的池化,而是應(yīng)用是否能夠真正無縫地按需擴(kuò)展。
因此,我們認(rèn)為影響高校數(shù)據(jù)中心云計(jì)算實(shí)施的關(guān)鍵因素是信息化相關(guān)應(yīng)用是否真正的面向云計(jì)算開發(fā),能夠真正的以云計(jì)算模式提供服務(wù)。服務(wù)器虛擬化或基礎(chǔ)設(shè)置虛擬化只是向云計(jì)算演進(jìn)的第一步。高校云計(jì)算部署應(yīng)該是一個(gè)漸進(jìn)的過程,隨著對云計(jì)算的認(rèn)識(shí)和應(yīng)用的開發(fā),逐步演變?yōu)樵朴?jì)算。大連理工大學(xué)的云計(jì)算演進(jìn)過程定位如下:
在建設(shè)面向云計(jì)算的數(shù)據(jù)中心過程中,我們剛剛邁出了第一步。
傳統(tǒng)的應(yīng)用架構(gòu)并沒有考慮動(dòng)態(tài)擴(kuò)展的問題。例如在選課的高峰期間,我們希望將一臺(tái)選課應(yīng)用服務(wù)器自動(dòng)動(dòng)態(tài)擴(kuò)展至適應(yīng)請求數(shù)的數(shù)量,并在高峰期過后自動(dòng)降回通常的數(shù)量?,F(xiàn)在我們通過采用服務(wù)器虛擬化和應(yīng)用服務(wù)器集群,可以部分解決這個(gè)問題,但目前這個(gè)過程并不是自動(dòng)化的,仍然需要人工配置和干預(yù)。在應(yīng)用壓力進(jìn)一步提升后,傳統(tǒng)的應(yīng)用服務(wù)器、中間件、數(shù)據(jù)庫架構(gòu),并不能保證真正的動(dòng)態(tài)擴(kuò)展。
在PaaS階段,我們希望能夠探索新的應(yīng)用架構(gòu),在消息通訊機(jī)制、數(shù)據(jù)訪問機(jī)制、自動(dòng)擴(kuò)展機(jī)制等方面,實(shí)現(xiàn)真正面向云計(jì)算的開發(fā)平臺(tái)。在這個(gè)基礎(chǔ)上,校內(nèi)新開發(fā)的應(yīng)用逐步遷移到云計(jì)算平臺(tái),實(shí)現(xiàn)應(yīng)用的按需使用。
在云計(jì)算背景下,我們認(rèn)為除了適應(yīng)云計(jì)算的應(yīng)用架構(gòu)模式外,數(shù)據(jù)中心當(dāng)前的關(guān)鍵技術(shù)還包括:
1.支持?jǐn)?shù)據(jù)網(wǎng)絡(luò)和通信網(wǎng)絡(luò)融合的網(wǎng)絡(luò)設(shè)備
當(dāng)前萬兆端口的成本大幅下降,板載萬兆(LOM)會(huì)逐步取代板載千兆。主流板載LOM已經(jīng)開始同時(shí)支持FCoE、iSCSI卸載和IP傳輸。主流存儲(chǔ)廠商已經(jīng)開始在中高端存儲(chǔ)上直接支持FCoE。高端數(shù)據(jù)中心交換機(jī)已經(jīng)開始支持DCB(DataCenterBridge)等規(guī)范,可以提供二層多鏈路、無丟包以太網(wǎng)等關(guān)鍵特性。因此,全面實(shí)施數(shù)據(jù)網(wǎng)絡(luò)、通信網(wǎng)絡(luò)融合的時(shí)機(jī)已經(jīng)成熟。
2.支持FCoE、分層存儲(chǔ)的集中存儲(chǔ)設(shè)備
從我們目前運(yùn)行和測試經(jīng)驗(yàn)看,F(xiàn)C協(xié)議仍然是高可靠的數(shù)據(jù)中心存儲(chǔ)局域網(wǎng)的唯一選擇。支持FCoE的交換機(jī)、CAN接口卡已經(jīng)非常成熟,存儲(chǔ)設(shè)備也已經(jīng)直接支持FCoE接口。用FCoE替代傳統(tǒng)FC的技術(shù)風(fēng)險(xiǎn)相對較小,仍然可以延用傳統(tǒng)FC的運(yùn)維經(jīng)驗(yàn),在技術(shù)上保持連續(xù)性。大規(guī)模的虛擬化實(shí)施中必然存在熱點(diǎn)數(shù)據(jù)和非活動(dòng)數(shù)據(jù)。固態(tài)盤價(jià)格相對較高,完全采用固態(tài)盤在成本上難以接受。存儲(chǔ)設(shè)備需能夠動(dòng)態(tài)區(qū)分熱點(diǎn)數(shù)據(jù),將熱點(diǎn)數(shù)據(jù)自動(dòng)遷移到固態(tài)盤或者較高性能盤,將非活動(dòng)數(shù)據(jù)遷移至低成本硬盤,從而能夠用合理的成本提供高性能服務(wù)。
3.網(wǎng)絡(luò)、安全設(shè)備的軟件化、虛擬化
在大規(guī)模的虛擬化部署中,傳統(tǒng)的物理網(wǎng)絡(luò)、安全設(shè)備已經(jīng)不適用。傳統(tǒng)的安全設(shè)備無法部署在虛擬機(jī)之間進(jìn)行安全控制。我們認(rèn)為基于軟件的虛擬設(shè)備將取代部分物理安全設(shè)備。例如,在Host和VM之間的防病毒網(wǎng)關(guān)、控制VM之間安全策略的分布式軟件交換機(jī)、純軟件的Web應(yīng)用防護(hù)設(shè)備、純軟件的防火墻設(shè)備。
4.通信網(wǎng)絡(luò)和虛擬化基礎(chǔ)設(shè)施的融合
傳統(tǒng)的通信網(wǎng)絡(luò)控制是基于三層路由控制或者二層的接入端口控制,在虛擬化基礎(chǔ)設(shè)施中已經(jīng)不適用,虛擬機(jī)會(huì)在二層端口上遷移,同宿主機(jī)上的虛擬機(jī)之間的訪問不經(jīng)過物理交換機(jī)。在虛擬化環(huán)境下,物理交換機(jī)應(yīng)能感知到虛擬機(jī)的遷移,并動(dòng)態(tài)調(diào)整控制策略。物理交換機(jī)應(yīng)能同虛擬化交換機(jī)一體化管理,將虛擬交換機(jī)作為物理交換機(jī)的延伸。
綜上所述,高校數(shù)據(jù)中心部署云計(jì)算技術(shù)的背景已經(jīng)成熟,通過云計(jì)算技術(shù)的部署能夠有效降低數(shù)據(jù)中心運(yùn)行管理成本。但是如何能夠使云計(jì)算技術(shù)真正全面地落地,仍然是一個(gè)需要研究的課題。我們希望能夠通過面向云計(jì)算的應(yīng)用開發(fā)平臺(tái)的研究和部署,作為信息化應(yīng)用全面云化的一個(gè)契機(jī)。建設(shè)面向云計(jì)算的數(shù)據(jù)中心還存在一些關(guān)鍵的技術(shù)問題,我們將在未來的數(shù)據(jù)中心建設(shè)中,將這些關(guān)鍵技術(shù)作為重點(diǎn)考慮對象。