隨著IT技術(shù)的發(fā)展，各行各業(yè)的產(chǎn)生的數(shù)據(jù)正在以爆炸性的速度增長(zhǎng)。為了從這些數(shù)據(jù)中挖掘出可用的信息并進(jìn)行持續(xù)應(yīng)用，數(shù)據(jù)分析變得越來(lái)越重要。數(shù)據(jù)分析使決策變得更加準(zhǔn)確和精細(xì)，近年來(lái)已經(jīng)逐漸發(fā)展成為一個(gè)重要的IT技術(shù)方向。

云計(jì)算技術(shù)的發(fā)展使得計(jì)算資源逐漸集中化、虛擬化。怎么高效、可靠的運(yùn)營(yíng)這些云計(jì)算平臺(tái)上的資源就變成了一個(gè)重要的課題。本文主要介紹應(yīng)用數(shù)據(jù)分析的方法來(lái)分析私有云平臺(tái)的系統(tǒng)容量和資源使用率，進(jìn)而在提高資源使用率、平衡系統(tǒng)負(fù)載和控制進(jìn)一步資金投入方面提供詳細(xì)的決策支持。

一、私有云平臺(tái)運(yùn)維中的痛點(diǎn)和挑戰(zhàn)

在各行各業(yè)都在進(jìn)行私有云建設(shè)的今天，在企事業(yè)單位中負(fù)責(zé)私有云平臺(tái)運(yùn)維的部門(mén)也在承受著來(lái)自各個(gè)方面的壓力。業(yè)務(wù)部門(mén)總是不斷地要求更多的資源，更快的部署節(jié)奏;財(cái)務(wù)部門(mén)則會(huì)要求不斷地降低成本，盡量使用已有資源;私有云的運(yùn)維部門(mén)則需要尋求適當(dāng)?shù)姆椒ㄒ栽趦烧咧g達(dá)成平衡。

與公有云按時(shí)間計(jì)費(fèi)的方式不同，一般作為企事業(yè)單位內(nèi)部建設(shè)和使用的私有云并沒(méi)有成熟的計(jì)費(fèi)體系，而作為資源使用者的一般員工對(duì)于成本更是不太關(guān)心。這就會(huì)導(dǎo)致一方面員工閑置了大量資源，而另一方面員工又在以各種業(yè)務(wù)需要為名義不停申請(qǐng)新的資源，進(jìn)而導(dǎo)致私有云的運(yùn)維部門(mén)總是感覺(jué)資源緊張而要求增加投資，財(cái)務(wù)部門(mén)則會(huì)感覺(jué)私有云是個(gè)需要不斷投入的無(wú)底洞。

二、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺(tái)優(yōu)化系統(tǒng)概況

為了切實(shí)解決上述問(wèn)題，我們需要一種有效的可度量的技術(shù)手段。而數(shù)據(jù)分析正好為我們提供了一種系統(tǒng)性的解決上述痛點(diǎn)和挑戰(zhàn)的方法。如圖1所示，基于硬件系統(tǒng)和虛擬化平臺(tái)之上的監(jiān)控系統(tǒng) (Universal Monitoring) 為整個(gè)優(yōu)化系統(tǒng)提供關(guān)于私有云平臺(tái)的各種資源利用率的數(shù)據(jù)來(lái)源，同時(shí)在這一層動(dòng)態(tài)生成虛擬機(jī)資源配置信息數(shù)據(jù)庫(kù)(Federated DB)。在此之上以數(shù)據(jù)分析的方法和相關(guān)軟件對(duì)監(jiān)控系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行分析，并以分析結(jié)果生成關(guān)于資源利用率和系統(tǒng)容量的報(bào)表(Dashboard &Report)。***根據(jù)報(bào)表進(jìn)行資源優(yōu)化調(diào)整和進(jìn)行進(jìn)一步投資的決策(Optimization)。這樣就形成了一個(gè)完整的私有云平臺(tái)建設(shè)和維護(hù)的循環(huán)：從投資到云平臺(tái)建設(shè)，再到監(jiān)控現(xiàn)有平臺(tái)資源并分析資源使用情況，***生成報(bào)表并采取優(yōu)化措施和決定是否進(jìn)一步投資。

圖1：私有云平臺(tái)優(yōu)化系統(tǒng)系統(tǒng)架構(gòu)圖

三、以數(shù)據(jù)分析為基礎(chǔ)的私有云平臺(tái)優(yōu)化系統(tǒng)詳細(xì)介紹

3.1 系統(tǒng)監(jiān)控

系統(tǒng)監(jiān)控的目的是將所有系統(tǒng)資源配置和使用的情況置于集中統(tǒng)一的監(jiān)控之下， 而監(jiān)控系統(tǒng)會(huì)產(chǎn)生大量時(shí)序的監(jiān)控?cái)?shù)據(jù)，這是我們后續(xù)進(jìn)行數(shù)據(jù)分析的數(shù)據(jù)來(lái)源。系統(tǒng)監(jiān)控可以使用成熟的商業(yè)軟件如IBM Tivoli Monitoring(ITM)來(lái)達(dá)成這個(gè)目的。關(guān)于ITM在虛擬化環(huán)境中的部署可以參考文章(應(yīng)用IBM Tivoli實(shí)現(xiàn)虛擬化環(huán)境的監(jiān)控http://storage.it168.com/a2011/0106/1147 /000001147294.shtml)。現(xiàn)在也出現(xiàn)了一些開(kāi)源的軟件如Nagios, Cacti, Zabbix等，但開(kāi)源軟件在不同平臺(tái)的適用性方面還需要做大量的定制才能達(dá)成目的。

3.2 Federated DB

Federated DB的目的是根據(jù)監(jiān)控系統(tǒng)生成的配置數(shù)據(jù)生成云平臺(tái)中統(tǒng)一的配置信息數(shù)據(jù)庫(kù)，同時(shí)配置信息數(shù)據(jù)庫(kù)會(huì)與資源所有者等信息進(jìn)行關(guān)聯(lián)以達(dá)到人、資源、配置等信息同步可查。

#p#

3.3 數(shù)據(jù)分析

數(shù)據(jù)分析是指通過(guò)技術(shù)、技能和實(shí)踐來(lái)持續(xù)探索和研究既往的業(yè)務(wù)數(shù)據(jù)從而獲得洞察力以驅(qū)動(dòng)新的業(yè)務(wù)規(guī)劃。 可以運(yùn)用IBM SPSS Modular對(duì)監(jiān)控?cái)?shù)據(jù)進(jìn)行處理，根據(jù)不同的技術(shù)指標(biāo)(如物理機(jī)CPU, 物理機(jī)內(nèi)存，物理機(jī)Disk, 虛擬機(jī)CPU, 虛擬機(jī)內(nèi)存等)進(jìn)行分析及按照時(shí)間序列進(jìn)行預(yù)測(cè)。找出不同物理機(jī)、虛機(jī)的資源利用率曲線及未來(lái)趨勢(shì)。同時(shí)開(kāi)源的R語(yǔ)言也可以通過(guò)一定的編程達(dá)到上述目的。

3.4 報(bào)表

根據(jù)數(shù)據(jù)分析的結(jié)果，利用成熟的報(bào)表工具來(lái)呈現(xiàn)用戶關(guān)心的內(nèi)容和關(guān)鍵指標(biāo)?？梢赃\(yùn)用IBM Cognos報(bào)表工具來(lái)展示物理機(jī)及虛機(jī)的資源利用率、系統(tǒng)容量、虛擬機(jī)分類(lèi)信息、用戶行為信息等云平臺(tái)運(yùn)維部門(mén)和云平臺(tái)實(shí)際使用部門(mén)關(guān)心的不同信息。同時(shí)一些開(kāi)源的報(bào)表工具如BIRT等也可以通過(guò)一定量的編程來(lái)實(shí)現(xiàn)上述目的。

3.5 系統(tǒng)優(yōu)化

在獲得了準(zhǔn)確的物理機(jī)及虛機(jī)的利用率、容量等信息以后，云平臺(tái)運(yùn)維部門(mén)可以根據(jù)不同的情況對(duì)系統(tǒng)進(jìn)行優(yōu)化。如對(duì)資源利用率低的機(jī)器增加負(fù)載，以提高資源利用率;對(duì)資源率用率過(guò)高的機(jī)器減少負(fù)載，避免因?yàn)樨?fù)載過(guò)高而產(chǎn)生問(wèn)題。對(duì)于云平臺(tái)上的虛擬機(jī)，如果資源利用率較低，可以聯(lián)系用戶看是否可以刪掉這個(gè)虛擬機(jī);如果虛擬機(jī)資源利用率過(guò)高，可以協(xié)調(diào)用戶給其增加必要的資源。通過(guò)這樣的方式，可以提高私有云平臺(tái)的整體資源利用率，提高系統(tǒng)可靠性。同時(shí)在進(jìn)一步投資決策的時(shí)候可以參考現(xiàn)有系統(tǒng)的資源使用率和可用系統(tǒng)容量，進(jìn)而從整體上降低私有云平臺(tái)的運(yùn)營(yíng)成本。

四、總結(jié)

目前數(shù)據(jù)分析在IT運(yùn)維中還沒(méi)有得到大范圍的應(yīng)用。由于私有云平臺(tái)自身的特點(diǎn)，數(shù)據(jù)分析在私有云運(yùn)維中可以發(fā)揮較大的作用，但要想達(dá)到最終的目的，我們需要多層次的知識(shí)、技能和相應(yīng)工具。從數(shù)據(jù)采集、數(shù)據(jù)分析、報(bào)表生成及采取相應(yīng)措施來(lái)進(jìn)行系統(tǒng)優(yōu)化是一個(gè)集成了從底層到應(yīng)用層的較長(zhǎng)的過(guò)程。每一層都需要付出相當(dāng)?shù)呐Σ拍茏罱K將系統(tǒng)集成起來(lái)并發(fā)揮效益。

作者簡(jiǎn)介

[[140532]]

萬(wàn)盛（項(xiàng)目經(jīng)理）

作者任職于某大型外企中國(guó)開(kāi)發(fā)中心，從事開(kāi)發(fā)中心私有云的運(yùn)維和開(kāi)發(fā)的項(xiàng)目管理工作。參與部署了多個(gè)基于Tivoli產(chǎn)品的IT環(huán)境性能監(jiān)控和優(yōu)化項(xiàng)目。實(shí)踐經(jīng)驗(yàn)豐富，熟悉虛擬化環(huán)境的設(shè)計(jì)、部署和優(yōu)化的項(xiàng)目管理等。持有PMP和ITIL Foundation證書(shū)。

原文鏈接：http://tech.it168.com/a2015/0708/1744/000001744601.shtml