2014年11月21日至22日，51CTO傳媒主辦的2014WOT全球軟件技術(shù)峰會(huì)·深圳站將在深圳召開，技術(shù)人員和企業(yè)實(shí)踐用戶將齊聚深圳。

WOT是由51CTO傳媒主辦的國(guó)內(nèi)***有影響的技術(shù)峰會(huì)，自2012年以來(lái)，秉承專注技術(shù)、服務(wù)技術(shù)人員的理念，獲得了廣大IT從業(yè)者和技術(shù)愛(ài)好者的一致認(rèn)可，成為了業(yè)界重要的技術(shù)分享交流平臺(tái)以及人脈拓展平臺(tái)。

本次2014 WOT·深圳站將邀請(qǐng)國(guó)內(nèi)外***的互聯(lián)網(wǎng)及創(chuàng)新企業(yè)技術(shù)負(fù)責(zé)人，***對(duì)外公開其當(dāng)下最in技術(shù)，分享涵蓋六大主題，共有30+課程，移動(dòng)游戲運(yùn)營(yíng)、運(yùn)維開發(fā)、Web安全、數(shù)據(jù)挖掘、團(tuán)隊(duì)管理等以及未來(lái)兩三年的技術(shù)趨勢(shì)。點(diǎn)擊報(bào)名》》

本次采訪對(duì)象是本次2014WOT深圳站<自動(dòng)化運(yùn)維>論壇的演講人肖力，目前任職金山西山居/系統(tǒng)運(yùn)維經(jīng)理

1、您目前在貴公司負(fù)責(zé)哪些事情？能否先簡(jiǎn)單談?wù)勀谶\(yùn)維領(lǐng)域的從業(yè)經(jīng)驗(yàn)，和您對(duì)此運(yùn)維的理解？

我目前在珠海金山西山居，以前在上海盛大游戲。我負(fù)責(zé)系統(tǒng)及服務(wù)器層面的運(yùn)維工作，主要運(yùn)維方向是游戲虛擬化，有近15年的工作經(jīng)驗(yàn)，最近5年一直在做游戲虛擬化運(yùn)維。

2010年的時(shí)候，虛擬化在互聯(lián)網(wǎng)業(yè)內(nèi)還鮮有使用，我們已經(jīng)開始在生產(chǎn)環(huán)境中使用KVM虛擬化技術(shù)的探索。通過(guò)實(shí)施虛擬化，我們幾年內(nèi)節(jié)省了上億的運(yùn)營(yíng)成本，幫助多個(gè)處于生命周期末的游戲項(xiàng)目實(shí)現(xiàn)扭虧為盈。當(dāng)時(shí)KVM還是一個(gè)小眾產(chǎn)品，國(guó)內(nèi)文檔較少，我們只能通過(guò)鉆研國(guó)外的英文資料甚至閱讀源代碼來(lái)學(xué)習(xí)。Red Hat是KVM的重要支持者，因此與其公司的RHEL系統(tǒng)同源的centos成為了研究KVM的重要資料。從當(dāng)時(shí)剛發(fā)布的centos5.5開始，我們一路追隨centos系統(tǒng)的升級(jí)，每有一個(gè)版本發(fā)布，我們都要測(cè)試評(píng)估新的KVM虛擬化特性，然后逐步在生產(chǎn)環(huán)境部署，這樣的工作方法一直到持續(xù)到***的centos6.6及centos7。

所有我對(duì)運(yùn)維的理解就是一個(gè)學(xué)習(xí)、測(cè)試、生產(chǎn)環(huán)境使用，這樣一個(gè)不斷循環(huán)和實(shí)踐的過(guò)程，回過(guò)頭來(lái)看，這樣的運(yùn)維方法與虛擬化技術(shù)這些年的快速發(fā)展非常貼合，也促進(jìn)了新的虛擬化技術(shù)在我們生產(chǎn)環(huán)境不斷的被使用，解決了我們不少性能和穩(wěn)定性問(wèn)題。

2、能否講講這么多年運(yùn)維工作的變化與演進(jìn)？

我講講游戲虛擬化運(yùn)維的變化和演進(jìn)吧，可以分為4個(gè)階段：

***階段主要是解決穩(wěn)定性問(wèn)題，游戲行業(yè)穩(wěn)定性尤其重要，因?yàn)榉€(wěn)定性和游戲收入是直接掛鉤的，我們一開始部署虛擬化的時(shí)候，碰到很多問(wèn)題，比如網(wǎng)絡(luò)閃斷，虛擬機(jī)動(dòng)態(tài)遷移后，能ping通，但是tcp協(xié)議不能正常訪問(wèn)等，我們花了很大的時(shí)間精力解決這些問(wèn)題；

第二階段主要是解決虛擬機(jī)的快速生成問(wèn)題，穩(wěn)定性解決之后，我們面臨的問(wèn)題就是如何更快的得到虛擬機(jī)，于是搞了一套腳本，通過(guò)命令行，可以很快的完成宿主機(jī)的配置和虛擬機(jī)的生成；

第三個(gè)階段主要是解決和業(yè)務(wù)結(jié)合的問(wèn)題，業(yè)務(wù)希望虛擬機(jī)開起來(lái)后，游戲程序也盡快的能運(yùn)行起來(lái)，我們又把游戲程序根據(jù)業(yè)務(wù)的不同，在虛擬機(jī)生成的時(shí)候，塞到虛擬機(jī)里面，大大縮短了游戲的開服時(shí)間；

第四個(gè)階段是解決管理平臺(tái)的問(wèn)題，主要是進(jìn)一步的提高運(yùn)維水平，有了前面三步，管理平臺(tái)是水到渠成的事情，當(dāng)時(shí)openstack剛起步，概念非常好，但是穩(wěn)定性比較差，我們參照openstack的概念，自己開發(fā)了一套非常切合我們需要的管理平臺(tái)。

3、隨著如今大數(shù)據(jù)的爆發(fā)，這給運(yùn)維工作帶來(lái)了怎樣的沖擊與改變？

大數(shù)據(jù)的對(duì)游戲行業(yè)影響非常大，通過(guò)大數(shù)據(jù)，我們可以更細(xì)致的了解玩家的需求和痛點(diǎn)，更好的為玩家服務(wù)。我了解的情況是，游戲公司一般現(xiàn)在都有游戲數(shù)據(jù)分析的部門，會(huì)做非常詳細(xì)的大數(shù)據(jù)分析，現(xiàn)在早已經(jīng)不是要不要搞大數(shù)據(jù)的階段，而是大家在競(jìng)爭(zhēng)，如何可以把大數(shù)據(jù)分析做的更好、更細(xì)致的階段。

4、貴公司在監(jiān)控上用了哪些技術(shù)？使用開源的還是自主研發(fā)？

我們?cè)诒O(jiān)控上走的是開源和自主研發(fā)相結(jié)合的路線，底層主要使用zabbix，按照我們的需要做了非常多的定制，我和其他公司交流的時(shí)候，發(fā)現(xiàn)也有許多公司是這樣做的，總的來(lái)看，zabbix非常靈活，方便定制，能夠滿足我們的需求。

5、您認(rèn)為目前國(guó)內(nèi)的自動(dòng)化平臺(tái)以及數(shù)據(jù)可視化平臺(tái)建設(shè)如何？還需要加強(qiáng)哪方面發(fā)展？

自動(dòng)化平臺(tái)建設(shè)在游戲行業(yè)，就是要做到一鍵開服，要求運(yùn)維平臺(tái)在后臺(tái)打通個(gè)個(gè)環(huán)節(jié)，實(shí)現(xiàn)在前臺(tái)通過(guò)簡(jiǎn)單的鼠標(biāo)操作，可以完成游戲的更新和開服。這個(gè)說(shuō)起來(lái)容易，做起來(lái)非常困難，需要基礎(chǔ)平臺(tái)的支持，也需要對(duì)自己的業(yè)務(wù)理解非常透徹。

我和歐美、韓國(guó)、日本游戲公司有過(guò)多次交流，有些游戲公司在自動(dòng)化平臺(tái)建設(shè)方面達(dá)到很高的水平，三年前，我們代理的一款游戲，使用對(duì)方公司的運(yùn)維系統(tǒng)，服務(wù)器使用刀片服務(wù)器，可以做到服務(wù)器故障的時(shí)候，將替換的刀片服務(wù)器推進(jìn)去，然后就會(huì)自動(dòng)部署系統(tǒng)和游戲程序，不需要再做其他操作，我印象非常深刻。

我認(rèn)為自動(dòng)化平臺(tái)以及數(shù)據(jù)可視化平臺(tái)就是一個(gè)不斷的運(yùn)維技術(shù)標(biāo)準(zhǔn)化的過(guò)程，先是技術(shù)有發(fā)展，然后制定標(biāo)準(zhǔn)和流程，然后才有平臺(tái)，平臺(tái)是對(duì)技術(shù)和流程的一個(gè)固化和積累，從這個(gè)角度講，平臺(tái)建設(shè)也是一個(gè)動(dòng)態(tài)不斷發(fā)展的過(guò)程。

6、您認(rèn)為一名合格的運(yùn)維工程師是如何定義的？需要具備哪些因素？

就游戲行業(yè)來(lái)說(shuō)，運(yùn)維工程師的職責(zé)，我認(rèn)為可以分為4點(diǎn)：

***，保持業(yè)務(wù)的可用性，我們公司的指標(biāo)是可用性達(dá)到99.95%，就是一年下來(lái)計(jì)劃外停機(jī)時(shí)間不超過(guò)5個(gè)小時(shí)；

第二，保存業(yè)務(wù)的穩(wěn)定性，就是兩次故障的間隔時(shí)間盡量長(zhǎng)，充分保證玩家的游戲體驗(yàn)；

第三，快速的部署和響應(yīng)，一款游戲，少則幾十個(gè)區(qū)組，多則幾百個(gè)，通常維護(hù)時(shí)間只有一兩個(gè)小時(shí)，對(duì)我們的自動(dòng)化運(yùn)維水平要求非常高；

第四，也是最重要的一點(diǎn)，就是通過(guò)技術(shù)手段節(jié)省運(yùn)維成本，通常一個(gè)游戲項(xiàng)目開始的時(shí)候，人數(shù)是一直在增加的，那么消耗的運(yùn)維成本也會(huì)增加，運(yùn)維有一個(gè)職責(zé)，就是保持運(yùn)維成本增長(zhǎng)曲線效率低于人數(shù)增長(zhǎng)曲線斜率，斜率越低，說(shuō)明我們節(jié)約運(yùn)維成本的工作做的越好。

運(yùn)維工程師的素質(zhì)，我覺(jué)得有兩條，***是對(duì)生產(chǎn)環(huán)境要有敬畏之心，一個(gè)小的失誤，可能影響到幾千甚至上萬(wàn)玩家的游戲體驗(yàn)，容不得我們出錯(cuò)，這點(diǎn)是一些血的教訓(xùn)換來(lái)的；第二，要不斷學(xué)習(xí)，提高自己，就拿虛擬化網(wǎng)絡(luò)技術(shù)來(lái)說(shuō)，像openvswitch、sriov、萬(wàn)兆網(wǎng)卡，這樣的技術(shù)出現(xiàn)和發(fā)展很快，只有不斷的學(xué)習(xí)才能緊緊跟上技術(shù)發(fā)展的步伐。