本文根據(jù)系統(tǒng)管理領(lǐng)域知名博客 Thomas A. Limoncelli 的 What is system administration like at Google 整理而成，添加了部分筆者觀點(diǎn)。

Google的系統(tǒng)工程師(System Administrator)如何工作

由于Google的服務(wù)已經(jīng)集群化，系統(tǒng)工程師并不大量接觸硬件比如做安裝服務(wù)器等事情。另外大部分工作也已經(jīng)自動(dòng)化了，比如架設(shè)LDAP, 負(fù)載均衡等。對(duì)照而言，國(guó)內(nèi)目前大部分互聯(lián)網(wǎng)公司SA仍然要做大量重復(fù)的底層工作，比如拿一個(gè)業(yè)務(wù)的數(shù)據(jù)庫(kù)過(guò)大需要拆分為例，從系統(tǒng)管理員的角度，需要做以下事情

1. 同技術(shù)人員溝通目前業(yè)務(wù)特點(diǎn)，制定拆分方案并評(píng)估程序風(fēng)險(xiǎn)
2. 搭建測(cè)試環(huán)境，技術(shù)人員測(cè)試程序兼容性
3. 制定實(shí)施方案，保證業(yè)務(wù)的不停機(jī)平穩(wěn)過(guò)渡
4. 深夜上線
5. 觀察1-2天運(yùn)行情況

我們需要思考上面工作是否是系統(tǒng)管理員以及技術(shù)人員有價(jià)值的工作。像Cassandra這樣解決了分布式存儲(chǔ)自動(dòng)化擴(kuò)展的問題是業(yè)內(nèi)一種發(fā)展方向，盡管Cassandra的穩(wěn)定性還需要改進(jìn)）。

Google的系統(tǒng)工程師怎么做？

他們會(huì)通常1周值班，響應(yīng)各種問題，比如完成上述場(chǎng)景中的擴(kuò)容業(yè)務(wù)。然后有大約5周左右脫離一線工作來(lái)自由思考將這1周內(nèi)碰到的工作進(jìn)行自動(dòng)化改進(jìn)，將那些會(huì)反復(fù)碰到的問題通過(guò)腳本及監(jiān)控程序完成，或者進(jìn)一步反饋給技術(shù)人員改進(jìn)應(yīng)用程序來(lái)實(shí)現(xiàn)自動(dòng)化。1:5只是個(gè)大約比例，時(shí)段可以靈活安排。比如也可以按天來(lái)安排，1天值班/7天改進(jìn)。當(dāng)改進(jìn)完成之后，下次遇到相同的場(chǎng)景，自動(dòng)化程序會(huì)完成大部分工作。如果在其他公司，SA通常忙碌在一線機(jī)械重復(fù)上述工作，但是在Google, 給系統(tǒng)工程師預(yù)留了相當(dāng)多的時(shí)間讓大家思考改進(jìn)。

這就是Google的System Administrator自稱SRE(Site Reliability Engineers)的原因。SRE會(huì)不斷在優(yōu)化所負(fù)責(zé)的系統(tǒng)，一些人關(guān)注運(yùn)維層面，另外一些可能關(guān)注自動(dòng)化工具。所有的SA都需要具備一定程序或腳本開發(fā)能力。

因此，當(dāng)遇到Google的數(shù)據(jù)規(guī)模，自動(dòng)化不是是否需要，而是如何更好實(shí)現(xiàn)的問題。

在Google其他一些令人興奮的工作還包括

1. 與開發(fā)技術(shù)人員是協(xié)同的關(guān)系。
2. 只需關(guān)心技術(shù)，在技術(shù)領(lǐng)域也有職業(yè)生涯上升通道，不必轉(zhuǎn)向技術(shù)管理崗位或其他。
3. 同事都非常聰明，通常會(huì)覺得自己是最遜的那一個(gè)。
4. 很多挑戰(zhàn)，保守的估計(jì)領(lǐng)先行業(yè)2-10年，在這里工作就象給了你一個(gè)魔法水晶球，通過(guò)你的工作可以預(yù)見這個(gè)行業(yè)的未來(lái)。

受Google方式的啟發(fā)，以下想到的一些可以研究的自動(dòng)化方向

1. 程序部署

◆C/C++/Java/PHP/Python/Ruby/C# 等語(yǔ)言如何不停機(jī)自動(dòng)發(fā)布

◆自動(dòng)發(fā)布如何簡(jiǎn)潔的解決模塊依賴性，比如1天需要同時(shí)更新10個(gè)有相互依賴的模塊，并且不能停止服務(wù)

◆Web容器虛擬化，同一Web容器上可以部署多個(gè)業(yè)務(wù)，業(yè)務(wù)之間互相隔離，互不影響。

◆將新開發(fā)的服務(wù)程序運(yùn)維自動(dòng)化。一般的服務(wù)程序從數(shù)量上來(lái)說(shuō)，10是一個(gè)分水嶺，10臺(tái)以下的服務(wù)通過(guò)人工重復(fù)操作方式來(lái)管理也問題不大，但是10臺(tái)以上就需要自動(dòng)化管理的方法。很多優(yōu)秀的開源程序(比如Tokyo Cabinet, Redis等)在單機(jī)上表現(xiàn)優(yōu)秀，但是大規(guī)模部署不能。大公司中很多技術(shù)人員經(jīng)常提到很多開源軟件不適合他們就有這方面原因。

2. 資源部署

◆MySQL

◆分布式文件存儲(chǔ)

◆Cache，拿cache自動(dòng)化管理舉例

◆端口資源管理，不同業(yè)務(wù)使用不同端口，同一應(yīng)用內(nèi)不同的數(shù)據(jù)使用不同的端口，相關(guān)原因可以參看以前cache相關(guān)博文。

◆容量管理，不同的數(shù)據(jù)需要不同的容量

◆動(dòng)態(tài)擴(kuò)容，應(yīng)用業(yè)務(wù)規(guī)模增長(zhǎng)，比如從10G擴(kuò)容到100G

◆Proxy功能，比如虛擬化端口映射，程序訪問的是固定虛擬端口，這樣不需要重啟服務(wù)也可以隨時(shí)擴(kuò)充，應(yīng)用也不需要一致性hash, proxy幫你做了。

3. 系統(tǒng)部署

◆OS

◆反向代理與負(fù)載均衡

◆本地分區(qū)容量，批量管理

◆程序發(fā)布與停止，比如一個(gè)程序一個(gè)點(diǎn)擊部署到100臺(tái)服務(wù)器

◆虛擬化，比物理服務(wù)器更容易部署，資源利用率更高，部署更可控

大部分國(guó)內(nèi)互聯(lián)網(wǎng)公司基礎(chǔ)技術(shù)還是比較原始的，這跟行業(yè)過(guò)分強(qiáng)調(diào)“好產(chǎn)品是運(yùn)營(yíng)出來(lái)的”也有關(guān)系，基礎(chǔ)研發(fā)通常不受重視，長(zhǎng)此以往，只能在門檻低的領(lǐng)域打拼，與Google的技術(shù)差異就不止10年了。

51CTO編輯推薦：回頭看看國(guó)內(nèi)的系統(tǒng)工程師是如何工作的：

1. 漫談運(yùn)維：半神半仙亦民工（國(guó)內(nèi)IDC）
2. 門戶網(wǎng)站運(yùn)維經(jīng)驗(yàn)談（國(guó)內(nèi)大型門戶網(wǎng)站）

想要全面的了解系統(tǒng)運(yùn)維的工作到底是什么樣么？推薦您看看這個(gè)專題：SA，神仙與裝機(jī)男：運(yùn)維的工作到底啥樣兒？

另外，51CTO策劃電子雜志《Linux運(yùn)維趨勢(shì)》測(cè)試刊已經(jīng)發(fā)布，測(cè)試刊的主題正是運(yùn)維自動(dòng)化，感興趣的讀者們可以去下載閱讀。