近日，谷歌(Google)第一次允許媒體記者進(jìn)入該公司位于世界各地的數(shù)據(jù)中心進(jìn)行參觀拍攝，向世人展示其迷宮一樣的世界。這些數(shù)據(jù)中心日以繼夜地處理著全球網(wǎng)民的搜索請求、Youtube視頻和郵件等。雖然本次公布的只是一些圖片和非常有限的視頻資料，且沒有詳細(xì)注釋說明，但如古老的諺語所述：一張圖片勝過千言萬語，今天我們將就這些有限的圖片管中窺豹，分別從制冷、機(jī)柜、服務(wù)器、建筑等方面做一些最粗淺的分析以饗讀者。

一、制冷篇

圖1是谷歌某個數(shù)據(jù)中心的內(nèi)部場景。從該圖可以首先看出這個數(shù)據(jù)中心的冷站規(guī)模很大，整個房間管道林立，色彩斑斕非常好看。

圖1 谷歌某數(shù)據(jù)中心內(nèi)部場景

空調(diào)管道采用了谷歌企業(yè)標(biāo)準(zhǔn)色來區(qū)分不同管路的功能。例如，綠色標(biāo)注的是冷卻水回水管，黃色是冷卻水供水管、藍(lán)色是冷凍水供水管，深紅色和冷機(jī)側(cè)的粉紅色管是冷凍水回水管，白色的是消防管路，從而便于運(yùn)維人員快速定位并查找問題。IT設(shè)備同樣也采用五種顏色的網(wǎng)線，加上不同數(shù)據(jù)中心不同主題的裝修風(fēng)格，都是數(shù)據(jù)中心顏色標(biāo)識管理的典范。

圖1的左側(cè)是大型冷水機(jī)組，右側(cè)是板式熱交換器，以便在室外溫度較低時候采用板換散熱實現(xiàn)水側(cè)節(jié)能(water-side economizer)。谷歌也非常重視數(shù)據(jù)中心的耗水問題，據(jù)他們估算，采用高效節(jié)能方式的數(shù)據(jù)中心每年可節(jié)約幾億加侖的飲用水。

從圖1還可以看出，有一些運(yùn)營層面的小細(xì)節(jié)也考慮得非常周全。例如，管路屋頂?shù)鹊胤讲捎昧撕芏嗟碾妱拥跹b葫蘆鏈條，方便重型設(shè)備的吊裝維護(hù)或更換;又例如，管路底部采用了中間凹兩邊凸的滾輪型支撐，這樣會減少管路振動和拉伸形變產(chǎn)生的物理應(yīng)力;還有，樓層間的豎管采用了U型彎曲以便減少水溫變化和建筑形變帶來的隱形損傷;冷機(jī)周邊地面也配備了應(yīng)急排水口，等等。此外，在偌大的機(jī)房中，運(yùn)營人員采用同樣運(yùn)用了谷歌標(biāo)準(zhǔn)色的自行車來進(jìn)行現(xiàn)場巡視。 #p# 

二、微模塊機(jī)柜篇

圖2為谷歌在美國俄克拉荷馬州的數(shù)據(jù)中心，整個機(jī)房在大量服務(wù)器LED指示燈的閃爍下顯得非常整潔和夢幻。

圖2 谷歌俄克拉荷馬州數(shù)據(jù)中心

從這個整機(jī)房的俯視圖看，數(shù)據(jù)中心采用了廠房式大開間框架結(jié)構(gòu)。封閉熱通道的一排排機(jī)柜構(gòu)成龐大微模塊陣列，機(jī)房頂部是供電網(wǎng)絡(luò)橋架和消防管路，服務(wù)器和交換機(jī)的狀態(tài)燈閃爍著，只有極少量的機(jī)房級照明。

整個數(shù)據(jù)中心面積很大，走道以及頂部空間都非常寬敞，但設(shè)備區(qū)卻較為緊湊。機(jī)柜間冷通道才兩塊磚多點的距離(標(biāo)準(zhǔn)磚寬度為600mm)，其中熱通道占用了大約兩塊磚的距離，而且服務(wù)器機(jī)柜的深度較短，也就一塊磚多些。

從圖2較近處還可以發(fā)現(xiàn)有些地方以藍(lán)色布簾密封。這些密封的地方應(yīng)該是空缺的位置，是留給服務(wù)器機(jī)柜的，這也說明了谷歌的服務(wù)器部署是以機(jī)架為單位快速安裝部署的。用布簾密封可以隔絕冷熱氣流的混合，減少冷量的浪費，體現(xiàn)了精細(xì)化運(yùn)營的思想。高密度的服務(wù)器采用全正面維護(hù)，頂部為密集的TOR交換機(jī)單元。

仔細(xì)觀察圖2還可以看出，谷歌采用了創(chuàng)新的空調(diào)置頂散熱方式。整個機(jī)房大環(huán)境作為冷通道提供冷量給服務(wù)器吸入，加熱后的熱空氣在封閉通道內(nèi)上升，然后通過熱通道頂部的空調(diào)盤管制冷，并被幾個煙囪狀導(dǎo)風(fēng)管和大散熱風(fēng)扇重新循環(huán)回外部冷環(huán)境。這種空調(diào)置頂布局雖然存在著盤管漏水、更換維護(hù)較難等風(fēng)險，并對產(chǎn)品質(zhì)量和施工工藝要求非常高，但其氣流組織較為合理。例如熱氣流自動上升，冷氣流自動下沉，從而減少風(fēng)扇的功耗，且機(jī)房大冷池環(huán)境可以作為緩沖池，減少局部空調(diào)故障引發(fā)的熱保護(hù)。

據(jù)相關(guān)資料顯示，谷歌微模塊(圖3)的整個熱通道溫度非常高，像個大烤箱，溫度可以高達(dá)49攝氏度，以至于一旦必須進(jìn)去維護(hù)，那么服務(wù)器必須關(guān)掉才行。采用熱通道封閉可以提供一個較為舒適的現(xiàn)場運(yùn)營環(huán)境，熱量被限制在熱通道中，并被冷凍水帶走。雖然大開間鐵皮廠房的冷量密封保溫特性不太好，但因為谷歌服務(wù)器的高溫工作特性(如圖3所示谷歌服務(wù)器的深度較短，大約只有600mm多的深度，散熱會比較容易)，送風(fēng)溫度高達(dá)27攝氏度，因此這個較高溫度下的冷量傳遞損失不會很大，圍欄效應(yīng)的影響幾乎可以忽略。

圖3 谷歌微模塊內(nèi)的熱通道

圖3顯示了谷歌微模塊熱通道內(nèi)部的一些細(xì)節(jié)。例如，熱通道寬度大約是兩塊標(biāo)準(zhǔn)地板磚，里邊安裝的是機(jī)柜頂部空調(diào)盤管的安裝支架和加固支撐，地板底下的快接軟管提供冷凍水給熱通道頂部的空調(diào)盤管。從冷凍水管的數(shù)量和密度上看，頂部空調(diào)盤管也做了模塊化冗余設(shè)計，是個很不錯的設(shè)計。服務(wù)器全正面維護(hù)，每臺服務(wù)器采用三個分布式較大風(fēng)扇散熱，綠光來自服務(wù)器內(nèi)部LED狀態(tài)燈。根據(jù)整機(jī)房以及微模塊內(nèi)的照片，我們還可以猜測到，為匹配置頂空調(diào)。

谷歌的微模塊是6個機(jī)柜為基本單元來建設(shè)，每排機(jī)柜以3個機(jī)柜為最小顆粒不斷延伸。谷歌自行設(shè)計的服務(wù)器采用盡可能少的能耗，并控制風(fēng)扇轉(zhuǎn)速到足夠低，只要服務(wù)器內(nèi)部溫度不要超過設(shè)定值就可以了，處處都體現(xiàn)節(jié)能。

谷歌在供電和制冷等方面總能打破常規(guī)。例如，他們有些機(jī)房沒有采用商用的傳統(tǒng)UPS和精密空調(diào)方案。圖4則是谷歌創(chuàng)新的“三明治”服務(wù)器，谷歌還為此申請了專利。“三明治”服務(wù)器采用的是液冷散熱片，上下兩個服務(wù)器靠此散熱片內(nèi)部的冷凍水以及循環(huán)風(fēng)扇帶走熱量。

圖4 谷歌“三明治”服務(wù)器示意圖

當(dāng)然，也不是谷歌的所有機(jī)房都采用這些創(chuàng)新的散熱方案，例如一些POD小機(jī)房(圖5)和網(wǎng)絡(luò)設(shè)備間(圖6)就采用傳統(tǒng)的散熱方案。圖6展示的網(wǎng)絡(luò)設(shè)備間采用了傳統(tǒng)的風(fēng)管上送風(fēng)或者地板下送風(fēng)方式散熱，雙路冗余高可靠供電。不過，在這些傳統(tǒng)機(jī)房模塊中谷歌都采用了簡單低成本的塑料簾子隔離冷熱通道方案，避免了冷熱氣流直接混合短路，也大大提高了能源利用效率。

圖5 谷歌一POD小機(jī)房

圖6 谷歌某數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備間

從谷歌早期發(fā)布的一個POD機(jī)房優(yōu)化視頻中可以看出，通過一些精細(xì)化運(yùn)營手段，例如機(jī)房CFD仿真改善氣流組織、采用冷熱簾隔離、提高送風(fēng)溫度、安裝藍(lán)色LED燈用于照明等措施，可以使數(shù)據(jù)中心PUE值從原來的2.4降低到1.5以下。這也說明即使不用費心創(chuàng)新，單純采用運(yùn)營優(yōu)化也可以實現(xiàn)較好的節(jié)能效果。 #p# 

三、谷歌服務(wù)器篇

步入谷歌的大型數(shù)據(jù)中心，整個機(jī)房的服務(wù)器陣列非常整齊壯觀，海量的服務(wù)器風(fēng)扇同時運(yùn)轉(zhuǎn)帶來巨大的噪音，以至于進(jìn)入數(shù)據(jù)中心必須佩戴防噪耳塞。

圖7 谷歌數(shù)據(jù)中心的服務(wù)器陣列

從圖8和圖9可以看到谷歌的服務(wù)器上架有兩種配置方式，分別是低密方式——每機(jī)柜約放置十五六臺服務(wù)器，以及高密方式，每機(jī)柜接近三十臺左右(可能采用類似Facebook的1.5U高效風(fēng)扇設(shè)計)。

圖8 低密度機(jī)柜

圖9 高密度機(jī)柜

除開密度不一樣，共同的地方則是都采用了TOR交換機(jī)置頂，PDU和網(wǎng)絡(luò)快速接口都在左側(cè)。每臺服務(wù)器含有2個或者更多的子機(jī)，服務(wù)器沒有前面板也無上蓋板，這樣不僅成本更低，散熱也更好。而且服務(wù)器通常很短，采用不同顏色的網(wǎng)線做功能區(qū)分。網(wǎng)線和電源線采用快插接口，即插即用。機(jī)柜底下滾輪設(shè)計方便整機(jī)架快速部署和搬遷，全正面維護(hù)，方便現(xiàn)場快速維修和免工具更換。

透過這些照片，也可以看到不同版本不同類型的谷歌服務(wù)器設(shè)計。和早前發(fā)布的帶鉛酸電池服務(wù)器設(shè)計不一樣，新版本的服務(wù)器結(jié)構(gòu)更為方正美觀。最關(guān)鍵的是，這些自行打造的服務(wù)器要比標(biāo)準(zhǔn)的商用服務(wù)器要便宜不少。

盡管仍被視為互聯(lián)網(wǎng)公司，谷歌實際上已經(jīng)成為世界上最大的硬件制造商之一，因為它的設(shè)備多數(shù)是自己制造的。

1999 年的時候，谷歌基礎(chǔ)設(shè)施高級副總裁Urs Hölzle[zy1]從“三個開電子商店的家伙”那里買了 2000 個剝離下來的電路板。通過改造，去除不必要的部件，谷歌構(gòu)建了自己的服務(wù)器。DIY服務(wù)器的價格是1500美元，而當(dāng)時的商用機(jī)價格約為5000美元，考慮到其上百萬量級的服務(wù)器設(shè)備，那么DIY服務(wù)器帶來的成本節(jié)約會是天文數(shù)字。

谷歌DIY的服務(wù)器簡單易維護(hù)。如果服務(wù)器出了故障，甚至可以免工具快速維修，實在無法維修則直接報廢拆解成電子垃圾回收。并且，谷歌在定制的服務(wù)器內(nèi)部安裝了分布式的帶電池UPS，可以省掉傳統(tǒng)數(shù)據(jù)中心大量UPS的采購成本。而且該內(nèi)置UPS可以實現(xiàn)供電效率99.9%，相比傳統(tǒng)的UPS方案也實現(xiàn)數(shù)據(jù)中心總節(jié)能15%，這在能源緊張運(yùn)營電費高漲的今天無疑是非常大的費用節(jié)省。

圖10 谷歌工作人員在維修服務(wù)器

為了統(tǒng)一管理自己的服務(wù)器，谷歌開發(fā)了一個軟件系統(tǒng)。數(shù)據(jù)中心管理者能夠通過這個系統(tǒng)指揮數(shù)千個電腦，如同一個計算機(jī)一樣。在 2002 年的時候，谷歌開發(fā)了谷歌 File System，可以在不同的機(jī)器上順利地傳送文件。MapReduce則是谷歌為編寫云端服務(wù)而開發(fā)的系統(tǒng)，它的開源版本Hadoop已經(jīng)成為業(yè)界標(biāo)準(zhǔn)。

此外，谷歌還開發(fā)了一個自動化的決策系統(tǒng) Borg，用于決定哪個機(jī)器最適合某項任務(wù)。這對服務(wù)器集群的穩(wěn)定性提出了更高的要求。為此，谷歌內(nèi)部有一個團(tuán)隊，叫做 SRE(網(wǎng)站可靠性工程團(tuán)隊)，他們的任務(wù)就是使用各種方法，對服務(wù)器進(jìn)行破壞，以檢測公司進(jìn)行危機(jī)處理的能力。每年，SRE都會進(jìn)行一次虛擬的戰(zhàn)爭，叫做DiRT(disaster recovery test)。攻擊是虛假的，但是幾乎和現(xiàn)實一樣，危機(jī)管理人員必須按照處理程序來做，如果他們不能找出處理方式，攻擊就必須停止，以免影響到真正的用戶。

谷歌公司內(nèi)部的某個墻上展示著一排排的主板，那些代表著谷歌成立以來自己打造的不同時代的服務(wù)器。其中有一塊標(biāo)明著2008年7月9日，那是谷歌有史以來的第一百萬臺服務(wù)器，但這是個累計的數(shù)字，并不意味著那個時間谷歌已經(jīng)擁有百萬臺服務(wù)器的規(guī)模。 #p# 

四、數(shù)據(jù)中心建筑篇

谷歌在數(shù)據(jù)中心選址上非常謹(jǐn)慎。以谷歌位于哥倫比亞河畔的Dalles數(shù)據(jù)中心(圖11)為例，谷歌喜歡將數(shù)據(jù)中心建設(shè)在河流旁邊開闊的谷地。而且，可以看出其典型的建筑風(fēng)格是大開間低層廠房結(jié)構(gòu)，多為結(jié)構(gòu)較為合理的長條矩形狀。大型架空冷卻塔和底下的儲冷罐位于建筑邊上，附近是兩個為數(shù)據(jù)中心配套的變配電站。直接采用附近水電站便宜的綠色充足水電來給數(shù)據(jù)中心供電，空氣質(zhì)量很好。

圖11 谷歌Dalles數(shù)據(jù)中心

圖12 谷歌Dalles數(shù)據(jù)中心平面布局圖

類似選址的還有谷歌建于比利時的數(shù)據(jù)中心(采用運(yùn)河的水處理后來散熱)，以及芬蘭灣哈米納數(shù)據(jù)中心(直接采用海水來給數(shù)據(jù)中心散熱)，而不像國內(nèi)，許多大型數(shù)據(jù)中心受限于種種原因多建在沿海城市，忍受著空氣質(zhì)量不好、電力容量少電費高、多層建筑租金昂貴等多種弊端。

總之，谷歌的數(shù)據(jù)中心選址多位于能源較為豐富、氣候條件較好的地方。一則可以大量使用綠色低成本的能源，二則還可以利用較為優(yōu)越的地理氣候條件實現(xiàn)更為節(jié)能的自然冷卻。目前谷歌主流的數(shù)據(jù)中心年P(guān)UE值基本可以達(dá)到1.2以下的水平。且數(shù)據(jù)中心和周邊自然環(huán)境融合很好，數(shù)據(jù)中心周圍倘佯的小鹿、漫山的野花、氤氳的冷卻塔蒸汽、靜謐的河流以及雪地垂釣等，都體現(xiàn)了人與自然的和諧相處。

五、結(jié)語

谷歌非常注重自己的信息安全，例如谷歌會將使用過的硬盤全部銷毀。就數(shù)據(jù)中心的創(chuàng)新技術(shù)而言，Hölzle說：“谷歌付出了鮮血、汗水和眼淚，也希望其他公司也能付出自己的艱辛來自己打造，成就更多的發(fā)現(xiàn)和偉大。”

雖然谷歌這次如此大規(guī)模地公開其數(shù)據(jù)中心的秘密，但谷歌所透露的都是通常一兩代之前的技術(shù)。至于谷歌當(dāng)前的技術(shù)究竟發(fā)展到什么水平?我們還不得而知，但谷歌自己說過，一旦他們自己的員工看過了谷歌正在打造的2013年下一代數(shù)據(jù)中心和服務(wù)器集群，那么他們將無比抱怨目前的這些設(shè)計。

即便如此，本次披露的這些數(shù)據(jù)中心也像是一件件精美的藝術(shù)品，使用的技術(shù)也都是業(yè)界非常領(lǐng)先的技術(shù)。我們在拭目以待谷歌更多更新數(shù)據(jù)中心技術(shù)的同時，應(yīng)該從這些資料中學(xué)習(xí)并理會其思想，以同樣孜孜不倦的創(chuàng)新精神去實現(xiàn)構(gòu)建完美的數(shù)據(jù)中心。