看看IT巨頭都是怎么投資數(shù)據(jù)中心的——Facebook
作為社交網(wǎng)絡(luò)巨頭,F(xiàn)acebook在全世界范圍內(nèi)的用戶量已經(jīng)突破十億。這些用戶每天都上傳、存儲大量的圖片、文字等數(shù)據(jù)。同時,再加上Facebook平臺上的各種數(shù)據(jù),就顯得更加龐大了。對于這些數(shù)據(jù)的計算、存儲等的處理就需要大量的計算資源,這就要求Facebook要有大量的服務(wù)器、數(shù)據(jù)中心。據(jù)數(shù)據(jù)顯示,F(xiàn)acebook 在 2009 年冬天大約有3 萬臺服務(wù)器,到 2010 夏天這一數(shù)量增長為 6 萬。
而自創(chuàng)立開始,F(xiàn)acebook就是租借其他服務(wù)供應(yīng)商的基礎(chǔ)設(shè)施,且直到現(xiàn)在,F(xiàn)acebook仍然延續(xù)這一習(xí)慣,Instagram及Prase的業(yè)務(wù)仍然運行在AWS之上,雖然Facebook已經(jīng)擁有了四座獨立的數(shù)據(jù)中心。不得不說,正是得力于亞馬遜的云計算資源的護駕,F(xiàn)acebook的發(fā)展才能非常順利。
這四座數(shù)據(jù)中心分別位于俄勒岡州普林維爾(Prineville),北卡羅來納州(Forest City)和瑞典Lulea以及美國賓夕法尼亞州阿爾圖納(Altoona)。
其中,阿爾圖納的數(shù)據(jù)中心是Facebook今年才宣布建立的數(shù)據(jù)中心,將在2015年啟用。據(jù)了解,該數(shù)據(jù)中心的投資額達到10億美元,并號稱是“全球技術(shù)***進”的數(shù)據(jù)中心,將100%采用風力電腦。數(shù)據(jù)中心位于阿爾圖納附近,分兩階段建成,各5億美元,占地140萬平方英尺。
阿爾圖納市所在的愛荷華州是多個數(shù)據(jù)中心的所在地,已經(jīng)有微軟、谷歌、LightEdge、Enseva等公司在此投資數(shù)據(jù)中心,主要原因在于愛荷華州的光纖資源豐富、水電資源豐富、地價低,自然災(zāi)難風險低,交通便利。
北卡羅來納州的數(shù)據(jù)中心是Facebook于2010年11月宣布建立的,當時Facebook表示在5年內(nèi)給該數(shù)據(jù)中心投資4.5億美元。Facebook在官網(wǎng)上稱,這個位于北卡羅來州納福里斯特城的新數(shù)據(jù)中心的預(yù)期電源使用效率將在1.06到1.08之間。該數(shù)據(jù)中心***采用了Open Compute Project 2.0版本的網(wǎng)絡(luò)服務(wù)器,還***使用英特爾Sandy Bridge處理器的平臺。另外,新工程采用戶外空氣冷卻的設(shè)計方法,這次也是***的現(xiàn)場測試。
北卡羅來納州已經(jīng)吸引了蘋果、Google、美國運通等公司在此地建立數(shù)據(jù)中心,估計除了地理優(yōu)勢因素,稅收上的優(yōu)惠以及低廉的水電費也是因素之一。
俄勒岡州普林維爾的數(shù)據(jù)中心是Facebook于2011年8月宣布建立的。普林維爾的數(shù)據(jù)中心的面積有13萬平米,占地達到80.9萬平米,相當于113個足球場的大小。其工程分為兩個階段完成,***階段已經(jīng)投入2.1億美元。此外,該數(shù)據(jù)中心當時號稱是全球最節(jié)能的數(shù)據(jù)中心,它的數(shù)據(jù)中心 PUE(能耗效率)值達到了令人瞠目結(jié)舌的 1.07,遠低于業(yè)界的平均水平 1.5(我國的平均水平為 2.2-3)。
俄勒岡州普林維爾的優(yōu)勢在于氣候宜人,電力價格低廉,而且政府還有減稅優(yōu)惠政策。
Facebook位于瑞典Lulea的數(shù)據(jù)中心則是Facebook在美國本土之外建立的***座數(shù)據(jù)中心,同時也是***個完全使用Facebook設(shè)計的服務(wù)器的數(shù)據(jù)中心。,并于2013年6月對外界公開。
Facebook發(fā)言人認為,由于Lulea這個地區(qū)氣溫高于30度的時間不超過24小時,因此選擇在這里建造數(shù)據(jù)中心可以有效地減少一大筆散熱方面的支出。此外,Lulea河能為該地區(qū)提供充足的電力支持,F(xiàn)acebook無需為建立數(shù)據(jù)中心而重新設(shè)計電力供應(yīng)系統(tǒng)。
從公開的數(shù)據(jù)來看,該數(shù)據(jù)中心是有史以來***效節(jié)能的數(shù)據(jù)中心。Lulea數(shù)據(jù)中心用于電力和冷卻的能量的比率為1.04:1,而一般的數(shù)據(jù)中心的比率是3:1。也就是說,Lulea數(shù)據(jù)中心要比一般的數(shù)據(jù)中心環(huán)保三倍左右。
Lulea的數(shù)據(jù)中心從服務(wù)器到配電系統(tǒng),幾乎所有技術(shù)都是基于OCP(Open Compute Project,OCP)設(shè)計。這些設(shè)計非常高效,F(xiàn)acebook已經(jīng)將它們公諸于眾,現(xiàn)在所有人都可以使用或者改進這些設(shè)計。
新能源的利用
從上面的資料可以看出,facebook一直都在追求建立更高效更節(jié)能的數(shù)據(jù)中心,除了經(jīng)濟上的考慮之外(數(shù)據(jù)中心是能量消耗大戶),這可能也與之前被綠色和平組織批評有關(guān)系。綠色和平組織曾在2010年抨擊Facebook的能源政策,隨后Facebook就加大了在能源政策方面的投入,并且在綠色數(shù)據(jù)中心建設(shè)方面取得了長足的進步,也贏得了綠色和平組織贊揚了Facebook在能源使用中保持透明度的做法。
前文提到的愛荷華州阿爾圖納市的數(shù)據(jù)中心將100%使用風力電能就是Facebook在綠色能源方面的一個例子。而這也是Facebook第二座完全依賴可再生能源的數(shù)據(jù)中心,***座是瑞典Lulea的數(shù)據(jù)中心。Facebook的目標是到2015年,可再生能源在數(shù)據(jù)中心的使用要占到25%。
瑞典Lulea的數(shù)據(jù)中心內(nèi)部的所有設(shè)備都是通過本地產(chǎn)生的水電能源來供電,這不僅是100%可再生能源,而且供應(yīng)量也非常可靠。Facebook的一份新聞稿表示,F(xiàn)acebook已經(jīng)減少了超過70%的備用發(fā)電機。
除了風能,還有太陽能。俄勒岡州普林維爾的數(shù)據(jù)中心就裝備了不少的太陽能電池板。
俄勒岡州普林維爾的數(shù)據(jù)中心的太陽能電池板
服務(wù)器與數(shù)據(jù)中心方案
2011年4月,F(xiàn)acebook宣布開展一個開放計算項目,計劃將Facebook在開發(fā)服務(wù)器與數(shù)據(jù)中心過程中得出的技術(shù)規(guī)格與設(shè)計對外開放,并于2011年公開了底層服務(wù)器和數(shù)據(jù)中心的具體方案。具體包括服務(wù)器電源供應(yīng)、服務(wù)器機箱、服務(wù)器主板、服務(wù)器機柜、后備電源機柜規(guī)格,以及數(shù)據(jù)中心電力及機械系統(tǒng)規(guī)格的具體規(guī)格。(高效免費的設(shè)備結(jié)構(gòu)設(shè)計開放后,將會對惠普、戴爾、思科等產(chǎn)生威脅。)
摘抄如下:
服務(wù)器方面:
1、服務(wù)器使用1.2mm鍍鋅、防腐蝕鋼板,無前面板;
2、部分部件采用卡和連接:主板利用多個安裝孔,卡入機箱;硬盤使用咬合導(dǎo)軌,安裝在驅(qū)動器托架上。一個單元只有一個接地螺絲。這使得Facebook可以在3分鐘內(nèi)搭建整臺服務(wù)器;
3、Facebook服務(wù)器高1.5U,比一般服務(wù)器高50%,空間更大,散熱也更快;
4、具有局域網(wǎng)重啟功能,可以讓系統(tǒng)管理員發(fā)送特定網(wǎng)絡(luò)指令,立即重啟服務(wù)器;
5、主板揚聲器被替換為LED指示燈,以節(jié)省電源,服務(wù)器還提健康狀態(tài)指示燈;
6、同時支持交流和直流電源,使得服務(wù)器可以在停電時轉(zhuǎn)為直流后備電池供電;
7、使用Xeon 5500系列和5600系列兩種處理器,搭載英特爾主板,內(nèi)置英特爾5500 I/O Hub芯片,內(nèi)存***可擴展至144GB。AMD的粉絲可以選擇兩個Magny-Cours 12核心或8核心處理器,搭配AMD SR5650芯片組,內(nèi)存***可擴展至192GB。(這是2011年公布時候的數(shù)據(jù)。)
數(shù)據(jù)中心方面:
Facebook將這些方案都運用到了位于俄勒岡州的普林維爾(Prineville)數(shù)據(jù)中心上。用了兩年的時間,從服務(wù)器到電池組再到后備服務(wù)器,F(xiàn)acebook致力于讓設(shè)備變得更加綠色、環(huán)保。比如,F(xiàn)acebook利用集成設(shè)計,可以有效的降低能耗。房間內(nèi)的風扇和服務(wù)器風扇成對連接在一起。動作感應(yīng)LED照明也可用于內(nèi)部照明。
整個數(shù)據(jù)中心的能耗按PUE(Power Usage Effectiveness,電能使用效率)衡量是1.07,大大低于美國環(huán)保署規(guī)定的***方法比值1.5。
Facebook的設(shè)計方案可以讓設(shè)備在更為潮濕的環(huán)境中運行。普林維爾數(shù)據(jù)中心的設(shè)備運行環(huán)境為30攝氏度、65%的相對濕度。這樣可以使Facebook依賴蒸發(fā)冷卻來降溫,而不需使用空調(diào)。其他建設(shè)工程方面的創(chuàng)新還包括,普林維爾數(shù)據(jù)中心使用277伏特的配電系統(tǒng),而一般數(shù)據(jù)中心使用的是208伏特的配電系統(tǒng)。Facebook的做法可以減少一個主變壓器,減少轉(zhuǎn)換時的能耗。在一般的數(shù)據(jù)中心中,電力轉(zhuǎn)換要損失22-25%的能量。在普林維爾只損失7%。
當辦公室太冷的時候,F(xiàn)acebook還利用來自服務(wù)器的熱量加熱空氣。夏天,數(shù)據(jù)中心會向進入室內(nèi)的暖空氣噴水降溫。同時Facebook數(shù)據(jù)中心的機箱和服務(wù)器設(shè)計也非常適合于集裝箱裝運,這樣可以減少運輸中的浪費。Facebook的方案盡可能挖掘這些服務(wù)器的潛能,使得它不需要在進行基礎(chǔ)架構(gòu)的建設(shè)。