數(shù)據(jù)中心制冷選擇 風(fēng)冷液冷誰更佳？
ILM公司（Industrial Light & Magic）最近用目前最熱門的IBM BladeCenter服務(wù)器上替換其舊服務(wù)器。ILM公司的這一舉措將把數(shù)據(jù)中心單個(gè)機(jī)柜的電能消耗平均減少140千瓦，節(jié)省幅度達(dá)到84%。不過，新機(jī)柜中的熱密度反而更好高了：現(xiàn)在每個(gè)機(jī)柜用電28千瓦，而之前為24千瓦。這些電能最終都要轉(zhuǎn)換成熱能，而這些熱能會透過機(jī)柜散發(fā)到數(shù)據(jù)中心，最后由數(shù)據(jù)中心的空調(diào)系統(tǒng)帶走。
新機(jī)柜配有84臺刀片服務(wù)器，每個(gè)刀片服務(wù)器有2個(gè)四核處理器和32GB的內(nèi)存。這些服務(wù)器功能非常強(qiáng)大，與3年前采購的BladeCenter相比，一臺服務(wù)器的處理能力相當(dāng)于過去的7臺BladeCenter。這家公司主要進(jìn)行電腦特技設(shè)計(jì)，這些機(jī)柜組成渲染農(nóng)場用以對圖像進(jìn)行處理。一個(gè)新的42U機(jī)柜產(chǎn)生的熱量相當(dāng)9個(gè)家用烤箱以最高溫度工作。為了制冷，ILM數(shù)據(jù)中心的空調(diào)系統(tǒng)幾乎是滿負(fù)荷工作。
惠普副總裁兼關(guān)鍵基礎(chǔ)設(shè)施服務(wù)部門總經(jīng)理Peter Gross介紹說，近年來新建的大多數(shù)數(shù)據(jù)中心其設(shè)計(jì)制冷能力大都為每平方英尺100-200瓦，每個(gè)機(jī)柜的制冷能力為4千瓦。而一個(gè)數(shù)據(jù)中心的設(shè)計(jì)制冷能力達(dá)到200瓦時(shí)才能支持平均5千瓦的機(jī)柜熱密度。如果對氣流流向進(jìn)行精心設(shè)計(jì)和專門優(yōu)化，機(jī)房的空氣調(diào)節(jié)系統(tǒng)有可能保證用電量達(dá)25千瓦的機(jī)柜。而現(xiàn)在ILM公司的數(shù)據(jù)中心每個(gè)機(jī)柜用電達(dá)到28千瓦，這已經(jīng)是現(xiàn)有的機(jī)房空調(diào)系統(tǒng)最高極限了，從事數(shù)據(jù)中心能效研究的IBM 研究員兼首席工程師Roger Schmidt說，“ILM是在挑戰(zhàn)30千瓦的極限，這將注定是一個(gè)相當(dāng)艱苦的工作。”
這是可持續(xù)發(fā)展？
現(xiàn)在的問題是接下來會發(fā)生什么？“未來用電量還要增加怎么辦？完全可能因?yàn)橹评鋯栴}無法解決，導(dǎo)致我們不能在往數(shù)據(jù)中心中添加任何設(shè)備。今天，這個(gè)問題已經(jīng)開始顯現(xiàn)出來了。”Schmidt說。
Schmidt認(rèn)為超過30千瓦的高功率密度計(jì)算以后將不得不依賴于水冷。不過其他專家表示，數(shù)據(jù)中心的相關(guān)設(shè)備制造商也有可能通過通力合作降低服務(wù)器的部署成本，使得服務(wù)器不用都擠在機(jī)柜中，而是分開擺放，這樣機(jī)柜中的熱密度就不至于越來越高。
ILM信息技術(shù)總監(jiān)凱文-克拉克對采用新的刀片服務(wù)器后獲得的計(jì)算能力的提升和節(jié)電效果很滿意，他說這也符合當(dāng)今節(jié)能環(huán)保的大趨勢。根據(jù)IDC的研究，服務(wù)器的平均價(jià)格自2004年以來已經(jīng)下降了18％，而CPU成本下降了70％，達(dá)到715美元。但克拉克無法知道，這種計(jì)算密度成倍增長持續(xù)下去的話，自己的機(jī)房到底還能維持多久。“就現(xiàn)有的機(jī)房設(shè)備而言，如果計(jì)算密度加倍的話，從制冷的角度來說，就是難以滿足需求的。”他說。
他并不是唯一關(guān)注制冷問題的人。40多年來，計(jì)算機(jī)行業(yè)按照摩爾定律規(guī)定的進(jìn)程快速發(fā)展，每兩年計(jì)算密度增加一倍。然而，現(xiàn)在一些工程師和數(shù)據(jù)中心的設(shè)計(jì)師們開始懷疑這條道路的可持續(xù)性，這條路似乎已走到了盡頭。現(xiàn)在面臨的困難不只是芯片制造商是否能夠克服制造更密集晶體管所面臨的技術(shù)挑戰(zhàn)，還在于現(xiàn)代數(shù)據(jù)中心要運(yùn)行和管理如此多的高計(jì)算密度的機(jī)柜是否經(jīng)濟(jì)。
現(xiàn)代數(shù)據(jù)中心機(jī)柜中安裝的IT設(shè)備越來越多，這不僅意味著機(jī)柜用電量大大增加，還意味著后面的所有輔助設(shè)施的容量和用電量也相應(yīng)增加，包括冷卻系統(tǒng)、配電設(shè)備、UPS和發(fā)電機(jī)等都會按比例增加。這值得數(shù)據(jù)中心經(jīng)理們注意。
IDC公司在2009年曾調(diào)查了1000家數(shù)據(jù)中心的負(fù)責(zé)人，接受調(diào)查者中21％的人將電力和制冷列為數(shù)據(jù)中心當(dāng)前面臨的最大挑戰(zhàn)。將近一半（43％）的人說這是它們運(yùn)營成本增加的最主要原因，1/3的人說他們經(jīng)歷過因制冷問題或者電力問題導(dǎo)致的服務(wù)器宕機(jī)。
Christian Belady是微軟全球基礎(chǔ)服務(wù)集團(tuán)經(jīng)驗(yàn)最豐富的基礎(chǔ)設(shè)施架構(gòu)師，負(fù)責(zé)設(shè)計(jì)和管理著微軟最近在美國華盛頓州昆西市建立的數(shù)據(jù)中心。他說，采用高架地板形式的數(shù)據(jù)中心單位建設(shè)成本太高，微軟在昆西的數(shù)據(jù)中心基礎(chǔ)設(shè)施的建設(shè)成本占項(xiàng)目總成本的82％。
“我們必須改變過去的那種錯(cuò)誤觀點(diǎn)，就是計(jì)算密度越高越好。”Belady說，“要知道，你的計(jì)算密度加倍意味著所有的輔助設(shè)施、制冷系統(tǒng)容量都要加倍。”
格羅斯說，隨著數(shù)據(jù)中心內(nèi)單位面積上的計(jì)算密度增加，雖然整體機(jī)電成本變化不大，但由于功率密度增加而帶來的運(yùn)營成本卻大大增加了。
IBM的施密特表示，對于新建的數(shù)據(jù)中心而言，最大的資金投入不是建筑本身，而是保證公司電力供應(yīng)的設(shè)備成本以及相應(yīng)的制冷成本。
計(jì)算密度的增加已經(jīng)讓一些大型數(shù)據(jù)中心的建設(shè)項(xiàng)目資金突破了10億美元大關(guān)。 “很多總裁級的人聽說新建數(shù)據(jù)中心要這么高的投入都嚇了一跳。”施密特說。
Gartner公司的分析師拉克什庫馬爾說，從電力使用和成本的角度來說，功率密度不可能無休止地增長下去。幸運(yùn)的是，大多數(shù)企業(yè)的數(shù)據(jù)中心機(jī)柜的電力消耗暫時(shí)還沒有達(dá)到像ILM這樣的水平。Gartner的客戶中約有40％其數(shù)據(jù)中心每個(gè)機(jī)柜功率為8-9千瓦，當(dāng)然有些則高達(dá)12至15千瓦，不過，功率呈明顯上升趨勢。
現(xiàn)在，一些企業(yè)數(shù)據(jù)中心和一些對外提供托管服務(wù)的IDC開始對用電情況進(jìn)行監(jiān)測，并把它作為數(shù)據(jù)中心的依據(jù)之一，而它們在以前只是按照租用空間收費(fèi)的，根本就沒有考慮到底用多少電。有些IDC針對大客戶采用根據(jù)用電多少決定收費(fèi)多少，也就是用戶先提出最高要用多少電，IDC再據(jù)此給其分配相應(yīng)的空間。
#p#
求購千瓦
不過，指望客戶不僅知道他們需要租用什么樣的設(shè)備，還要了解安裝了這些設(shè)備的機(jī)柜大約需要用多少電，似乎不太現(xiàn)實(shí)。
“對于某些客戶來說，這是非?，F(xiàn)實(shí)的，”從事服務(wù)器托管服務(wù)的Terremark公司的高級副總裁斯圖爾特說。事實(shí)上，Terremark采用這種方法也是響應(yīng)客戶的需求。 “客戶中有不少人找到我們說，它們最多需要多少電，讓我們?yōu)樗麄儼才趴臻g，”他說。如果客戶不知道什么是它的機(jī)柜要用多少電，Terremark會單獨(dú)給這個(gè)公司配一根總電纜，通過這個(gè)電纜為客戶的機(jī)柜供電。
IBM的施密特認(rèn)為，功率密度還有可能進(jìn)一步增加，但數(shù)據(jù)中心的制冷方案需要改變。
ILM的數(shù)據(jù)中心完成于2005年，設(shè)計(jì)供電能力為每平方英尺200瓦，從機(jī)房來說這個(gè)電力供應(yīng)和制冷能力已經(jīng)足夠了，現(xiàn)在的問題是沒有方法能有效地解決高密度機(jī)柜內(nèi)部的制冷。
ILM公司采用了冷/熱通道的設(shè)計(jì)，同時(shí)管理人員對通往冷通道的格柵板的數(shù)量和位置進(jìn)行了調(diào)整，從而對流經(jīng)機(jī)柜內(nèi)的氣流進(jìn)行了優(yōu)化。即便如此，為了避免機(jī)柜內(nèi)的局部熱點(diǎn)，空調(diào)系統(tǒng)還得保證整個(gè)13500平方英尺的機(jī)房不超過18.5攝氏度?？死酥肋@有些浪費(fèi)，今天的IT設(shè)備設(shè)計(jì)運(yùn)行溫度高達(dá)27攝氏度以上，所以他正在關(guān)注一種稱為冷通道密封的技術(shù)。
已經(jīng)有一些數(shù)據(jù)中心在試驗(yàn)對一些高熱密度地方的冷熱通道進(jìn)行密封，通道兩端設(shè)有大門，為防止熱空氣和冷空氣通過機(jī)柜頂端到天花板之間的空隙進(jìn)行混合，這個(gè)位置也用隔板封上。除了這些辦法之外，有的數(shù)據(jù)中心還讓冷空氣可以直接進(jìn)入機(jī)柜底部，在機(jī)柜內(nèi)與IT設(shè)備進(jìn)行熱交換，然后逐步上升，最后通過機(jī)柜頂部的出口進(jìn)入回風(fēng)道，通過天花板頂部的管道返回，從而創(chuàng)造出一個(gè)閉環(huán)的制冷系統(tǒng)，徹底避免冷、熱氣流的混合。
“冷/熱通道的方法其實(shí)還是傳統(tǒng)的方法，而不是最優(yōu)的。”埃森哲數(shù)據(jù)中心技術(shù)經(jīng)理和運(yùn)營經(jīng)理Rocky Bonecutter說：“最新的趨勢是鋪設(shè)圍欄，對冷熱氣流進(jìn)行分流。”
據(jù)惠普的Gross估計(jì)，如果數(shù)據(jù)中心利用這種技術(shù)，普通的機(jī)房空調(diào)系統(tǒng)可以最高滿足每個(gè)機(jī)柜25千瓦左右的制冷需求。“當(dāng)然，這需要仔細(xì)地對冷熱氣流分進(jìn)行隔離、防止串流，還要對氣流路線進(jìn)行優(yōu)化。這些工作必須固定下來，成為一種例行工作。”他說。
雖然按照現(xiàn)在的標(biāo)準(zhǔn)來重新設(shè)計(jì)數(shù)據(jù)中心，能降低能耗和解決制冷的難題，然而，單個(gè)機(jī)柜的功率卻是越來越大，最新安裝刀片服務(wù)器的機(jī)柜每個(gè)功率已經(jīng)超過25千瓦。在過去的5年里，IT一直在不斷對機(jī)柜、高架地板等進(jìn)行重新設(shè)計(jì)以及對氣流進(jìn)行優(yōu)化，最顯而易見的成果是提高了電能的利用率。但是，如果機(jī)柜內(nèi)的熱密度繼續(xù)上升，建設(shè)密封的圍欄將確保機(jī)房制冷的最后一招了。
#p#
從風(fēng)冷換成液冷？
為了解決高熱密度機(jī)柜中的熱點(diǎn)問題，一些數(shù)據(jù)中心已經(jīng)開始轉(zhuǎn)向到液體冷卻了。最常用的液體冷卻技術(shù)稱為緊耦合制冷，需要用管道將冷凍液（通常為水或乙二醇）輸送到高架地板之上或者直接把冷凍液輸送到機(jī)柜內(nèi)部，然后通過風(fēng)和冷凍液之間的熱交換達(dá)到給機(jī)柜內(nèi)部降溫的目的。庫瑪估計(jì)，Gartner 20％的企業(yè)在使用某種類型的液體制冷，至少在一些高密度的機(jī)柜里已經(jīng)用到了液體制冷。
IBM的施密特說，那些采用機(jī)房整體制冷的數(shù)據(jù)中心，尤其是那些為了應(yīng)對高熱密度不得不采用更大的柜式空調(diào)的數(shù)據(jù)中心，采用液體制冷可以節(jié)省一筆不小的電費(fèi)施。
但微軟的Belady認(rèn)為液體制冷僅限于一個(gè)相對較窄的領(lǐng)域：高性能計(jì)算。“如果你想把制冷的液體送到芯片，成本馬上就會上升。”他爭辯說，“遲早有人會問這樣一個(gè)問題：這種方法成本那么高，為什么我還要用呢？”
Belady認(rèn)為遏制用電密度不斷上漲勢頭的最好方法是改變數(shù)據(jù)中心的收費(fèi)方式。微軟如今已經(jīng)改變了它的成本分?jǐn)傓k法，不再是僅僅根據(jù)用戶的占地面積和機(jī)柜的利用率來收費(fèi)，而是開始把用戶的用電量考慮進(jìn)來。而采用這種收費(fèi)辦法之后，局面馬上得到了改觀，每個(gè)機(jī)柜的用電量開始下降。“如果成本按照用電量來考核的話，機(jī)柜內(nèi)的熱密度自然會下降。”他說。
自從微軟開始按照用電量收費(fèi)，其用戶的關(guān)注重點(diǎn)從在盡可能小的空間中獲得最強(qiáng)大的處理能力轉(zhuǎn)變?yōu)橛米钚〉碾娏ο墨@得最大的處理能力。這并不是說收費(fèi)策略的這種改變就一定不會導(dǎo)致出現(xiàn)高熱密度，最終還要取決于所提出的解決方案總體能源效率。 “但是，如果你是按照占用空間的多少收費(fèi)，100％是引向高熱密度的。” Belady說。
今天，很多IT設(shè)備供應(yīng)商的產(chǎn)品是按最高熱密度設(shè)計(jì)的，用戶往往也愿意為了節(jié)省機(jī)房地面空間而購買更貴的適應(yīng)高熱密度環(huán)境的服務(wù)器等設(shè)備。因?yàn)楹芏鄼C(jī)房的收費(fèi)是按照占用的機(jī)房空間來計(jì)算的。殊不知，更高的用電量會帶來電力分配設(shè)備和制冷用電量相應(yīng)增加，由此導(dǎo)致電能最終利用率會下降。實(shí)際上，營運(yùn)成本中80％是隨著用電量的增加而會增加的，比如機(jī)電基礎(chǔ)設(shè)施必須為機(jī)柜輸送所需的電力規(guī)模，同時(shí)為這些機(jī)柜內(nèi)的設(shè)備制冷。
Belady以前曾是惠普公司的一名非常杰出的工程師，從事服務(wù)器的設(shè)計(jì)工作。他說，IT設(shè)備的設(shè)計(jì)就應(yīng)該考慮到讓設(shè)備能在較高的溫度下可靠工作。比如用電設(shè)備要被設(shè)計(jì)為最高在27攝氏度以上的溫度下工作。這個(gè)設(shè)計(jì)溫度從2004年開始一直在不斷上升設(shè)計(jì)師。這一年ASHRAE（美國社會、制冷及空調(diào)工程師協(xié)會）規(guī)定設(shè)計(jì)溫度為72華氏度（22.2攝氏度）。
不過，Belady認(rèn)為數(shù)據(jù)中心設(shè)備在27度以上的溫度運(yùn)行，可能帶來更大的用電效率。“一旦機(jī)房允許在較高的溫度下運(yùn)行，機(jī)會之門就被打開了。比如，你可以利用室外的空氣來為機(jī)房降溫，這樣你就無需安裝這么多的冷卻設(shè)備，不過，機(jī)柜的熱密度不能太高。”他說，有些處于氣溫比較低的地方的數(shù)據(jù)中心已經(jīng)在嘗試在冬天關(guān)閉冷卻機(jī)組，而直接使用室外的冷空氣來免費(fèi)給機(jī)房降溫。
如果IT設(shè)備可以在35攝氏度下正常工作，很多數(shù)據(jù)中心幾乎可以全年不用空氣冷卻器。Belady接著說：“而如果IT設(shè)備在50攝氏度下也可以正常工作，那世界上所有的數(shù)據(jù)中心都不再需要空調(diào)了，這將完全數(shù)據(jù)中心的運(yùn)營方式。不幸的是，至少現(xiàn)在看來是不太可能的。”
Belady希望IT設(shè)備能更結(jié)實(shí)一些，但他也認(rèn)為，服務(wù)器實(shí)際上比大多數(shù)數(shù)據(jù)中心的管理者所設(shè)想的要結(jié)實(shí)一些。他認(rèn)為整個(gè)行業(yè)需要重新思考如何運(yùn)營和管理分布式計(jì)算系統(tǒng)。
Belady說，理想的策略是要開發(fā)出一種系統(tǒng)，這個(gè)系統(tǒng)中每個(gè)機(jī)柜是針對某個(gè)特定的功率密度和工作負(fù)載進(jìn)行專門優(yōu)化的，這可以確保每個(gè)機(jī)柜始終性能最佳、最節(jié)能。這樣，不管是供電還是制冷資源都將得到最有效的利用，既沒有過度利用也不浪費(fèi)。“如果你的基礎(chǔ)設(shè)施沒有得到充分使用，從可持續(xù)性的角度而言，與多度利用相比這是一個(gè)更大的問題。”他說。
#p#
未來會怎么樣？
Belady認(rèn)為，未來數(shù)據(jù)中心可能向兩個(gè)方向演進(jìn)。高性能計(jì)算將采用液體制冷，而其他的企業(yè)數(shù)據(jù)中心和基于互聯(lián)網(wǎng)數(shù)據(jù)中心（如微軟的數(shù)據(jù)中心）仍然會繼續(xù)沿用風(fēng)冷的制冷方式。不過，這些數(shù)據(jù)中心可能會遷往低價(jià)更便宜、電力成本更低的地方，這樣才能繼續(xù)擴(kuò)大規(guī)模。
戴爾企業(yè)產(chǎn)品部CTO Paul Prince認(rèn)為，大多數(shù)數(shù)據(jù)中心不會很快遇到高功率密度的問題。每個(gè)機(jī)架的平均功率密度仍然在機(jī)房空調(diào)系統(tǒng)可以承受的范圍內(nèi)。他說，冷熱通道的系統(tǒng)和設(shè)計(jì)圍欄進(jìn)行冷熱氣流隔離等方法人為地在機(jī)房中開辟出了“一個(gè)冷卻區(qū)”，在一定程度上解決數(shù)據(jù)中心局部熱點(diǎn)問題。“數(shù)據(jù)中心的功率密度和熱密度肯定將繼續(xù)上升。但是，這種變化一定是漸進(jìn)的。”
在ILM公司，克拉克注意到采用液體作為制冷劑的緊耦合制冷方式是一個(gè)大趨勢，不過，他和大多數(shù)同行一樣，對在數(shù)據(jù)中心用液體作為冷媒還有些不放心。但他認(rèn)為，高性能的基礎(chǔ)設(shè)施必須采用這些新的辦法。
“雖然暫時(shí)有些難以接受，但是既然是個(gè)大趨勢，我們會盡快改變我們的觀念，只要這些技術(shù)能真正幫助我們解決問題。”克拉克說。
【編輯推薦】
