綜合布線數(shù)據(jù)中心統(tǒng)籌設(shè)計(jì)技術(shù)
面對未來的需求，數(shù)據(jù)中心的設(shè)計(jì)變得越來越困難。作為一種概念，統(tǒng)籌設(shè)計(jì)希望通過對每一位客戶的需求、可用性要求、籌資能力以及各種商業(yè)模型的評估，來滿足數(shù)據(jù)中心的需求。
在最近進(jìn)行的一次調(diào)查中，要求被調(diào)查者說出所在公司對正常運(yùn)行時(shí)間的***要求。針對這一問題，大約25%的人回答,他們***的要求是99.999%!由此不難看出，為什么現(xiàn)在大部分企業(yè)數(shù)據(jù)中心都將系統(tǒng)可用性看成是最主要的設(shè)計(jì)因素。與此同時(shí)，從業(yè)者和設(shè)計(jì)人員卻很難確定針對每個(gè)公司的“理想設(shè)計(jì)”。之所以備感棘手，其中涉及到諸多原因。首要原因當(dāng)屬數(shù)據(jù)中心較長的使用壽命。一個(gè)數(shù)據(jù)中心有可能維持10年甚至更長，設(shè)計(jì)人員通常不會(huì)介入如此長的時(shí)間，來獲得確定如何改進(jìn)設(shè)計(jì)所需的反饋。
與此同時(shí)，諸如微小的設(shè)計(jì)缺陷加上低劣的操作程序等各類因素也會(huì)引發(fā)很多問題。最終，也許正是由于人們對這方面了解不夠致使改進(jìn)設(shè)計(jì)工作遇到困難。我們只有邊做邊學(xué)，將從修建上一個(gè)數(shù)據(jù)中心過程中積累的經(jīng)驗(yàn)，應(yīng)用到新的數(shù)據(jù)中心上，并加以改進(jìn)。
縱觀現(xiàn)有眾多高可用性數(shù)據(jù)中心，每個(gè)數(shù)據(jù)中心的設(shè)計(jì)和運(yùn)營模式差異巨大，但在很多方面卻又存在著相似點(diǎn)。通過整合各類數(shù)據(jù)中心的數(shù)據(jù)、反饋和目標(biāo)，我們希望促進(jìn)并協(xié)助設(shè)計(jì)或改進(jìn)數(shù)據(jù)中心的過程。
本文要討論的主要問題是：
◆ 電源設(shè)計(jì)容量的供求不平衡;
◆ 預(yù)測未來的電源需求;
◆ 迅速改變數(shù)據(jù)中心的功率密度;
◆ 建立能夠有效分配電源的基礎(chǔ)設(shè)施;
◆ 增加新數(shù)據(jù)中心的熱限制;
◆ 創(chuàng)建和優(yōu)化電源冗余選件;
◆ 了解運(yùn)營和培訓(xùn)的影響;
◆ 解釋實(shí)現(xiàn)“99.999%”的可行性;
◆ 系統(tǒng)的恢復(fù)是如何影響可用性的。
UPS供電設(shè)計(jì)容量與實(shí)際需求無法平衡
在設(shè)計(jì)和建設(shè)數(shù)據(jù)中心時(shí)，人們將預(yù)測數(shù)據(jù)中心規(guī)?？闯墒且粋€(gè)基本的程序。但是，如果預(yù)測的數(shù)據(jù)中心設(shè)計(jì)壽命是10~15年，那么這項(xiàng)任務(wù)就變得異常困難。在這種類型的使用壽命期內(nèi)，房間內(nèi)的設(shè)備可能被新一代的設(shè)備“刷新”或更換四五次。IT設(shè)備的快速更新使得最基本的未來容量預(yù)測成為泡影。
例如，摩爾定律指出集成電路的集成度每18個(gè)月翻一番。對于每一代產(chǎn)品來說，附加的晶體管需要成比例地增加電源容量。相應(yīng)地，微處理器的熱量輸出也顯著上升。Intel***的Pentium 4芯片大約產(chǎn)生100W的熱量。相比486，后者發(fā)熱量不足10W。芯片密度的增加以同樣的比率增大了熱量的產(chǎn)生。由此聯(lián)想到數(shù)據(jù)中心的設(shè)計(jì)，我們所看到的是，功率密度的要求在過去的幾年中迅速膨脹。不久前，每平方米50W還是一個(gè)比較典型的數(shù)值，但是目前的大部分設(shè)計(jì)人員則將這一數(shù)值增大到每平方米150~200W甚至更多。僅僅在最近幾年中，系統(tǒng)基礎(chǔ)結(jié)構(gòu)就實(shí)現(xiàn)了驚人的擴(kuò)展，以應(yīng)對數(shù)據(jù)中心的電源容量和冷卻不斷變化的要求。
預(yù)測未來電源需要這一極富挑戰(zhàn)性的任務(wù)引發(fā)了最嚴(yán)重的數(shù)據(jù)中心問題之一，即UPS設(shè)計(jì)容量供求的不平衡。這一問題的出現(xiàn)不僅影響了數(shù)據(jù)中心的效率、利用率和支持能力，而且還妨礙了資本的***使用。例如，一個(gè)大型數(shù)據(jù)中心建成后，經(jīng)常需要2~4年才能達(dá)到或接近設(shè)計(jì)能力。因此，在前幾年的運(yùn)營中對電源容量的需求很少。而這時(shí)的用戶經(jīng)常會(huì)斥資數(shù)百萬美元建設(shè)能夠達(dá)到全部設(shè)計(jì)容量的數(shù)據(jù)中心，包括購買數(shù)兆瓦的冗余電源系統(tǒng)來支持?jǐn)?shù)據(jù)中心。系統(tǒng)在以最小限度的低容量運(yùn)行幾年后，才能使用全部容量。在這種情況下，大量的資金用于最初的容量建設(shè)，以滿足多年以后才會(huì)出現(xiàn)的需要。具有諷刺意味的是，在使用全部電源容量的同時(shí)，數(shù)據(jù)中心仍有很大的占地面積可供使用。出現(xiàn)這種情況是因?yàn)樵O(shè)備的功率密度在兩年內(nèi)不斷增加，電源容量已被全部使用，但占地面積卻十分充足。瞬息萬變的設(shè)備技術(shù)使這種情況變得更糟，通常數(shù)據(jù)中心每四年就需要一次大修。除了大修的費(fèi)用，數(shù)據(jù)中心的宕機(jī)風(fēng)險(xiǎn)也在實(shí)施過程中大幅度增加。
圖1 大型互聯(lián)網(wǎng)數(shù)據(jù)中心的利用率典型曲線
這對于以出租數(shù)據(jù)中心為主要收入來源的設(shè)備托管和互聯(lián)網(wǎng)服務(wù)商來說尤其危險(xiǎn)。這些公司在正式運(yùn)營以前就要支付整個(gè)設(shè)施的費(fèi)用，但是與此成本對應(yīng)的收入經(jīng)常是在多年以后才會(huì)收到。對于這類資本密集型行業(yè)來說，在獲得收入之前承擔(dān)巨大的成本負(fù)荷是極其危險(xiǎn)的(如圖1所示)。應(yīng)注意的是，利用率曲線可能有很大的變化，而且兩年通常是一個(gè)非常樂觀的數(shù)字。從圖1中可以看出，供求平衡點(diǎn)幾乎永遠(yuǎn)也不存在，這樣就會(huì)導(dǎo)致巨大的成本，無法實(shí)現(xiàn)***的利用率。
圖2 可擴(kuò)展系統(tǒng)中電源供求的關(guān)系曲線
圖2所示為具有更高可擴(kuò)展性的設(shè)計(jì)方案電源供求關(guān)系。
在圖2中，系統(tǒng)的設(shè)計(jì)允許容量升級。供給始終大于需求。但是這個(gè)特別的階段性設(shè)計(jì)方法也有局限性。由于基礎(chǔ)設(shè)施的變更會(huì)給數(shù)據(jù)中心運(yùn)營帶來的風(fēng)險(xiǎn)，分四個(gè)階段建設(shè)非常罕見。實(shí)際上，在完成數(shù)據(jù)中心最初的建設(shè)之后，通常需要在一兩個(gè)階段內(nèi)就要完成整個(gè)工程。
為了改善電源設(shè)計(jì)容量與實(shí)際需要容量間的不平衡，首先預(yù)測未來的需要是很重要的。盡管困難很大，結(jié)果也總是不盡如人意，但對于長期的成功卻至關(guān)重要。其次，設(shè)計(jì)過程中需要融合以前設(shè)計(jì)缺少的靈活性和可擴(kuò)展性。第三，設(shè)計(jì)數(shù)據(jù)中心須注意的另一個(gè)方面是實(shí)現(xiàn)解決方案的定制化，使其更加標(biāo)準(zhǔn)。這不僅可以降低設(shè)計(jì)費(fèi)用，而且可以加速項(xiàng)目的實(shí)施。#p#
局部熱量增大將改變制冷系統(tǒng)設(shè)計(jì)觀念
另一個(gè)與不斷增長的功率密度相關(guān)的重要問題是數(shù)據(jù)中心環(huán)境中增長的熱量。在數(shù)據(jù)中心，所有電力實(shí)際上都轉(zhuǎn)化為熱量，之后熱量又被排放回運(yùn)行環(huán)境中。
多數(shù)數(shù)據(jù)中心機(jī)房制冷系統(tǒng)都存在各種基本的設(shè)計(jì)和配置缺陷，這可能會(huì)導(dǎo)致無法獲得既定的冷卻性能，同時(shí)阻礙冷空氣的流通。這些問題通常不會(huì)被發(fā)現(xiàn)，因?yàn)橛?jì)算機(jī)機(jī)房運(yùn)行的功率密度通常遠(yuǎn)低于設(shè)計(jì)目標(biāo)。然而，隨著IT設(shè)備功率密度的增加，使得數(shù)據(jù)中心機(jī)架微環(huán)境逐漸接近其設(shè)計(jì)極限，進(jìn)而暴露出了無法提供有效冷卻性能的問題。
圖3 典型數(shù)據(jù)中心功率消耗分布
低效的冷卻性能除可能降低系統(tǒng)可用性外，還可能導(dǎo)致成本大幅增加。設(shè)計(jì)的缺陷可能將冷卻系統(tǒng)的效率降低20%或更多。圖3所示為典型數(shù)據(jù)中心功率消耗分布，冷卻系統(tǒng)消耗的功率接近整個(gè)IT負(fù)載消耗的功率。冷卻效率降低20%，便可能導(dǎo)致整個(gè)功率消耗增加8%。
要對數(shù)據(jù)中心的冷卻系統(tǒng)進(jìn)一步優(yōu)化，不僅要考慮冷卻設(shè)備自身的設(shè)計(jì)和規(guī)范問題，還要注意整個(gè)冷卻系統(tǒng)為設(shè)備提供冷空氣的過程。
事實(shí)上，不斷增加的散熱需求對于目前的數(shù)據(jù)中心來說無異于又多了一個(gè)負(fù)擔(dān)。當(dāng)環(huán)境溫度超過一定限度時(shí)會(huì)導(dǎo)致系統(tǒng)發(fā)生故障，而系統(tǒng)故障最終會(huì)導(dǎo)致意外的宕機(jī)。盡管現(xiàn)在的高架地板上通?？梢苑胖眯碌目諝馓幚砥?，但是高架地板的高度對額外的空氣流動(dòng)不利。尤其是電源和數(shù)據(jù)電纜數(shù)量的增加以及更大的冷卻水管可能會(huì)妨礙地板下空氣的適當(dāng)流動(dòng)，最終導(dǎo)致缺少足夠的靜壓來冷卻高密度的機(jī)架設(shè)備。解決問題的一個(gè)辦法是在相應(yīng)的設(shè)備前增加額外的出風(fēng)口。這通?？梢栽黾釉擖c(diǎn)上的制冷量，但同時(shí)也會(huì)影響其他區(qū)域的靜壓。
另一個(gè)類似的方法是增加空氣處理器的功率。如果能夠用更大的風(fēng)扇吹出更多的空氣，出風(fēng)口就會(huì)得到所需的靜壓和冷卻。但是在某些的情況下，結(jié)果恰好相反。功率大的馬達(dá)產(chǎn)生的流速快的氣流可能會(huì)在鄰近的出風(fēng)口處產(chǎn)生文德里效應(yīng)。文德里效應(yīng)是一個(gè)基本的空氣動(dòng)力學(xué)定律。根據(jù)此定律，當(dāng)流體以相對較高的速度通過一個(gè)表面時(shí)，對表面的壓力就會(huì)降低。
文德里效應(yīng)會(huì)導(dǎo)致某些部位致冷效果變差，使設(shè)備運(yùn)行變得不安全。過去，即便數(shù)據(jù)中心失去致冷功能1個(gè)小時(shí)甚至更長時(shí)間，也能保持安全運(yùn)行。但是如今，高密度數(shù)據(jù)中心產(chǎn)生的巨大熱量意味著如果致冷暫停幾分鐘，溫度就會(huì)上升，從而威脅設(shè)備的運(yùn)行。
快速散熱的要求不僅影響系統(tǒng)設(shè)計(jì)，而且會(huì)影響致冷設(shè)備的維護(hù)。過去，在更換過濾器或維護(hù)空氣處理器時(shí)，出現(xiàn)短時(shí)間斷電不會(huì)有太大影響，但現(xiàn)在所帶來的危險(xiǎn)已不可同日而語了。
圖4 熱通道—冷通道方法
因此，更高級別的空氣處理器冗余配置變得越來越普遍。附加的冗余配置使維護(hù)工作和設(shè)備故障不至于威脅到整個(gè)系統(tǒng)。這方面，一些基本的方法已經(jīng)取得了較好的效果，例如“熱通道—冷通道方法”。該方法是一種機(jī)柜布局方式，有助于***限度地增加設(shè)備機(jī)柜入口處的冷氣量。如圖4所示。
使用這種方法，機(jī)柜的前端彼此相對，并在相應(yīng)的通道中裝有出風(fēng)口。這樣就形成了“冷通道”，有助于設(shè)備入口接受冷卻空氣。在后通道上，每個(gè)機(jī)柜的背面彼此相對，熱空氣排進(jìn)該通道中就會(huì)上升并產(chǎn)生更強(qiáng)的對流循環(huán)。
致冷問題還表現(xiàn)在一些采用電信設(shè)計(jì)規(guī)范的數(shù)據(jù)中心。這些數(shù)據(jù)中心拆除了高架地板，在頂部使用大流量空氣處理器實(shí)現(xiàn)冷卻。但實(shí)際上，采用這種做法冷卻的是整個(gè)房間，而不是機(jī)柜。同時(shí)該方式還可能存在諸如冷卻水泄漏和冷熱空氣混合的問題。#p#
關(guān)于系統(tǒng)可靠性和可用性的討論
就數(shù)據(jù)中心的統(tǒng)籌設(shè)計(jì)而言，必須討論的另一個(gè)重要問題是系統(tǒng)的可用性和可靠性。很多客戶、設(shè)計(jì)人員和設(shè)備提供商在談到可用性時(shí)很少采用量化的概念，也很少了解實(shí)現(xiàn)這些目標(biāo)須采取的措施。例如當(dāng)前業(yè)界使用非常頻繁的“99.999%”?！?個(gè)9”相當(dāng)于每年5分鐘的宕機(jī)時(shí)間。目標(biāo)固然理想，但是要在很長時(shí)間內(nèi)保持這一標(biāo)準(zhǔn)就必須滿足一些實(shí)際要求，而這些要求卻常常得不到設(shè)計(jì)者足夠的重視。
對可用性的誤解
一個(gè)常見的誤解是可用性是在限定的時(shí)間間隔內(nèi)測量出來的數(shù)據(jù)，而不是一個(gè)連續(xù)測量值。例如，如果數(shù)據(jù)中心一年未發(fā)生宕機(jī)，但在隨后的1個(gè)月發(fā)生了1小時(shí)的斷電。在這種情況下，如果說數(shù)據(jù)中心在除了該月之外的所有月份都達(dá)到了“5個(gè)9”的可用性，那么從技術(shù)角度來講這是不準(zhǔn)確的。實(shí)際上，1小時(shí)的斷電會(huì)使數(shù)據(jù)中心的可用性在12年內(nèi)達(dá)不到“5個(gè)9”的目標(biāo)，其原因如圖5所示。
圖5 1小時(shí)斷電對可用性的影響
可用性是在系統(tǒng)運(yùn)行壽命期內(nèi)的連續(xù)測量值，它是用總的正常運(yùn)行時(shí)間除以總的運(yùn)行時(shí)間得出的。通過調(diào)整時(shí)間框架，尤其是縮短所計(jì)算的時(shí)間，系統(tǒng)可用性目標(biāo)的實(shí)現(xiàn)變得相對容易一些。每個(gè)月簽定的服務(wù)級別協(xié)議就是其中一個(gè)常見的實(shí)例。將可用性時(shí)間劃分為1個(gè)月的時(shí)間間隔可以達(dá)到高級別的可用性目標(biāo)，但是相對于真正的系統(tǒng)可用性而言則沒有太大的意義。
在確定可用性目標(biāo)時(shí)，人們很少為確定數(shù)據(jù)中心實(shí)際可能達(dá)到的潛在可用性目標(biāo)而進(jìn)行認(rèn)真的分析。部分系統(tǒng)每年可能發(fā)生幾十次一兩秒鐘的斷電，1 分鐘以下的中等程度的斷電事故在一年內(nèi)可能出現(xiàn)5~6次，1小時(shí)或更長時(shí)間的斷電可能一兩年才會(huì)出現(xiàn)1次。
在建立這樣一個(gè)系統(tǒng)模型時(shí)，需要考慮頻度和持續(xù)時(shí)間的事件密度函數(shù)。即使5秒鐘的斷電也可能會(huì)導(dǎo)致發(fā)電機(jī)啟動(dòng)，并影響不間斷電源電池。從根本上來說，對一個(gè)復(fù)雜的電源系統(tǒng)來說，一個(gè)5分鐘的事件與60個(gè)5秒鐘的事件之間有著巨大的區(qū)別。
與此同時(shí)，還要考慮重新啟動(dòng)和恢復(fù)時(shí)間，一次1秒鐘的斷電可能會(huì)使服務(wù)器宕機(jī)20分鐘。因此，考慮可用性時(shí)存在很多的統(tǒng)計(jì)屬性和非線性關(guān)系，使得這種可用性計(jì)算變得非常困難。不考慮這些電源事件因素的模型得到的結(jié)果是沒有意義的，甚至?xí)?dǎo)致錯(cuò)誤的結(jié)論。
圖6 典型的冗余策略
圖7 系統(tǒng)MTTR值與不可用性(1-可用性)的關(guān)系曲線
圖8 系統(tǒng)MTBF值與不可用性的關(guān)系曲線
對冗余系統(tǒng)的正確評估
實(shí)現(xiàn)可用性的下一個(gè)步驟是評估電源系統(tǒng)的冗余和可維護(hù)性策略。常用的冗余形式各異，但常常缺少優(yōu)化的方法。圖8 顯示的就是這樣的實(shí)例。
如圖6所示，UPS系統(tǒng)采用了全面的系統(tǒng)冗余(2N)，但是單電源負(fù)載是由一個(gè)PDU供電的。而這個(gè)PDU又串聯(lián)了很多組件，成為單路徑故障點(diǎn)。其中包括系統(tǒng)輸入斷路器、變壓器、輸出斷路器、主配電盤斷路器，以及支路斷路器。在某些設(shè)計(jì)中可能形成5~7個(gè)單路徑故障點(diǎn)。
這種設(shè)計(jì)使UPS系統(tǒng)有充足的冗余，但是在配電系統(tǒng)中卻沒有。這樣一來，會(huì)導(dǎo)致可用性瓶頸，或一部分可用性較高，而另一部分可用性較低。假定宕機(jī)時(shí)間是可累加的，可用性不高的環(huán)節(jié)始終會(huì)妨礙系統(tǒng)達(dá)到***的可用性，這在統(tǒng)籌設(shè)計(jì)過程中是一個(gè)需要特別考慮的重要因素。一個(gè)系統(tǒng)內(nèi)部的可用性差異意味著，如果在一個(gè)地方花費(fèi)過多的資金，其他地方的投入將減少。實(shí)現(xiàn)平衡對于***限度利用資金獲得***的可用性來說至關(guān)重要。#p#
MTTR對可用性的特殊作用
優(yōu)化可用性的另一個(gè)方面與恢復(fù)時(shí)間有關(guān)。可用性是與平均無故障工作時(shí)間(MTBF)、平均恢復(fù)時(shí)間(MTTR)相關(guān)聯(lián)的函數(shù)。所有的系統(tǒng)都會(huì)在某個(gè)點(diǎn)上出現(xiàn)故障。這是事實(shí)，但是，可用性高的系統(tǒng)不會(huì)受到太大影響，并且可以快速、高效地修復(fù)。有證據(jù)顯示，如果MTTR過長，就不可能達(dá)到較高的可用性。
從圖7和圖8可以看出，平均恢復(fù)時(shí)間對提高系統(tǒng)可用性的作用遠(yuǎn)大于平均故障時(shí)間(MTRF)的作用，其原因有以下幾點(diǎn)：?
***，MTTR對提高可用性的作用是MTBF根本達(dá)不到的。
第二，提高M(jìn)TBF值對可用性的提高并不是總有效的。
第三，MTTR的變化與可用性總是呈線性關(guān)系。
另一個(gè)需要了解的影響可用性的情況是，數(shù)據(jù)中心的操作人員無法控制一個(gè)部件的MTBF，但是在很大程度上，MTTR是可以控制的。數(shù)據(jù)中心操作人員可以控制MTTR，這就要求現(xiàn)場必須儲存100%的備件，操作人員需要接受有關(guān)設(shè)備操作的培訓(xùn)，同時(shí)要了解必要時(shí)更換或維修設(shè)備的程序。
考慮備件庫存是建立數(shù)據(jù)中心可用性預(yù)期的一個(gè)重要組成部分。為此，應(yīng)對本地人員進(jìn)行培訓(xùn)，詳細(xì)講解操作程序。與涉及關(guān)鍵業(yè)務(wù)設(shè)施的其他領(lǐng)域相比，數(shù)據(jù)中心的操作人員接受的培訓(xùn)少，操作程序亦很簡單。此外,復(fù)雜性也是造成宕機(jī)的重要原因。有最近的統(tǒng)計(jì)數(shù)據(jù)顯示，高達(dá)50%的宕機(jī)與人為錯(cuò)誤有關(guān)。很明顯，必不可少的培訓(xùn)和備件是實(shí)現(xiàn)高可用性的先決條件。
EPO對可用性的影響
可用性數(shù)據(jù)是建立在統(tǒng)計(jì)學(xué)或經(jīng)驗(yàn)數(shù)據(jù)的基礎(chǔ)上。而這些統(tǒng)計(jì)或經(jīng)驗(yàn)數(shù)據(jù)又都是基于以前的運(yùn)行經(jīng)驗(yàn)。
其中有一個(gè)原則是關(guān)于數(shù)據(jù)中心緊急斷電(EPO)開關(guān)的使用。在大部分情況下，EPO系統(tǒng)是必備的，而且它們被設(shè)計(jì)成數(shù)據(jù)中心必不可少的重要環(huán)節(jié)。出于安全原因，它們能夠立即使數(shù)據(jù)中心完全宕機(jī)，但在其設(shè)計(jì)方面也常有不足之處。鑒于它們對數(shù)據(jù)中心的影響，必須詳盡地考慮這些因素，仔細(xì)檢查隱藏的陷阱。
第二個(gè)原則被認(rèn)為是提高可用性的關(guān)鍵原則。該原則指出，高可用性系統(tǒng)要在系統(tǒng)出現(xiàn)故障時(shí)使系統(tǒng)的狀態(tài)變化最小化。某些系統(tǒng)設(shè)計(jì)時(shí)盡管提供了冗余措施，但如果一個(gè)部件發(fā)生故障，仍然需要進(jìn)行狀態(tài)的多種變更。換句話說，如果出現(xiàn)故障，***不要改變狀態(tài)，也不要重新確定電源路徑，或者被迫啟動(dòng)系統(tǒng);而且此時(shí)替代系統(tǒng)已經(jīng)可以運(yùn)行，且準(zhǔn)備就緒。這樣的系統(tǒng)冗余最可靠，但也會(huì)更昂貴。
綜上所述，在建立完全適合客戶需要的系統(tǒng)過程中，需要統(tǒng)籌考慮以下各種因素：
◆ 當(dāng)前的系統(tǒng)需求
◆ 后期未來的系統(tǒng)需求
◆ 系統(tǒng)可用性要求
◆ 資金預(yù)算狀況
◆ 商業(yè)模型
認(rèn)真地檢查所有這些因素，會(huì)使客戶滿意度達(dá)到***水平，并使項(xiàng)目和業(yè)務(wù)的成功概率達(dá)到***。
【編輯推薦】
