看這些數(shù)據(jù)中心錯誤有多蠢！
原創(chuàng)【51CTO 8月17日外電頭條】在導(dǎo)致數(shù)據(jù)中心故障的所有罪魁禍首中，技術(shù)問題所占比例很小，而人為錯誤卻占據(jù)了大約70%的份額。由于某員工無意中把兩條網(wǎng)線連接到一臺錯誤的網(wǎng)絡(luò)集線器上，整個校園網(wǎng)絡(luò)陷入癱瘓狀態(tài)；一名員工在進入一數(shù)據(jù)中心時由于路徑不熟竟掉入“陷阱”而受傷；在數(shù)據(jù)中心的溫控器設(shè)置被人從華氏溫度改為攝氏溫度后，系統(tǒng)由于過熱而宕機。類似情況舉不勝舉，大多數(shù)據(jù)中心災(zāi)難并非緣自技術(shù)問題或自然災(zāi)害，而是人為失誤（51CTO推薦閱讀：數(shù)據(jù)中心管理錯誤四常見）。
根據(jù)數(shù)據(jù)中心性能研究機構(gòu)紐約正常運行時間學(xué)會(UPTIMEINSTITUTE)所提供的數(shù)據(jù)，目前人為失誤引發(fā)了大約70%的數(shù)據(jù)中心故障。該機構(gòu)副總裁朱利安·庫德里斯基（JulianKudritzki）表示，他們分析了4500起數(shù)據(jù)中心事故，其中包含400次完全宕機事件，最后得出如上結(jié)論。庫德里斯基最近還發(fā)布了保持數(shù)據(jù)中心可持續(xù)性運營的一套指南。
庫德里斯基稱，該結(jié)論并不令人感到意外，“運營管理是你最大的弱點，但它也是避免宕機的最大機遇。好在你可以對數(shù)據(jù)中心人員進行重新教育。”
市場研究公司Pund-ITResearch分析師查爾斯·金(CharlesKing)表示，不管是因為大意，還是因為培訓(xùn)不夠、最終用戶干涉、資金緊張或簡單的錯誤，人為失誤是不可避免的。由于當今IT系統(tǒng)日益復(fù)雜，數(shù)據(jù)中心工作人員工作時間過長，一些本來可以避免的小故障卻時有發(fā)生。而且隨著企業(yè)越來越依賴于技術(shù)來達到自己的商業(yè)目標，這些錯誤已經(jīng)變得更加危險，讓企業(yè)付出的代價也越來越高。#p#
錯誤連線致交換機超載
印第安納醫(yī)科大學(xué)安全分析師杰拉米·杰伊·鮑爾斯（JeramyJayBowers）表示，四年前由于一名IT員工誤將兩條網(wǎng)絡(luò)線纜連接到一臺下行集線器上，該大學(xué)數(shù)據(jù)中心交換機出現(xiàn)了超載現(xiàn)象。
這次事故發(fā)生時，鮑爾斯是該學(xué)校的系統(tǒng)工程師，該學(xué)校的IT部門有兩處辦公場所，一處在學(xué)校辦公樓，另一處則在相鄰的學(xué)校附屬醫(yī)院大樓上，鮑爾斯認為這本身就不是一種合理的網(wǎng)絡(luò)設(shè)計方案。
兩處辦公場所通過一條光纜連接，在醫(yī)院大樓的IT辦公室中，該光纜被連接在一臺12口交換機上。鮑爾斯表示，IT人員可以輕松的把該設(shè)備從校園網(wǎng)斷開，然后通過墻上的插座將其連接到醫(yī)院網(wǎng)絡(luò)中。
有一天鮑爾斯在家休息時接到電話，得知學(xué)校服務(wù)器機房的交換機超載，導(dǎo)致它托管的所有服務(wù)都無法備訪問。鮑爾斯表示，當數(shù)據(jù)包通過時，正常情況下交換機綠色指示燈會不斷閃爍，但此時它們卻基本是長亮狀態(tài)。
鮑爾斯立即通過電話開始排障。他可以確定校園網(wǎng)絡(luò)沒有進行過任何修改。然后他想到了上面提到的光纜。他讓同事拔下這條光纜，結(jié)果超載交換機恢復(fù)正常；再插上該光纜后，該交換機又超載。這說明問題出在該光纜的另一端，也就是附屬醫(yī)院大樓那邊。
最后被查明的故障原因是，一名IT人員由于項目需要剛剛搬到醫(yī)院IT辦公室，由于需要連接更多設(shè)備到網(wǎng)絡(luò)中，他無意中將兩條來自校園網(wǎng)交換機的網(wǎng)線插到同一臺新增的集線器上，這樣就在網(wǎng)絡(luò)中形成了一個環(huán)，數(shù)據(jù)在該環(huán)中不斷被重復(fù)發(fā)送，最后導(dǎo)致校園網(wǎng)交換機的超載。
雖然這次事故并沒有讓學(xué)校IT部門改變現(xiàn)有不合理的網(wǎng)絡(luò)設(shè)計，但至少現(xiàn)在IT部門知道一件事情：私自亂接網(wǎng)線的行為是不對的。通過這次事件鮑爾斯確信，相比技術(shù)錯誤，人為錯誤所帶來的故障數(shù)量要更多一些。#p#
節(jié)省35美元丟失所有數(shù)據(jù)
節(jié)省投資當然沒錯，但如果省了不該省的錢，可能最后的結(jié)果是付出更大的代價。在下面的例子中，一公司因為沒有多花35美元再多購買一個備份磁帶，導(dǎo)致所有數(shù)據(jù)丟失（51CTO推薦文章：最易掌握的數(shù)據(jù)中心備份十三法）。
1999年，查爾斯·巴伯（CharlesBarber）在一家醫(yī)療器械公司擔(dān)任技術(shù)支持經(jīng)理，該公司生產(chǎn)一種基于服務(wù)器的獨立設(shè)備，用來連接到跑步機來收集患者壓力測試數(shù)據(jù)。該公司的客戶之一是圣路易斯的一家小型醫(yī)療診所，該診所的行政助理同時也兼任著IT人員。
巴伯表示，這位行政助理能力很強，但她不是一名經(jīng)過專業(yè)培訓(xùn)的IT人員。
在一個周五的晚上，她聽到該設(shè)備的服務(wù)器發(fā)出奇怪的噪音，意識到硬盤出現(xiàn)了故障。周六她購買了一塊新硬盤，在備份了原先數(shù)據(jù)資料后，在新硬盤上安裝了微軟的WindowsServer和SQLServer。巴伯曾經(jīng)告訴過她如何配置服務(wù)器的步驟，因此這位行政助理按照該步驟順利完成配置工作。
然后她在周日和周一開始恢復(fù)數(shù)據(jù)并對系統(tǒng)進行測試，測試一切正常，周一晚些時候開始正式投入使用，對一名患者進行了正式測試。
但周二早晨她致電巴伯稱，她從備份磁帶恢復(fù)到服務(wù)器上的所有數(shù)據(jù)信息丟失了。巴伯解釋道，“她每天對整個系統(tǒng)進行了一次完全備份，不幸的是，當她去重新安裝其備份時，看到的所有數(shù)據(jù)就是周一那位患者的數(shù)據(jù)。”
由于她只有一塊備份磁帶，而這塊磁帶已經(jīng)被用來備份周一測試數(shù)據(jù)，但卻忘記了這會清除此前的所有歷史數(shù)據(jù)。巴伯表示，一塊磁帶的價格約為35美元，真希望她的老板多花點錢讓她多買一塊磁帶，但現(xiàn)在結(jié)果是丟失了三個月的數(shù)據(jù)。#p#
存在兩年之久的“洞”
有時候數(shù)據(jù)中心中的某些事故注定早晚會發(fā)生，但每天在那兒工作的人卻又對它熟視無睹，而新來的人卻往往能立刻發(fā)現(xiàn)它們。
艾德·古爾德（EdGould）是一名退休的IT從業(yè)人員，在20世紀80年代曾就職于芝加哥一家安全公司擔(dān)任系統(tǒng)程序員。他入職一個月后，發(fā)現(xiàn)了公司數(shù)據(jù)中心存在的一個明顯的威脅。
在該公司，程序員一般會把磁帶交給數(shù)據(jù)中心運營人員，然后由后者安裝到機房中。有一天運營人員工作比較繁忙，無法安裝古爾德交給他們的磁帶，因此古爾德決定自己去安裝。他剛進入數(shù)據(jù)中心沒走幾步，就掉到一個約兩英寸半深、比薩餅大小的坑中，隨后運營人員把他拉起來。他問運營人員為什么會在地板上有這樣一個洞。運營人員表示，這個洞兩年前就有了，他們自己已經(jīng)習(xí)慣了它的存在，因為熟知它的位置所以不會掉下去。
后來古爾德把此事匯報給一位副總，然后到醫(yī)院檢查了一下身體。這位副總也是第一次知道該“洞”的存在，并在幾天內(nèi)對其進行了修復(fù)。
令古爾德感到驚訝的是，數(shù)據(jù)中心內(nèi)的這個威脅竟然一直存在了如此長時間，而在這兒工作的人員卻對其熟視無睹，只是選擇繞著它走。#p#
類似人禍行為
數(shù)據(jù)中心中由人為錯誤引發(fā)的事故舉不勝舉，在國外知名IT網(wǎng)站《ComputerWorld》的SharkTank專欄中，IT管理者們已經(jīng)發(fā)表了數(shù)百個此類案例。
美國阿瑞桑那州一家空軍基地的工程師約翰·艾爾（JohnEyre）表示，20世界80年代中期，該基地需要為新添置的王安電腦安裝新線纜，每臺計算機需要通過同軸電纜連接到終端，廠商推薦使用兩英寸管道來傳輸線纜。
艾爾認為該管道不足以容納所使用線纜，但由于它是王安電腦公司所推薦的，艾爾的領(lǐng)導(dǎo)還是決定按廠商建議來做。
當所有線纜被鋪設(shè)好后管理者發(fā)現(xiàn)，在每處使用該管道傳輸線纜的地方，線纜都已經(jīng)裸露出銅芯，無法繼續(xù)使用。整個線路安裝工作不得不重新進行，導(dǎo)致整個工期延遲了9個月之久。
艾爾表示，由此事件得到一個教訓(xùn)是，欲速則不達，一味求快反而引發(fā)重重問題。
另外一個例子是，在某數(shù)據(jù)中心，由于有人將溫控器的溫度單位由華氏溫標改成了攝氏溫標，因此在64攝氏溫度下，服務(wù)器機房簡直就變成了一個蒸籠（51CTO推薦專題：北京熱死你 機房凍死你）。#p#
如何減少人為失誤？
那么對于數(shù)據(jù)中心災(zāi)難來說，什么才是更危險的因素？是系統(tǒng)還是配置和維護系統(tǒng)的人？正常運行時間學(xué)會的庫德里斯基表示，答案是兩者都必須重視。
他補充道，要想擁有一個運營良好的數(shù)據(jù)中心，必須重視運行系統(tǒng)或與系統(tǒng)交互的人。如果管理者能投入時間在員工水平、培訓(xùn)、維護和運營等方面作出謹慎決策，往往能夠避免多數(shù)災(zāi)難，從而獲得最大在線時間。
Pund-IT的查爾斯·金警告稱，對于導(dǎo)致數(shù)據(jù)中心停擺的人為因素，管理者不應(yīng)簡單采取快速修補的方式。高效的人員管理需要深思熟慮后才能得出正確的策略。
他表示，解決這些人為因素需要系統(tǒng)性的策略和方案，但培訓(xùn)計劃通常是局部和面向任務(wù)的做法。
查爾斯·金表示，盡管多數(shù)員工非常了解他們所使用的技術(shù)，但很少有人意識到數(shù)據(jù)中心本身是一個高度復(fù)雜和相關(guān)關(guān)聯(lián)的系統(tǒng)。如果培訓(xùn)計劃和訓(xùn)練能夠強調(diào)對數(shù)據(jù)中心管理的整體性，可能有助于解決這類問題。
作者：CaraGarretson 原文題目：Stupiddatacentertricks
【本文是51CTO原創(chuàng)稿件，轉(zhuǎn)載請務(wù)必標明出處和作者】
【編輯推薦】
