在之前的《存儲(chǔ)極客：這些硬盤(pán)參數(shù)你都懂嗎?(上)-從案例引發(fā)的討論》一文中，我們從用戶實(shí)際需求出發(fā)，圍繞下面2個(gè)表格對(duì)不同硬盤(pán)的性能和可靠性差距展開(kāi)了部分討論。其中包括但不限于這幾個(gè)要點(diǎn)：1. 振動(dòng)對(duì)硬盤(pán)的影響及防范2. 可靠性前提條件和NL硬盤(pán)的由來(lái) - 小知識(shí)：硬盤(pán)讀寫(xiě)負(fù)載與SSD擦寫(xiě)壽命3. 環(huán)境規(guī)格——溫濕度范圍4. MTBF不是虛標(biāo)：換算出年均故障率

　　理想很豐滿，現(xiàn)實(shí)有時(shí)卻骨感在談到MTBF(平均無(wú)故障時(shí)間)和AFR(年均故障率)兩個(gè)指標(biāo)時(shí)，也許有的讀者會(huì)說(shuō)：“我使用的硬盤(pán)比這個(gè)故障率要高啊?”這種現(xiàn)象確實(shí)存在的不少，比如我國(guó)南方空氣濕度偏高，電子設(shè)備受到氧化、腐蝕的速度會(huì)加快。硬盤(pán)廠商給出統(tǒng)一的數(shù)字，是要在推薦的環(huán)境范圍內(nèi)，并且系統(tǒng)設(shè)計(jì)(特別是機(jī)箱結(jié)構(gòu)設(shè)計(jì))要達(dá)標(biāo)。

　　這里我又想起10年前參加過(guò)的一次Intel ESDC(服務(wù)器系統(tǒng)設(shè)計(jì)峰會(huì))，工程師在上面講針對(duì)一款機(jī)箱振動(dòng)的驗(yàn)證測(cè)試，印象中是2U 12個(gè)1500轉(zhuǎn)3.5英寸硬盤(pán)。結(jié)果臺(tái)下另一位Intel其他部門(mén)的同事就提出疑問(wèn)，表示實(shí)際共振情況沒(méi)有這么理想，隨機(jī)訪問(wèn)性能會(huì)下降20%。據(jù)此大家就不難理解我在上文中引用“15K硬盤(pán)能夠達(dá)到21 rad/sec/sec”的用意了吧?

　　要想把硬盤(pán)用好，獲得理想的性能和可靠性，還有許多要注意的問(wèn)題。接下來(lái)我們?cè)俅肆谐觥渡掀分械谋砀瘢⒗^續(xù)之前的討論。

　　5視頻監(jiān)控寫(xiě)入負(fù)載是否會(huì)超標(biāo)?我們根據(jù)硬盤(pán)每年的讀寫(xiě)負(fù)載，計(jì)算出550/300/180/55TB對(duì)應(yīng)到平均每天就是1.51/0.83/0.49/0.15TB，平均每秒大約17.5/9.6/5.67/1.74MB?；氐奖疚纳掀心莻€(gè)數(shù)據(jù)備份的需求，每天寫(xiě)入不到1TB的數(shù)據(jù)，使用Enterprise Capacity這個(gè)檔次的Nearline硬盤(pán)比較合適。

戴爾、惠普等一線品牌服務(wù)器和企業(yè)級(jí)存儲(chǔ)陣列，選配的7200轉(zhuǎn)大容量硬盤(pán)一般都是Nearline系列。上圖引用了《戴爾SCv2000：入門(mén)級(jí)陣列硬件設(shè)計(jì)功力》一文中樣機(jī)上安裝的Constellation ES.3 4TB SAS硬盤(pán)，希捷從這一代之后的V4改用Enterprise Capacity系列名稱。

　　這里我還有一點(diǎn)疑問(wèn)：視頻監(jiān)控應(yīng)用是比較典型的多流寫(xiě)入，而且7x24小時(shí)連續(xù)工作，在一個(gè)系統(tǒng)中為了應(yīng)對(duì)單盤(pán)故障RAID保護(hù)又是有必要的。首先，年負(fù)載55TB的桌面硬盤(pán)很容易超標(biāo);其次，如果有高清監(jiān)控且需要保留時(shí)間較短的場(chǎng)合，每塊硬盤(pán)平均寫(xiě)入速度超過(guò)5.67MB/s，是否將年負(fù)載180TB的監(jiān)控盤(pán)換成550TB的Nearline硬盤(pán)更合適呢?

　　我也曾咨詢過(guò)硬盤(pán)廠商的工程師，如果超出建議負(fù)載較多其故障率會(huì)高于標(biāo)稱的AFR(監(jiān)控盤(pán)為0.88%)，而且Enterprise Capacity(ES)的AFR設(shè)計(jì)標(biāo)準(zhǔn)本身就低至0.44(8TB)～0.63%，可以降低后期維護(hù)的成本和數(shù)據(jù)丟失風(fēng)險(xiǎn)。

　　至于“云盤(pán)”，其平均故障率監(jiān)控盤(pán)還要高些，只要不在意也可以用吧?

　　當(dāng)然這里面還有成本的因素，Enterprise Capacity的公開(kāi)報(bào)價(jià)是7200轉(zhuǎn)盤(pán)里面比較高的。由于視頻監(jiān)控在國(guó)內(nèi)的市場(chǎng)巨大，像?？?、大華這樣的廠商在監(jiān)控硬盤(pán)上估計(jì)有較大的議價(jià)能力。

　　6盤(pán)位數(shù)支持與箱體結(jié)構(gòu)要求在每個(gè)機(jī)箱支持的盤(pán)位數(shù)上，最新資料4TB及以上寫(xiě)的都是“8+”，而我們?cè)诹硪环菰缧┑南＝荼O(jiān)控硬盤(pán)資料中看到了這樣的描述：

　　在視頻監(jiān)控環(huán)境中，非RAID應(yīng)用順序(I/O)使用模型下盤(pán)數(shù)不限。(取決于箱體結(jié)構(gòu))而監(jiān)控硬盤(pán)在RAID應(yīng)用中建議≤16盤(pán)位。究其原因，如果做了RAID，硬盤(pán)磁頭容易按照同樣的軌跡來(lái)運(yùn)動(dòng)。這時(shí)共振的影響應(yīng)該會(huì)有所加大。

　　回到我們引用的那個(gè)英文表格，Enterprise Capacity系列硬盤(pán)支持大于8盤(pán)位的部署，在有的機(jī)箱中甚至支持84、90這樣的盤(pán)位。

　　擴(kuò)展閱讀：《高密度盤(pán)柜難點(diǎn)：評(píng)戴爾SCv2080結(jié)構(gòu)設(shè)計(jì)》　　

戴爾SCv2080、PS6610高密度雙控制器陣列、SC280/SC180 JBOD擴(kuò)展柜，其5U機(jī)箱支持84個(gè)3.5英寸SAS硬盤(pán)驅(qū)動(dòng)器，通過(guò)上下2個(gè)“抽屜”來(lái)安裝/更換硬盤(pán)，結(jié)構(gòu)設(shè)計(jì)比較巧妙。

　　根據(jù)我的理解，ENAS系列雖然抗旋轉(zhuǎn)振動(dòng)能力與Enterprise Capacity相同，但由于其主要定位中小型設(shè)備，只建議配置不超過(guò)16盤(pán)位，對(duì)機(jī)箱結(jié)構(gòu)要求相應(yīng)放松。經(jīng)濟(jì)型Constellation CS主要針對(duì)互聯(lián)網(wǎng)等大型分布式環(huán)境，其中定制系統(tǒng)相對(duì)偏多，需要適應(yīng)各種不同需求，因此抗旋轉(zhuǎn)振動(dòng)也達(dá)到了12.5 rad/sec/sec。

　　7不可恢復(fù)讀錯(cuò)誤：NL盤(pán)表現(xiàn)居中不可恢復(fù)讀錯(cuò)誤可以理解為磁介質(zhì)上靜態(tài)數(shù)據(jù)損壞的比率，由于這個(gè)數(shù)值比較固定，隨著單盤(pán)容量增大在一塊盤(pán)上遇到錯(cuò)誤的幾率也越來(lái)越高。我們注意到，Enterprise Capacity和ENAS的該項(xiàng)指標(biāo)比10K、15K高轉(zhuǎn)速SAS硬盤(pán)高一個(gè)數(shù)量級(jí)，但比桌面和其它“準(zhǔn)企業(yè)級(jí)”硬盤(pán)還是要低一個(gè)數(shù)量級(jí)的。

　　對(duì)于監(jiān)控硬盤(pán)，資料顯示目前只有8TB型號(hào)可以達(dá)到1 per 10E15。由于目前桌面硬盤(pán)的容量只達(dá)到6TB，那么8TB監(jiān)控盤(pán)有可能與Enterprise Capacity出自同一平臺(tái)。

　　由于不可恢復(fù)讀錯(cuò)誤可能在RAID Rebuild時(shí)才暴露出來(lái)，RAID卡、磁盤(pán)陣列控制器普遍設(shè)計(jì)了后臺(tái)介質(zhì)掃描的功能，而有些廉價(jià)視頻監(jiān)控設(shè)備使用的軟RAID就不好說(shuō)了。此外，EMC等存儲(chǔ)廠商還使用非標(biāo)準(zhǔn)扇區(qū)(從傳統(tǒng)512byte增大到520byte)加入校驗(yàn)實(shí)現(xiàn)容錯(cuò)。

　　8NL-SAS并不只是“假SAS”硬盤(pán)主機(jī)接口方面，7200轉(zhuǎn)硬盤(pán)中只有Nearline(Enterprise Capacity)系列具備SAS版本。除了SCSI協(xié)議的完整性之外，最重要的是提供雙端口支持，在那些雙控磁盤(pán)陣列中SATA驅(qū)動(dòng)器還得加個(gè)轉(zhuǎn)接板就不劃算了。而且，也只有SAS接口硬盤(pán)才能兼容520/528這些非標(biāo)準(zhǔn)扇區(qū)大小。

　　在質(zhì)保年限上，桌面硬盤(pán)目前執(zhí)行2年;Enterprise Capacity、NAS與高轉(zhuǎn)速SAS同為5年;表格里對(duì)比的其它7200轉(zhuǎn)硬盤(pán)基本上是3年。根據(jù)經(jīng)驗(yàn)，質(zhì)保5年的硬盤(pán)設(shè)計(jì)壽命一般在8-10年，如果超出5年使用故障率會(huì)提高;同理，普通7200轉(zhuǎn)硬盤(pán)的設(shè)計(jì)壽命通常也有5年，縮短保修時(shí)間也有降低服務(wù)成本的考慮。

　　至此，我們看出ENAS系列應(yīng)該是由Enterprise Capacity近線硬盤(pán)“降級(jí)”而來(lái)，它們之間的定位可以從開(kāi)頭表格中的組件級(jí)差別上看出來(lái)。比如：兩者都使用了相對(duì)較好的高通量密度音圈磁頭，而讀寫(xiě)頭和盤(pán)片ENAS為Performance而Enterprise Capacity采用High Performance等級(jí)?？傊Y(jié)構(gòu)決定性質(zhì)，只是我們?cè)诒疚闹胁⒉欢夹枰钔凇?/p>

　　9性能增強(qiáng)新技術(shù)：Flash緩存、掉電保護(hù)在硬盤(pán)上添加少量閃存的固態(tài)混合硬盤(pán)(SSHD)，希捷最早推出消費(fèi)級(jí)產(chǎn)品，并于后來(lái)引入到企業(yè)級(jí)市場(chǎng)(只限10K高轉(zhuǎn)速SAS盤(pán))。客觀地說(shuō)其市場(chǎng)空間不大，因?yàn)樵诨旌详嚵猩峡梢宰鯯SD+HDD之間的分層存儲(chǔ)，混合硬盤(pán)用于服務(wù)器也要看應(yīng)用能否發(fā)揮其優(yōu)勢(shì)。

　　不過(guò)加入Flash之后帶來(lái)了另外一個(gè)用途——掉電保護(hù)。我們知道早期硬盤(pán)上DRAM緩存中的數(shù)據(jù)斷電就會(huì)丟失，所以對(duì)數(shù)據(jù)一致性要求高的應(yīng)用通常會(huì)選擇在RAID卡/陣列控制器上關(guān)閉硬盤(pán)自身的寫(xiě)緩存。如今則可以利用電容和盤(pán)片旋轉(zhuǎn)的勢(shì)能將DRAM寫(xiě)緩存區(qū)的數(shù)據(jù)寫(xiě)到閃存中。

　　對(duì)于沒(méi)有Flash緩存的Enterprise Capacity，希捷在最新一代8TB型號(hào)上內(nèi)置了2MB NOR閃存，用于掉電時(shí)備份寫(xiě)緩存數(shù)據(jù)，因此可以打開(kāi)WCE(Write Cache Enable)，大幅提升隨機(jī)寫(xiě)性能——IOPS 342明顯超出讀IOPS 164(隊(duì)列深度16)。

　　據(jù)了解，HGST企業(yè)級(jí)硬盤(pán)采用了另一種技術(shù)來(lái)達(dá)到同樣的目的——開(kāi)辟一小塊磁道做為將隨機(jī)寫(xiě)I/O變成順序?qū)懭氲木彌_區(qū)。

　　10硬盤(pán)廠商怎么說(shuō)?

　　其實(shí)希捷官方也做了監(jiān)控專用硬盤(pán)和企業(yè)級(jí)3.5寸海量盤(pán)的對(duì)比。首先，監(jiān)控盤(pán)“劃算”就是在談它的性價(jià)比;而性能、節(jié)電模式/響應(yīng)時(shí)間、寫(xiě)入負(fù)載、抗振動(dòng)、SAS接口支持和質(zhì)保期限上Enterprise Capacity都更勝一籌，具體的技術(shù)我們都已討論過(guò)。

　　11更多選購(gòu)要點(diǎn)：系統(tǒng)設(shè)計(jì)和兼容性以上寫(xiě)了這么多硬盤(pán)自身的特性，其實(shí)同樣的盤(pán)用在不同系統(tǒng)上其可靠性表現(xiàn)也可能會(huì)有不小的差距。

　　比如散熱設(shè)計(jì)，我認(rèn)為正規(guī)一些的服務(wù)器、存儲(chǔ)廠商，測(cè)試每個(gè)盤(pán)位上承載最大功耗硬盤(pán)時(shí)的滿負(fù)載工作溫度，應(yīng)該是比較基本的要求。對(duì)于一線品牌，安裝各種轉(zhuǎn)速硬盤(pán)時(shí)產(chǎn)生的線性、旋轉(zhuǎn)振動(dòng)值是否超標(biāo)，估計(jì)也在結(jié)構(gòu)方面的測(cè)試項(xiàng)目中。用軟件仿真和實(shí)測(cè)可以做為互補(bǔ)，通過(guò)這些評(píng)估工作可以看出機(jī)箱、硬盤(pán)托架等有無(wú)改良空間，能夠支持的硬盤(pán)范圍等?！　?/p>

[[164583]]

　　舉例來(lái)說(shuō)，像4U 60盤(pán)位及更高密度的機(jī)箱，我看各家基本都不支持15K高轉(zhuǎn)速硬盤(pán)。如果支持2.5寸10K硬盤(pán)，在這里也是不應(yīng)該按經(jīng)驗(yàn)“拍腦袋”決定的。

　　再比如前幾年，某公司進(jìn)入企業(yè)存儲(chǔ)領(lǐng)域時(shí)間尚短，其硬盤(pán)故障率偏高，也是投入了不少資源來(lái)改善。

　　另一方面，從EMC、戴爾等廠商采購(gòu)的硬盤(pán)，與渠道市場(chǎng)中的相同型號(hào)也有些區(qū)別。定制的Firmware版本只是一個(gè)表象，兼容性測(cè)試也是很重要的工作。因此大家最好還是按照系統(tǒng)廠商的建議來(lái)選購(gòu)硬盤(pán)，如果一時(shí)貪圖便宜導(dǎo)致數(shù)據(jù)丟失就得不償失了。

　　我們建議，如果您沒(méi)有條件計(jì)算讀寫(xiě)負(fù)載，或者不確定服務(wù)器/存儲(chǔ)機(jī)箱本身消減振動(dòng)的能力，選擇一款規(guī)格較高、有裕量的硬盤(pán)相對(duì)比較保險(xiǎn)。比如本文對(duì)比中的Nearline硬盤(pán)Enterprise Capacity(ES)系列或者其他品牌的同級(jí)產(chǎn)品。

　　終于到了這兩篇的結(jié)尾，我想說(shuō)一句：“寫(xiě)硬盤(pán)很累”，而硬盤(pán)讀寫(xiě)數(shù)據(jù)也是有一個(gè)“疲勞磨損”的過(guò)程，希望能夠引起人們對(duì)可靠性的關(guān)注。盡管這是我熟悉并關(guān)注近20年的領(lǐng)域，為撰寫(xiě)本文還是查閱、整理了大量資料?？傊Ｍ麑?duì)大家有所幫助，同時(shí)也歡迎各路高人批評(píng)指正!