“

在《存儲極客：SPC-1負載分析

與AFA壽命評估》一文中，

我們討論了如何從SSD耐用性角度

規(guī)劃match存儲系統(tǒng)的配置。

今天再談?wù)勯W存性能的規(guī)劃，

包括測試和配置選型兩個方面。

存儲極客設(shè)計了下面這個流程：

應(yīng)用性能收集/評估 >>

存儲設(shè)備模擬測試 >>后續(xù)分析

怎樣把前兩個環(huán)節(jié)打通，是問題的關(guān)鍵。

”

某家存儲廠商性能收集/分析工具的截圖，

算是同類中的一個代表吧。

測試準(zhǔn)備

全閃存陣列配置實踐

我先講一些基礎(chǔ)的東西，包括SAN存儲網(wǎng)絡(luò)建議怎么連、劃Zone的規(guī)則和HBA卡參數(shù)等。針對的應(yīng)用環(huán)境是數(shù)據(jù)庫——Oracle OLTP。

圖片引用自《Accelerating Oracle OLTP with Dell SC Series All-Flash Arrays》，以下同。

上面是一個典型的傳統(tǒng)Oracle RAC+集中式存儲陣列+SAN網(wǎng)絡(luò)的配置。其中以Dell SC9000為例，雙控同時連接到后端的SC220 SAS驅(qū)動器機箱，里面滿配24個SSD中有一塊熱備盤。

1存儲網(wǎng)絡(luò)最佳配置

存儲和PowerEdge R730服務(wù)器之間有2個Brocade 6505 16Gb FC交換機。在服務(wù)器FC HBA驅(qū)動設(shè)置上，包括timeouts(超時)和QD(隊列深度)的建議如下：

To adjust the values, the following lines were added to file /etc/modprobe.d/qla2xxx.conf.

options qla2xxx qlport_down_retry=5

options qla2xxx ql2xmaxqdepth=

由于是冗余的本地存儲連接，每條路徑的超時重試時間為5秒。

Once the system has restarted, verify that the configuration changes have taken effect:

# cat /sys/module/qla2xxx/parameters/qlport_down_retry

5

# cat /sys/module/qla2xxx/parameters/ql2xmaxqdepth

32

FC HBA的隊列深度建議設(shè)為32。這部分都是以QLogic光纖卡為例，如果換Emulex也是同樣的道理。

下面我們看看Zone的配置。

以左右兩邊FC交換機為中心拓撲出2個存儲網(wǎng)絡(luò)故障域，如果是iSCSI就換成以太網(wǎng)交換機。

上圖以其中一臺服務(wù)器為例。2塊FC HBA卡上共有4個端口，camaro代表主機名，s1/s2分別對應(yīng)左右兩邊的HBA卡。每塊HBA都同時連接到2臺FC交換機，然后可以看到兩個存儲控制器上的全部主機接口。

上圖是故障域Fabric 1中的4個Zone。前面2個Zone包含服務(wù)器camaro上兩塊HBA卡靠左邊的端口，它們都可以看到雙存儲控制器靠左的2個主機接口。如果感覺上面兩張圖的對應(yīng)關(guān)系還不夠清楚，不妨再看看下面這個表：

如上表，在一臺服務(wù)器上，每塊HBA卡的2個口分別可以看到同Zone中所有存儲控制器上的1,2 / 3,4端口。目的大家也都清楚：為了實現(xiàn)SAN網(wǎng)絡(luò)連接的高可用、有效利用帶寬，隔離以降低管理上的復(fù)雜性。

2寬條帶化和Thin-Provisioning注意事項

本文測試的SC9000配置了24個1.92TB讀密集型3D NAND TLC SSD，2MB的“數(shù)據(jù)頁面”就是Dell SC(Compellent)的寬條帶化RAID打散粒度。如果做自動分層存儲的話，這個數(shù)據(jù)調(diào)度的粒度也是2MB，靠同一套元數(shù)據(jù)管理機制來實現(xiàn)的。

RAID 10-DM就是三重鏡像，可以理解為存儲控制器本地三副本，最大保障數(shù)據(jù)可靠性，同時沒有分布式存儲多副本的網(wǎng)絡(luò)開銷。

因為傳統(tǒng)RAID 10的雙盤故障風(fēng)險在寬條帶化存儲池中被放大了，而RAID 6的隨機寫性能又不夠理想，RAID 10-DM給了用戶更多一種選擇。

以Dell SC為例，當(dāng)SSD/HDD容量、個數(shù)在一定范圍內(nèi)會推薦采用RAID 10-DM鏡像，如果超出一定水平則強制要求鏡像保護必須為RAID 10-DM，這是為數(shù)據(jù)安全性考慮的。

存儲管理界面截圖引用自《工程師筆記：SCv2000試用之RAID分層+快照》一文。

有沒有兼顧性能和容量利用率的方式呢?除了在自動分層存儲中將不同驅(qū)動器配置為不同RAID之外，在單一類型驅(qū)動器的存儲池中，Dell SC仍然支持跨兩種RAID級別進行分層存儲，結(jié)合鏡像和奇偶校驗各自的優(yōu)點。其原理是利用周期快照“凍結(jié)”只讀數(shù)據(jù)塊并改為RAID 5/6方式存放，這種讀寫分離的思想同樣也能用于RI(讀密集型)SSD和WI(寫密集型)SSD之間的自動分層。

上圖只是一個舉例，由于本文是模擬OLTP應(yīng)用環(huán)境的讀寫混合測試，實際都是在性能更好的RAID 10-DM配置進行。

在有元數(shù)據(jù)分配數(shù)據(jù)條帶的情況下，精簡配置(Thin-Provisioning)就成為原生的特性。但我也看到有同行朋友反映由于用戶沒做好容量預(yù)警，存儲池被寫爆的狀況。當(dāng)然這也是有辦法避免的，比如上圖所示創(chuàng)建卷時“預(yù)分配存儲”選項。

需要注意的是，這個選項在我們的性能測試中另有深意，簡單說也可以解釋為“POC防作弊”。由于我們使用的是Oracle ORION測試工具，其寫入的數(shù)據(jù)為全零，如果是沒有預(yù)分配的Thin卷，有個智能技術(shù)(零檢測)——不會真正向SSD/HDD盤寫入數(shù)據(jù)。如果這樣的話，顯然我們看不到真實的性能數(shù)據(jù)。

混合讀寫測試結(jié)果

ORION是一個Oracle官方模擬數(shù)據(jù)庫存儲IO的測試工具。OTLP的典型負載為8KB隨機讀寫，這里通過參數(shù)指定讀/寫比例為70:30。

測試結(jié)果如上表。深紅色折線代表IOPS，我們看到當(dāng)并發(fā)ORION任務(wù)達到14時，8KB混合讀寫IOPS超過250,000。

根據(jù)這個結(jié)果可以大致估算出100%讀IOPS能跑多高嗎?大家先看看我下面的方法是否合理：

估算方法一：在257,313 IOPS中有30%的寫IO，考慮到RAID 10落在SSD盤上會有寫放大，那么把這些寫的時間換成讀操作應(yīng)該能快不少，保守估計跑到40萬IOPS以上問題不大。

問題1：

閃存盤讀比寫快，那么上面的估計是否保守了?

我的答案是yes，但具體低估了多少，除了實測之外另有一種推算方法可以考慮。

問題2：

前后端存儲網(wǎng)絡(luò)、連接會不會成為瓶頸?

按照40萬8KB IOPS來計算，折合3200MB/s的帶寬。具體到我們測試環(huán)境是端到端16Gb FC SAN網(wǎng)絡(luò)，4條交換機上行鏈路不應(yīng)成為瓶頸;后端每條SAS線纜12Gb x4 lane也是如此。

問題3：

我用不了這么多個SSD，換個配置性能可以按比例縮放計算嗎?

以我在《SSD壽命與閃存陣列選型(上)為什么關(guān)注DWPD?》中引用的Dell SC4020 SPC-1性能測試結(jié)果為例，6塊SSD超過11萬IOPS，平均每個接近2萬了。

當(dāng)然，SPC-1測試的混合工作負載數(shù)據(jù)塊大小和讀寫比例(《存儲極客：SPC-1負載分析與AFA壽命評估》中曾有詳細分析)與本文的ORION有些不同，另外6塊480GB SSD用的是RAID 10雙盤鏡像，所以只是個參考對比?？紤]到SC9000比SC4020要高端，其性能上限應(yīng)該也會較高。

估算方法二：這個我也是看到不只一家存儲廠商使用。大家知道SSD驅(qū)動器有個制造廠商的IOPS性能指標(biāo)，而在陣列中的發(fā)揮會有不小的折扣。于是人們就在存儲系統(tǒng)中測試各種單盤RAID 0的性能，以此為基礎(chǔ)來估算不同數(shù)量SSD配置能夠達到的IOPS，當(dāng)然如果是寫性能還要考慮RAID懲罰的影響。

關(guān)于方法二我就不詳細舉例了，有興趣了解的朋友可以找相關(guān)人士咨詢。

性能分析收集工具

了解存儲需求的助手

我在本文開頭列出過一張IOPS截圖，上面這個為主機上監(jiān)測到訪問存儲的帶寬，對應(yīng)的具體存儲配置未知。它們都是使用DPACK(Dell Performance Analysis Collection)軟件收集的。

讀寫I/O尺寸與應(yīng)用類型相關(guān)，比如Oracle OLTP典型的是8KB，上面這個比較像Exchange郵件服務(wù)器。另外我還看到過有的存儲廠商宣稱32KB優(yōu)化對實際應(yīng)用的意義較大。

延時是另一個關(guān)乎應(yīng)用體驗的重要指標(biāo)，這個與I/O請求大小有很大關(guān)系。比如上面圖表大部分時間寫延遲很低，應(yīng)該有存儲Cache的效果在里面，絕大多數(shù)I/O都在20ms以內(nèi)，屬于Exchange正常接受的范圍。至于藍色的波峰，不排除是有個大數(shù)據(jù)塊I/O，也可能是由于持續(xù)寫入壓力大，緩存數(shù)據(jù)滿了落盤導(dǎo)致。

另外需要說明的是，如果按照Oracle OLTP的8KB訪問習(xí)慣，平均延時通常比上面圖中要低。而存儲I/O與數(shù)據(jù)庫事物交易延時并不是一回事，因為根據(jù)事物復(fù)雜度不同，每筆事物中包含的I/O數(shù)量也是不同的，而且還有計算的開銷要考慮。因此，我們不能從應(yīng)用端一看到幾十ms的延時，就全都怪存儲不給力。

在用戶現(xiàn)有的應(yīng)用系統(tǒng)中收集到上述性能數(shù)據(jù)之后，再加上我在本文中介紹的方法，存儲售前顧問就可以更有針對性地推薦陣列配置?，F(xiàn)在全閃存逐漸開始流行，而有些情況下用固態(tài)混合(SSD+HDD)分層存儲也是不錯的選擇。如果用戶看重容量和性價比，或者想保留更多的歷史快照數(shù)據(jù)，能夠兼容傳統(tǒng)硬盤的陣列就顯出優(yōu)勢了。