本篇文章將進(jìn)一步解釋在超融合架構(gòu)中，層次存儲為什么是提升數(shù)據(jù)的I/O性能的***選擇。

首先，讓我們追溯到現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)中，解決系統(tǒng)性能瓶頸的關(guān)鍵策略：Cache。

現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)是基于馮·諾依曼體系結(jié)構(gòu)構(gòu)建的，馮.諾依曼體系結(jié)構(gòu)將程序指令當(dāng)做數(shù)據(jù)對待，程序和數(shù)據(jù)存儲在相同的存儲介質(zhì)（內(nèi)存）中，CPU通過系統(tǒng)總線從內(nèi)存中加載程序指令和相應(yīng)的數(shù)據(jù)，進(jìn)行程序的執(zhí)行。

[[223203]]

馮·諾依曼體系結(jié)構(gòu)解決了計(jì)算機(jī)的可編程性問題，但是帶來了一個(gè)缺點(diǎn)，因?yàn)槌绦蛑噶詈蛿?shù)據(jù)都需要從內(nèi)存中載入，盡管CPU的速度很快，卻被系統(tǒng)總線和內(nèi)存速度的限制，不能快速的執(zhí)行。為解決這個(gè)問題，Cache的理念被提出，通過在CPU和內(nèi)存之間加入更快速的訪問介質(zhì)（CPU Cache），將CPU經(jīng)常訪問的指令和數(shù)據(jù)，放置到CPU Cache中，系統(tǒng)的整體執(zhí)行速度大幅度提升。

I/O性能瓶頸問題轉(zhuǎn)移到了存儲

如果內(nèi)存的訪問速度相對CPU太慢，那么磁盤的I/O訪問速度相對CPU來說就是“不能忍”了。下表是不同存儲介質(zhì)的訪問延時(shí)，在虛擬化環(huán)境下或云環(huán)境下，由于I/O基本都是隨機(jī)I/O，每次訪問都需要近10ms的尋道延時(shí)，使得CPU基本處于“等待數(shù)據(jù)”的狀態(tài)，這使得核心業(yè)務(wù)系統(tǒng)運(yùn)轉(zhuǎn)效率和核心應(yīng)用的用戶體驗(yàn)都變得很差，直觀的感受就是業(yè)務(wù)系統(tǒng)和桌面應(yīng)用“很卡”。

參考：http://norvig.com/21-days.html#answers

基于SSD構(gòu)建平衡系統(tǒng)

和前人解決內(nèi)存訪問延時(shí)問題的思路類似，現(xiàn)在的主流方法是使用內(nèi)存和SSD作為Cache來解決I/O性能瓶頸。存儲系統(tǒng)能夠分析出數(shù)據(jù)塊的冷熱程度，將經(jīng)常訪問的數(shù)據(jù)塊緩存到內(nèi)存和SSD中，從而加速訪問。

不論是全閃存存儲，還是混合介質(zhì)存儲，從某種意義上講都是層次存儲，只不過混合陣列多了一層磁盤介質(zhì)。

學(xué)過計(jì)算機(jī)體系結(jié)構(gòu)的人都聽說過著名的Amdahl定律，這里我們要介紹一個(gè)Amdahl提出的“不那么著名”的經(jīng)驗(yàn)法則：

在一個(gè)平衡的并行計(jì)算環(huán)境中，每1GHz的計(jì)算能力需要1Gbps的I/O速度與之匹配

假設(shè)一臺服務(wù)器有2顆E5-4669 v3的CPU，每顆CPU有18個(gè)核，36個(gè)超線程，主頻是2.1GHz，那么我們可以計(jì)算一下，這樣的一臺服務(wù)器需要151Gbps (即~19GBps）的帶寬。在大規(guī)模的云計(jì)算（虛擬機(jī)算）環(huán)境中，極端情況下，大量的I/O并發(fā)使得存儲收到的I/O都變成隨機(jī)I/O，在這么一個(gè)并發(fā)環(huán)境中，假設(shè)我們的訪問大部分都是8KB的讀寫，根據(jù)上面的計(jì)算，我們需要為一臺服務(wù)器配備近250萬的IOPS讀取速度。

在不考慮系統(tǒng)總線的情況下，如果我們用SAS/SATA硬盤來提供這個(gè)IOPS，即使每個(gè)SAS/SATA盤可以提供近250的IOPS（實(shí)際數(shù)值更?。?，僅為構(gòu)建一臺平衡的服務(wù)器計(jì)算存儲環(huán)境，就需要大概1萬個(gè)SAS/SATA硬盤。在稍大規(guī)模的虛擬化環(huán)境，想要搭出一個(gè)平衡的系統(tǒng)，用傳統(tǒng)的SAS/SATA硬盤幾乎不可能完成任務(wù)。但是如果采用能夠提10萬“寫IOPS”的SSD設(shè)備，25塊SSD就夠了。

層次存儲的優(yōu)勢

“層次存儲”是相對“全閃存”而言，是指將容量大但是速度較慢的HDD和速度快的SSD同時(shí)構(gòu)建在系統(tǒng)中，通過數(shù)據(jù)的訪問特性，將經(jīng)常訪問的熱數(shù)據(jù)放置在SSD中，而冷數(shù)據(jù)放置在HDD中。

首先，為構(gòu)建一個(gè)平衡的虛擬化環(huán)境，需要大量的SSD設(shè)備來提供足夠的IOPS。但是SSD也不是***的。目前的SSD擦寫次數(shù)有限、價(jià)格高。層次存儲將熱數(shù)據(jù)放置在SSD層中，而大量的冷數(shù)據(jù)仍然放置在SATA硬盤上，熱數(shù)據(jù)周期性的同步到HDD硬盤，既為用戶熱數(shù)據(jù)提供了高IOPS的保障，也通過SATA硬盤提供了更大的容量和可靠性。

下圖是對11個(gè)開發(fā)人員桌面負(fù)載的I/O統(tǒng)計(jì)，包含了對5.1TB大小的存儲上的76億次IO訪問和28TB的數(shù)據(jù)傳輸。首先值得注意的是，有3.1TB(62%)的數(shù)據(jù)，在一年內(nèi)從來沒有被訪問過，這意味著這些數(shù)據(jù)無論是放置在SSD上，還是SATA上，甚至放到U盤上拔走，對系統(tǒng)都沒有影響。

圖引自：《The 80/20 rule… for storage systems》by Andy Warfield