閃存存儲分解:NVMe / TCP能否更有效地利用?
閃存存儲分解允許數(shù)據(jù)中心以經(jīng)濟高效,靈活和可靠的方式獨立擴展CPU和閃存資源。
在混合云模型中,什么是有效的數(shù)據(jù)存儲方法?
部署了閃存(存儲)的目的是為了在數(shù)據(jù)中心為應(yīng)用程序提供高輸入/輸出速率。但是,它的容量和帶寬經(jīng)常沒有得到充分利用,因為服務(wù)器不容易設(shè)計成隨時間推移以及跨多個應(yīng)用程序來容納Flash,內(nèi)存和CPU。
隨著組織越來越多的利用內(nèi)部數(shù)據(jù)中心和公共云的優(yōu)勢來部署混合云模型,這個問題變得更加尖銳。云體系結(jié)構(gòu)正在導(dǎo)致閃存存儲的分解。
東芝在2017年的白皮書中證實:“隨著云數(shù)據(jù)中心架構(gòu)繼續(xù)向共享基礎(chǔ)架構(gòu)和自動編排發(fā)展,存儲性能和靈活性之間的緊張關(guān)系變得至關(guān)重要。”
什么是閃存存儲分解?
閃存存儲分解將SSD和HDD(性能或容量)結(jié)合在一起,比SSD聚合更經(jīng)濟,更靈活地提供高性能的聚合。(可以參考之前類似的案例:MemVerge將DRAM和Optane結(jié)合到大容量內(nèi)存池中)
它可以幫助組織解決不同資源需求不平衡,以及隨之而來的數(shù)據(jù)中心資源的過度供應(yīng)或利用率不足的不平衡現(xiàn)象。
據(jù)Stanford 2016年出版:“隨著服務(wù)器部署了足夠的閃存來滿足計劃的未來需求,閃存容量通常得不到充分利用。根據(jù)應(yīng)用需求的變化或峰值,部署大容量閃存設(shè)備可提供按需靈活性。”
市場趨勢推動需求
有許多市場趨勢推動了對閃存存儲聚合的需求。
1.閃存存儲:閃存的采用,加速了它作為增強計算機存儲的存儲介質(zhì),導(dǎo)致其成本下降?,F(xiàn)在的挑戰(zhàn)是通過分類解決方案來解決性能和耐用性問題。
2.網(wǎng)絡(luò)技術(shù):網(wǎng)絡(luò)速度正在提高,現(xiàn)在100GbE被視為一種商品。這樣可以進行分類。
3.應(yīng)用程序需求:存儲的增長速度快于計算,數(shù)據(jù)中心越來越多地遷移到云原生架構(gòu)。這就需要具有高彈性和敏捷性,高可用性和可靠性的存儲解決方案。
4.混合云:如前所述,正在采用混合云以提高運營效率。這需要在私有云中實現(xiàn)超擴展的解決方案。
所有這些因素意味著傳統(tǒng)存儲現(xiàn)在正在下降:
傳統(tǒng)存儲量大幅下降。資料來源:維基百科,2017年Server SAN預(yù)測2016-2026年。
云原生應(yīng)用程序的要求
對低延遲,高帶寬,一致的響應(yīng)時間的需求(通常是“裸機”)通常部署在本地閃存(NVMe)上,越來越多的云原生應(yīng)用程序共享這種需求。
當(dāng)前,所有這些應(yīng)用程序都遭受本地閃存利用率不佳(就容量和性能而言),節(jié)點出現(xiàn)故障時恢復(fù)時間長(網(wǎng)絡(luò),與應(yīng)用程序服務(wù)器的物理聯(lián)系以及閃存耐久性問題)。
這會導(dǎo)致閃存存儲功能的嚴重利用不足,據(jù)估計浪費了50-85%的閃存資源。
使用NVMe / TCP進行閃存存儲分解
應(yīng)用程序越來越受數(shù)據(jù)驅(qū)動,以低延遲處理大量數(shù)據(jù)。為了應(yīng)對這一挑戰(zhàn)以及上述挑戰(zhàn),云提供商必須不斷創(chuàng)新和完善存儲技術(shù)。
像Lightbits Labs這樣的提供商(Information Age是最新的第34屆IT新聞巡回報道的一部分)與這些提供商一起,通過分解存儲和通過標(biāo)準網(wǎng)絡(luò)進行計算,來幫助這些提供商將超大規(guī)模存儲交付給私有云。
成立于2016年的Lightbits Labs通過傳輸控制協(xié)議(互聯(lián)網(wǎng)的主要協(xié)議)開創(chuàng)了NVMe / TCP或非易失性內(nèi)存Express(用于訪問高速存儲介質(zhì)的協(xié)議)的先驅(qū)。
NVMe / TCP存儲旨在提供低延遲,從而使云原生存儲更易于大規(guī)模部署。
NVMe解決了了超大規(guī)模存儲的瓶頸
Lightbits Labs首席戰(zhàn)略官Kam Eshghi說:“混合云產(chǎn)品之所以出現(xiàn),是因為客戶希望NVMe在公共云以及本地云上運行軟件” 。
“很多正在利用客戶在公共云上本地擁有的現(xiàn)有基礎(chǔ)架構(gòu)來部署NVMe即服務(wù)。作為公共云上的黑盒解決方案,這將帶來更好的性能和更大的靈活性。”
超大規(guī)模和共享存儲的想法并不是什么新鮮事物。但是,提供延遲和性能方面類似于本地存儲(數(shù)據(jù)中心或邊緣計算設(shè)備)的群集NVMe / TCP共享存儲算作是一種新鮮事物了。交付分類存儲將導(dǎo)致閃存優(yōu)化。
實踐中的分解
可以通過標(biāo)準的10 / 25G以太網(wǎng)為連接網(wǎng)絡(luò)的NVMe設(shè)備提供與本地NVME相同或更好的性能,為云選擇NVMe /TCP,可以與OpenStack和k8s存儲進行集成,可以更好的加速云原生的轉(zhuǎn)型。
參考鏈接:https://www.information-age.com/flash-storage-disaggregation-nvme-tcp-key-effective-utilisation-123488495/