大數(shù)據(jù)時代 高性能存儲的三大挑戰(zhàn)
縱觀當(dāng)下的科技領(lǐng)域,用風(fēng)起云涌、如火如荼不足為過。新技術(shù)的日益出現(xiàn)和普及,使得我們的工作、生活有了翻天覆地的變化。在過去幾年中,大數(shù)據(jù)是談及最多的話題,而如今,人工智能、物聯(lián)網(wǎng)、機器學(xué)習(xí)等熱門技術(shù)逐漸充斥各種大中小型活動中,產(chǎn)生的數(shù)據(jù)更是呈現(xiàn)出暴增趨勢。
大數(shù)據(jù)時代 高性能存儲的三大挑戰(zhàn)
無可否認(rèn),新技術(shù)與云計算的融合將以人們無法想象的方式影響著商業(yè)和工業(yè)運營。但有一件事是顯而易見的,就是會有更多的數(shù)據(jù)產(chǎn)生,尤其是非結(jié)構(gòu)化數(shù)據(jù)。根據(jù)IDC研究顯示,非結(jié)構(gòu)化數(shù)據(jù)(29.8%)的增長速度超過了結(jié)構(gòu)化數(shù)據(jù)(19.6%)。因此,企業(yè)需要高性能的存儲解決方案來應(yīng)對強勁的存儲需求。
強勁的市場需求也催生了存儲供應(yīng)商的轉(zhuǎn)變。細(xì)數(shù)近兩年的市場,非結(jié)構(gòu)化數(shù)據(jù)持續(xù)增長,有關(guān)存儲技術(shù)***進展的報道一直甚囂塵上,其中包括非易失性存儲器。隨著新型接口和更現(xiàn)代化軟件的不斷普及,各大供應(yīng)商也在積極創(chuàng)新,力圖減少因過去20年內(nèi)CPU發(fā)展所導(dǎo)致的數(shù)據(jù)中心IT基礎(chǔ)架構(gòu)不平衡。
據(jù)悉,這些全新的接口可以實現(xiàn)應(yīng)用程度的低延遲和高性能數(shù)據(jù)存取,尤其是對于SQL/NoSQL數(shù)據(jù)、高性能計算工作負(fù)載和大數(shù)據(jù)應(yīng)用。而對于大型的非結(jié)構(gòu)化數(shù)據(jù)使用閃存技術(shù)意味著需要更高的性能。而不會出現(xiàn)橫向擴展解決方案帶來的延遲。另外,閃存的密集存儲意味著比磁盤或磁帶小得多的空間,這反過來又轉(zhuǎn)化為電力、機架和冷卻方面的節(jié)省。雖然閃存的成本仍然高于磁盤,但各個供應(yīng)商們也在努力將價格變得更低。
不過,將非易性存儲器用于非結(jié)構(gòu)化文件數(shù)據(jù)目前仍然存在重大挑戰(zhàn),因此,需要一種能力與高性能閃存存儲配合使用的現(xiàn)代二級存儲解決方案。
- 挑戰(zhàn)一:文件服務(wù)和數(shù)據(jù)管理
閃存供應(yīng)商還沒有建立企業(yè)需要管理其數(shù)據(jù)的文件服務(wù)。包括數(shù)據(jù)管理服務(wù),如數(shù)據(jù)保護和備份,數(shù)據(jù)移動及數(shù)據(jù)檢索等。
這意味著高性能閃存存儲需要一個互補的輔助存儲解決方案,企業(yè)需要管理大量數(shù)據(jù)的文件服務(wù),可以讓企業(yè)能夠輕松地保護和備份數(shù)PB的數(shù)據(jù),并且將數(shù)據(jù)從其所在的位置移動到所需位置,快速搜索并加以利用。
- 挑戰(zhàn)二:傳統(tǒng)解決方案無法跟上閃存
使用閃存進行非結(jié)構(gòu)化文件數(shù)據(jù)存儲需要兼容的輔助存儲解決方案,但遺憾的是,傳統(tǒng)備份和歸檔解決方案無法跟上閃存存儲的速度。
一個補充高性能存儲的現(xiàn)代存儲解決方案需要能夠處理并行數(shù)據(jù)流以盡可能快地讀取數(shù)據(jù)。
- 挑戰(zhàn)三:更高的價格點
盡管目前供應(yīng)商們正在努力將閃存價格變得更便宜,但高性能的價格卻在陡增。有了大量的數(shù)據(jù),很難證明高性能閃存的成本。
但企業(yè)通常只需要將其數(shù)據(jù)的一部分存儲在高性能主存儲器中。從經(jīng)濟上來講,對于經(jīng)常訪問的數(shù)據(jù)進行分層是非常便捷的,而針對長期保留的數(shù)據(jù)容量則是以低成本層次進行優(yōu)化的,而不是為高性能而優(yōu)化。
當(dāng)將閃存的性能優(yōu)勢納入更大策略的優(yōu)化環(huán)境中時,高性能加上巨大的容量在整個數(shù)據(jù)管理系統(tǒng)中既經(jīng)濟可行又有價值。
小結(jié)
在非結(jié)構(gòu)化數(shù)據(jù)爆炸的時代,高性能和大容量是目前所需的兩個元素。隨著各大供應(yīng)商在存儲方案上的不斷推進,市場也逐漸出現(xiàn)使用現(xiàn)代化容量來補充高性能閃存,使企業(yè)能夠在在真正需要的地方利用高性能存儲能力,同時為其提供必要的文件服務(wù),以更有效的管理所有數(shù)據(jù)。