【51CTO.com快譯】眼下北美正處于颶風(fēng)季節(jié)――那些存儲專業(yè)人士似乎認(rèn)為已經(jīng)受住了大數(shù)據(jù)存儲領(lǐng)域的風(fēng)暴，最好還是小心為妙。由于Hadoop之類的非結(jié)構(gòu)化數(shù)據(jù)存儲技術(shù)，盡管數(shù)據(jù)一年比一年瘋狂增長，他們還是開始可以輕松應(yīng)對。其實(shí)他們還沒有看到真正的挑戰(zhàn)。存儲領(lǐng)域的每個(gè)方面(本地、私有云和公共云)即將面臨一場數(shù)據(jù)颶風(fēng)，這場颶風(fēng)會讓過去幾年的風(fēng)暴如同一陣微風(fēng)。

Wikibon的分析師伯特·拉塔莫爾(Bert Latamore)說：“雖然大數(shù)據(jù)和物聯(lián)網(wǎng)在如今的公共云工作負(fù)載中只占極小一部分，但兩者都在迅速增長。到2020年，這兩個(gè)領(lǐng)域會成為公共云市場的主角。”

下面這些要點(diǎn)可以幫助你應(yīng)對潮水般涌來的大數(shù)據(jù)。

[[173753]]

1. 大數(shù)據(jù)存儲，大數(shù)據(jù)問題

StorageIO集團(tuán)的分析師格雷格·舒爾茨(Greg Schulz)表示，大數(shù)據(jù)存儲的最大挑戰(zhàn)之一是大數(shù)據(jù)有許多不同的類型、層面和方面，其中一些是龐大、快速的數(shù)據(jù)流，包括視頻和監(jiān)控畫面，另一些是日志、事件及其他遙測數(shù)據(jù)，另外還有大量傳統(tǒng)的非結(jié)構(gòu)化文件和對象。當(dāng)然，共同的主題是，有的有更多數(shù)據(jù)(體量)，有的更龐大(大小)，有的是非結(jié)構(gòu)化數(shù)據(jù)。因此，有必要了解你在處理哪種類型的大數(shù)據(jù)，以便確保該數(shù)據(jù)得到適當(dāng)?shù)奶幚怼?/p>

舒爾茨說：“面臨的挑戰(zhàn)包括如何處理和擴(kuò)展管理，又不增加成本和復(fù)雜性，同時(shí)又解決性能、可用性、容量和成本等方面的問題。這意味著，重新考慮如何存儲數(shù)據(jù)、存儲在哪里，這還關(guān)系到應(yīng)用程序位于哪里(位于本地還是云端)，以及如何訪問(塊、文件還是對象)。

2. 應(yīng)用程序的位置

在過去，你可以把所有數(shù)據(jù)集中起來，讓應(yīng)用程序從遠(yuǎn)端獲取這些數(shù)據(jù)。但這種方法往往造成太多的瓶頸。

舒爾茨說：“讓數(shù)據(jù)靠近使用數(shù)據(jù)的應(yīng)用程序所在的地方;如果那些應(yīng)用程序在云端，那么把數(shù)據(jù)放在云端;如果應(yīng)用程序在本地，就把數(shù)據(jù)放在本地。關(guān)鍵是要了解應(yīng)用程序，它們所在的位置，它們?nèi)绾问褂脭?shù)據(jù)，然后使用滿足要求的相應(yīng)技術(shù)。另外，要了解你的應(yīng)用程序是否需要對象、需要哪個(gè)API進(jìn)行訪問，或者它們是否與向外擴(kuò)展型NAS兼容。”

比如說，一些應(yīng)用程序可能最好使用Hadoop分布式文件系統(tǒng)(HDFS)或另一種其他的文件共享平臺，而其他應(yīng)用程序應(yīng)使用亞馬遜S3、Swift或其他形式的對象存儲。他補(bǔ)充道，還要牢記你將如何存儲和管理元數(shù)據(jù)，以支持大數(shù)據(jù)應(yīng)用程序。

3. 分叉的存儲策略

451 Research公司的分析師西蒙·羅賓遜(Simon Robinson)認(rèn)為在未來，閃存層(高性能)滿足快速存儲數(shù)據(jù)的要求，而其他一切數(shù)據(jù)進(jìn)入到針對成本經(jīng)過優(yōu)化的存儲層，這些存儲層得到對象存儲(大容量)的支持。有各種各樣的存儲分層場景對應(yīng)于特定的企業(yè)要求。這里的關(guān)鍵是數(shù)據(jù)在存儲層之間實(shí)現(xiàn)無縫、自動化的移動，那樣最終用戶甚至不知道還有分層這回事。

4. 足夠重視大數(shù)據(jù)

說到有效地管理數(shù)量不斷增加的大數(shù)據(jù)，有必要花時(shí)間來制定這種戰(zhàn)略：不僅滿足短期要求，還可以隨著時(shí)間的推移來擴(kuò)展，從而有效地支持你。否則，你最后面臨的軟硬件部件就會到達(dá)再也無法有效擴(kuò)展的地步。因此在購買之前，仔細(xì)調(diào)查技術(shù)的擴(kuò)展性有多好。在大數(shù)據(jù)環(huán)境下，最好擴(kuò)展性足以處理大量涌入的存儲數(shù)據(jù)。

DataDirect Networks(DDN)的營銷戰(zhàn)略和運(yùn)營高級主管邁克爾·金(Michael King)說：“如果另外添加的每個(gè)存儲卷要花越來越長的時(shí)間來管理，增添存儲卷的結(jié)果似乎沒有帶來預(yù)期的容量和性能，這就表明現(xiàn)有的軟硬件部件到了它們再也無法有效擴(kuò)展的地步。”

5. 對元數(shù)據(jù)進(jìn)行分類

對數(shù)據(jù)進(jìn)行分類是明智之舉，因?yàn)檫@讓你能夠知道數(shù)據(jù)是什么樣的數(shù)據(jù)，能夠搜索元數(shù)據(jù)來找到它。長長的文件名在過去也許行得通，但由于數(shù)據(jù)高達(dá)100%的同比增長率，現(xiàn)在不管用了。

Spectra Logic公司的首席技術(shù)官馬特·斯塔爾(Matt Starr)說：“對數(shù)據(jù)進(jìn)行分類是應(yīng)對數(shù)據(jù)急劇增長的最佳方法之一。在數(shù)據(jù)創(chuàng)建時(shí)收集元數(shù)據(jù)，并將至少兩份數(shù)據(jù)存儲在不同的介質(zhì)上，比如一份存儲在磁帶上，另一份存儲在磁盤上。”

6. 將容量和計(jì)算分開來

另一個(gè)技巧是建立將容量和計(jì)算分開來的向外擴(kuò)展型存儲系統(tǒng)。由于數(shù)據(jù)變得越來越大，建立這樣的一套IT基礎(chǔ)設(shè)施很重要：可擴(kuò)展，非常適合實(shí)際要求，又不過度配置資源。

Kaminario公司的首席技術(shù)官沙恰·菲恩布利特(Shachar Fienblit)說：“要做到這點(diǎn)，一個(gè)辦法是花錢建立可獨(dú)立擴(kuò)展容量和計(jì)算的存儲基礎(chǔ)設(shè)施。”

大數(shù)據(jù)存儲解決方案應(yīng)該支持多種協(xié)議，簡化處理數(shù)據(jù)的方式。實(shí)時(shí)分析使得存儲工作負(fù)載越來越不易于預(yù)測。這就是為什么閃存是存儲和處理大數(shù)據(jù)工作負(fù)載的首選存儲介質(zhì)。由于閃存介質(zhì)的成本降得很快，業(yè)界會看到越來越多的大數(shù)據(jù)工作負(fù)載在純閃存陣列上運(yùn)行。

7. 大眾化硬件

向外擴(kuò)展型對象存儲是處理這些問題的最有效途徑之一，因?yàn)閿?shù)據(jù)得到持續(xù)保護(hù)，又不需要備份。但是你如何把硬件成本降下來呢?

Caringo公司的產(chǎn)品副總裁托尼·巴伯加洛(Tony Barbagallo)說：“如果運(yùn)行在大眾化x86服務(wù)器上，對象存儲讓你可以無縫地升級硬件，因?yàn)檫@些設(shè)備運(yùn)行起來如同模塊化裝置，可在不降低效率的情況下整合起來。”

8. 目光長遠(yuǎn)

說到大數(shù)據(jù)預(yù)測，很顯然存儲管理員最好為數(shù)據(jù)增長做好正確的規(guī)劃。不過，大多數(shù)人的眼光不夠長――他們習(xí)慣于只考慮一年后、兩年后或三年后的情形。這根本談不上目光有多長遠(yuǎn)。

巴伯加洛說：“想一想5年后、10年后甚至20年后的情形。確保你選擇的解決方案可伴隨要求而演進(jìn)，不會害得你被專有硬件牢牢束縛。”

9. 別一味依賴磁盤

市場研究機(jī)構(gòu)Gartner表示，我們在過去兩年生成的數(shù)據(jù)比整個(gè)人類歷史還要多。不過，存儲架構(gòu)方面的變化沒有跟上數(shù)據(jù)需求的步伐。

根據(jù)克萊德定律，每13個(gè)月，每英寸磁存儲面積上的磁盤密度就會翻一番。

Infogix公司的金融服務(wù)行業(yè)(FSI)戰(zhàn)略和運(yùn)營經(jīng)理森提爾·拉賈曼尼坎(Senthil Rajamanickam)說：“如果存儲密度的變化符合克萊德定律，那么到2020年，一只雙盤片的2.5英寸硬盤其容量將達(dá)到40 TB，成本為40美元。”

這本身足夠了不起，但是還是無法足以處理所有的大數(shù)據(jù)。為了跟上大數(shù)據(jù)增長的步伐，固態(tài)硬盤、磁帶和云這些都不可或缺。

10. 暗數(shù)據(jù)

不使用的操作型數(shù)據(jù)被稱為暗數(shù)據(jù)。Gartner稱之為“企業(yè)在日常業(yè)務(wù)活動的過程中收集、處理和存儲，但通常不用于其他用途的信息資產(chǎn)。”

而這樣的暗數(shù)據(jù)其實(shí)有很多。

拉賈曼尼坎說：“防止大數(shù)據(jù)環(huán)境下出現(xiàn)暗數(shù)據(jù)需要數(shù)據(jù)控制，以便在數(shù)據(jù)獲取期間審查/監(jiān)控進(jìn)入的數(shù)據(jù)，并且清查大數(shù)據(jù)環(huán)境。”

11. 除了容量，還有速度

圍繞大數(shù)據(jù)的討論主要側(cè)重于擁有足夠的容量。但數(shù)據(jù)速度是個(gè)同樣重要的問題。因此，在設(shè)計(jì)存儲系統(tǒng)的架構(gòu)之前，必須考慮大數(shù)據(jù)速度這個(gè)因素。

拉賈曼尼坎說：“支持高度實(shí)時(shí)性的事件流這個(gè)存儲要求與處理不斷增長的日志數(shù)據(jù)大不一樣。”

12. 全部采用云，還是部分采用云?

一些人試圖通過把數(shù)據(jù)留在內(nèi)部來處理大數(shù)據(jù)。但其他人可能更喜歡把數(shù)據(jù)全部倒入到云端，確保有效管理數(shù)據(jù)，以控制成本。不過，大多數(shù)人可能會找到一種折中方案。

Avere Systems公司的產(chǎn)品管理和營銷高級主管杰夫·泰伯(Jeff Tabor)說：“混合云方法讓你可以繼續(xù)在本地的數(shù)據(jù)中心中運(yùn)行系統(tǒng)，同時(shí)將一些系統(tǒng)遷移到云端來運(yùn)行。如果存儲是你的主要問題，第一步是使用存儲網(wǎng)關(guān)，把舊數(shù)據(jù)遷移到云端。如果計(jì)算是你的主要難題，云突發(fā)(cloud bursting)技術(shù)讓你可以把數(shù)據(jù)留在本地?cái)?shù)據(jù)中心的原來位置，開始在公共計(jì)算云處理數(shù)據(jù)。”

【51CTO譯稿，合作站點(diǎn)轉(zhuǎn)載請注明原文譯者和出處為51CTO.com】