概述

重復(fù)數(shù)據(jù)刪除技術(shù)正迅速成為一個(gè)幾乎所有的業(yè)務(wù)必不可少的存儲(chǔ)解決方案。由于企業(yè)創(chuàng)建比以往任何時(shí)候都都要多的數(shù)據(jù)，重復(fù)數(shù)據(jù)刪除在降低存儲(chǔ)的成本、訪問(wèn)、復(fù)制和備份這些不斷增長(zhǎng)的大量的數(shù)據(jù)方面被看作是一個(gè)重要的技術(shù)。

除了節(jié)約成本，重復(fù)數(shù)據(jù)刪除也提升了存儲(chǔ)的性能、增加了每秒I/O操作和通過(guò)消除多余和不必要的數(shù)據(jù)(在越來(lái)越多的情況下，這些數(shù)據(jù)將導(dǎo)致備份和主存儲(chǔ)基礎(chǔ)設(shè)施變得雜亂)來(lái)提高了存儲(chǔ)的利用率。

各種規(guī)模的企業(yè)也發(fā)現(xiàn)，重復(fù)數(shù)據(jù)刪除技術(shù)在支持虛擬化和云計(jì)算是不可或缺的的。虛擬化和云計(jì)算中，靈活性和性能的需求是存儲(chǔ)決策的主要驅(qū)動(dòng)力。根據(jù)最近的研究，預(yù)計(jì)2011年至2015年重復(fù)數(shù)據(jù)刪除技術(shù)的全球市場(chǎng)將以復(fù)合年增長(zhǎng)率增長(zhǎng)30%以上。

那么，什么是重復(fù)數(shù)據(jù)刪除，為什么它在今天的IT環(huán)境中如此重要?IT決策者應(yīng)該在備份或主存儲(chǔ)的重復(fù)數(shù)據(jù)刪除解決方案中尋求什么?以下是有關(guān)重復(fù)數(shù)據(jù)刪除的一些關(guān)鍵問(wèn)題的答案。

什么是重復(fù)數(shù)據(jù)刪除?

De-duplication，即重復(fù)數(shù)據(jù)刪除，在存儲(chǔ)數(shù)據(jù)時(shí)檢查和比較已存在的數(shù)據(jù)，如果它們是相同的，那么就過(guò)濾掉這部分?jǐn)?shù)據(jù)的備份，然后通過(guò)指針引用已存在的數(shù)據(jù)。它可以從根本上減少存儲(chǔ)占用的空間和用戶的磁盤(pán)驅(qū)動(dòng)器數(shù)量，減輕人力、能源、電力資源等方面的開(kāi)銷(xiāo)，從而大幅度的節(jié)約存儲(chǔ)成本。另外，重復(fù)數(shù)據(jù)刪除可以減少在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)量，進(jìn)而降低能量消耗和網(wǎng)絡(luò)成本，并為數(shù)據(jù)復(fù)制大量節(jié)省網(wǎng)絡(luò)帶寬。

如下圖所示，這種技術(shù)可以很大程度上減少對(duì)物理存儲(chǔ)空間的需求，從而滿足日益增長(zhǎng)的數(shù)據(jù)存儲(chǔ)需求。

Dedupe技術(shù)目前大量應(yīng)用于數(shù)據(jù)備份與歸檔系統(tǒng)，因?yàn)閷?duì)數(shù)據(jù)進(jìn)行多次備份后，存在大量重復(fù)數(shù)據(jù)，非常適合這種技術(shù)。事實(shí)上，Dedupe技術(shù)可以用于很多場(chǎng)合，包括在線數(shù)據(jù)、近線數(shù)據(jù)、離線數(shù)據(jù)存儲(chǔ)系統(tǒng)，可以在文件系統(tǒng)、卷管理器、NAS、SAN中實(shí)施。Dedupe也可以用于數(shù)據(jù)容災(zāi)、數(shù)據(jù)傳輸與同步，作為一種數(shù)據(jù)壓縮技術(shù)可用于數(shù)據(jù)打包。Dedupe技術(shù)可以幫助眾多應(yīng)用降低數(shù)據(jù)存儲(chǔ)量，節(jié)省網(wǎng)絡(luò)帶寬，提高存儲(chǔ)效率、減小備份窗口，節(jié)省成本。

在實(shí)際應(yīng)用中，想象一個(gè)很長(zhǎng)的PowerPoint銷(xiāo)售介紹結(jié)合詳細(xì)的圖形和視頻。如果銷(xiāo)售組織中每個(gè)人保存該演示文稿，將會(huì)占用你主存儲(chǔ)設(shè)備的很多磁盤(pán)空間，并且為每個(gè)保存的實(shí)例備份，創(chuàng)建更多的冗余文件。而這僅僅是一個(gè)銷(xiāo)售的介紹，企業(yè)中所有其它的以多種格式出現(xiàn)的非結(jié)構(gòu)化的數(shù)據(jù)會(huì)怎么樣呢?你真的想要把錢(qián)花在磁盤(pán)驅(qū)動(dòng)器來(lái)保存冗余數(shù)據(jù)嗎，你真的想不需要的數(shù)據(jù)降低你的存儲(chǔ)性能?

重復(fù)數(shù)據(jù)刪除技術(shù)使用算法搜索重復(fù)數(shù)據(jù)，用“指針”取代重復(fù)的數(shù)據(jù)，指向存儲(chǔ)在網(wǎng)絡(luò)的唯一主副本。重復(fù)數(shù)據(jù)刪除可以在文件級(jí)或數(shù)據(jù)塊級(jí)工作：

——文件級(jí)重復(fù)數(shù)據(jù)刪除：在這個(gè)級(jí)別，重復(fù)數(shù)據(jù)刪除在網(wǎng)絡(luò)搜索冗余文件，并保存該文件只有一個(gè)副本。在網(wǎng)絡(luò)中，當(dāng)一個(gè)文件發(fā)生一個(gè)變化時(shí)，文件的另一個(gè)副本就會(huì)被保存。這種較少用的方法不如塊級(jí)重復(fù)數(shù)據(jù)刪除效率高，因?yàn)樗聦?shí)上不用尋找文件重復(fù)的內(nèi)容。因此，上面引用到的PowerPoint銷(xiāo)售的介紹，如果不同的人用不同的名字保存文件，那么重復(fù)的副本會(huì)被保存和備份。

——塊級(jí)重復(fù)數(shù)據(jù)刪除：對(duì)塊級(jí)別的數(shù)據(jù)復(fù)制，軟件查找文件和存儲(chǔ)里面的唯一文件部分(塊)，這些部分還沒(méi)有被備份。當(dāng)文件被改變，只有被改變數(shù)據(jù)再次被存儲(chǔ)，從而使它在存儲(chǔ)的數(shù)據(jù)量方面遠(yuǎn)遠(yuǎn)超過(guò)文件級(jí)重復(fù)數(shù)據(jù)刪除的效率。它創(chuàng)建了一個(gè)主副本，無(wú)縫地合并了所有的的變化。

——在線重復(fù)數(shù)據(jù)刪除：數(shù)據(jù)寫(xiě)入存儲(chǔ)系統(tǒng)同時(shí)執(zhí)行刪除，因此實(shí)際傳輸或?qū)懭氲臄?shù)據(jù)量較少。適合通過(guò)LAN或WAN進(jìn)行數(shù)據(jù)處理的存儲(chǔ)系統(tǒng)，如網(wǎng)絡(luò)備份歸檔和云備份。

——離線重復(fù)數(shù)據(jù)刪除：先將數(shù)據(jù)寫(xiě)入存儲(chǔ)系統(tǒng)，然后利用適當(dāng)?shù)臅r(shí)間再進(jìn)行重復(fù)數(shù)據(jù)刪除處理。由于寫(xiě)入包含了重復(fù)的數(shù)據(jù)，需要更多的額外存儲(chǔ)空間來(lái)預(yù)先存儲(chǔ)刪除前數(shù)據(jù)。且需要有足夠的時(shí)間窗口來(lái)進(jìn)行重復(fù)數(shù)據(jù)刪除操作。

NETGEAR 基于塊級(jí)別的在線重復(fù)數(shù)據(jù)刪除解決方案

基于重復(fù)數(shù)據(jù)刪除的粒度可以分為文件級(jí)和數(shù)據(jù)塊級(jí)。文件級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)的劣勢(shì)在于精細(xì)度不夠，并且不能提供次文件級(jí)的重復(fù)數(shù)據(jù)刪除功能。這意味著一個(gè)文件中即便有很小的一處改動(dòng)也會(huì)被認(rèn)為是一個(gè)全新的文件而另外儲(chǔ)存。

為了解決文件級(jí)重復(fù)數(shù)據(jù)刪除技術(shù)缺乏精細(xì)度的問(wèn)題，NETGEAR存儲(chǔ)以固定的長(zhǎng)度將數(shù)據(jù)分割成更小的“數(shù)據(jù)塊”。只存儲(chǔ)唯一的數(shù)據(jù)塊并將識(shí)別出重復(fù)的其它數(shù)據(jù)塊用指針?lè)绞酱?，顯然，數(shù)據(jù)塊級(jí)可以提供更高的重復(fù)數(shù)據(jù)刪除率。因此目前NETGEAR主推基于塊級(jí)別的在線重復(fù)數(shù)據(jù)刪除解決方案。

NETGEAR ReadyDATA5200采用塊級(jí)別(128K)的在線重復(fù)數(shù)據(jù)刪除技術(shù)，數(shù)據(jù)寫(xiě)入存儲(chǔ)系統(tǒng)同時(shí)執(zhí)行重復(fù)數(shù)據(jù)刪除，因此實(shí)際傳輸或?qū)懭氲臄?shù)據(jù)量較少。備份數(shù)據(jù)通過(guò)刪除寫(xiě)入ReadyDATA 5200的相同的數(shù)據(jù)塊，大大減少存儲(chǔ)容量需求。該技術(shù)對(duì)于定期創(chuàng)建完整備份而言是理想的備份解決方案，因?yàn)槎鄠€(gè)備份作業(yè)很常見(jiàn)，而任何數(shù)據(jù)寫(xiě)入只有一次，這樣可以節(jié)省容量。適合通過(guò)LAN或WAN進(jìn)行數(shù)據(jù)處理的存儲(chǔ)系統(tǒng)，如網(wǎng)絡(luò)備份歸檔和云備份。

ReadyDATA 5200通過(guò)塊級(jí)別的在線重復(fù)數(shù)據(jù)刪除技術(shù)為企業(yè)數(shù)據(jù)備份提供了一個(gè)符合成本效益的，易于部署的、功能豐富的資源庫(kù)。

重復(fù)數(shù)據(jù)刪除技術(shù)給企業(yè)帶來(lái)的好處

NETGEAR ReadyDATA5200通過(guò)塊級(jí)別的在線重復(fù)數(shù)據(jù)刪除技術(shù)可以幫助企業(yè)解決備份信息存儲(chǔ)的問(wèn)題。該技術(shù)可刪除冗余數(shù)據(jù)，以便更經(jīng)濟(jì)地滿足數(shù)據(jù)的存儲(chǔ)和災(zāi)難恢復(fù)需求。如上文所述，備份環(huán)境中存在數(shù)量驚人的冗余數(shù)據(jù)。通過(guò)有效地部署重復(fù)數(shù)據(jù)刪除，企業(yè)只需利用當(dāng)前備份存儲(chǔ)基礎(chǔ)架構(gòu)的一小部分空間面積和運(yùn)營(yíng)開(kāi)支，即可保護(hù)和恢復(fù)信息。在重復(fù)數(shù)據(jù)刪除方面的投入可以帶來(lái)極大的業(yè)務(wù)好處。重復(fù)數(shù)據(jù)刪除可實(shí)現(xiàn)的業(yè)務(wù)好處包括：

降低基礎(chǔ)架構(gòu)成本。通過(guò)刪除備份中的冗余數(shù)據(jù)，大大減少了保存?zhèn)浞萦诚袼璧幕A(chǔ)架構(gòu)。重復(fù)數(shù)據(jù)消除的直接結(jié)果是減少了保存?zhèn)浞萦诚袼璧拇鎯?chǔ)容量。容量需求的減少意味著購(gòu)置成本以及電源和冷卻成本的降低。

延長(zhǎng)保留時(shí)間。由于重復(fù)數(shù)據(jù)刪除可減少每日備份的內(nèi)容量，因此用戶可以延長(zhǎng)他們的保留時(shí)間策略。如果用戶目前需要較長(zhǎng)的保留時(shí)間，但卻因當(dāng)前流程和策略的限制而無(wú)法實(shí)現(xiàn)，這可以為用戶帶來(lái)巨大的好處。

改進(jìn)數(shù)據(jù)保護(hù)。重復(fù)數(shù)據(jù)刪除使許多企業(yè)能夠創(chuàng)建每日完整備份映像。在這些企業(yè)當(dāng)中，很多都曾經(jīng)因?yàn)閭浞輹r(shí)間段的限制而只能被迫執(zhí)行每周完整備份和每日增量備份。重復(fù)數(shù)據(jù)刪除可減少存儲(chǔ)容量的需求，從而允許企業(yè)采取更積極的備份策略，以減少恢復(fù)時(shí)間。

減少數(shù)量，提高性能。通過(guò)減少總的備份映像大小，公司將更有能力負(fù)擔(dān)磁盤(pán)備份替代傳統(tǒng)磁帶存儲(chǔ)的支出。磁盤(pán)備份支持高速、高度可靠的備份映像，從而可滿足對(duì)更短備份時(shí)間段和更快恢復(fù)時(shí)間的需要。

大大降低備份帶寬需求。重復(fù)數(shù)據(jù)刪除可減少備份映像中的內(nèi)容量，因此會(huì)減少對(duì)該內(nèi)容進(jìn)行遠(yuǎn)程復(fù)制時(shí)的開(kāi)支，從而支持遠(yuǎn)程復(fù)制的備份。此外，NETGEAR通過(guò)利用塊級(jí)別的在線重復(fù)數(shù)據(jù)刪除，可在備份過(guò)程中對(duì)任何數(shù)據(jù)進(jìn)行存儲(chǔ)之前將冗余數(shù)據(jù)從備份過(guò)程中提取出來(lái)。這意味著完成備份的方式是僅移動(dòng)那些尚未存在于備份數(shù)據(jù)庫(kù)中的子文件數(shù)據(jù)元素。

什么樣的重復(fù)數(shù)據(jù)刪除解決方案可用?

要選擇***的解決方案，你需要對(duì)你的存儲(chǔ)基礎(chǔ)設(shè)施和要求制定評(píng)估計(jì)劃。有許多組織面對(duì)顯著增長(zhǎng)的數(shù)據(jù)不堪重負(fù)，因?yàn)樗麄冎皼](méi)有恰當(dāng)?shù)挠?jì)劃。與NETGEAR和他們的存儲(chǔ)專家團(tuán)隊(duì)一起工作將幫助您了解如何設(shè)計(jì)您的存儲(chǔ)基礎(chǔ)設(shè)施使其與您的業(yè)務(wù)目標(biāo)相一致，包括如何以及在哪里部署重復(fù)數(shù)據(jù)刪除解決方案以節(jié)省資金和提高業(yè)務(wù)靈活性。重復(fù)數(shù)據(jù)刪除技術(shù)是一項(xiàng)成熟的技術(shù)，為業(yè)務(wù)提供了實(shí)實(shí)在在的利益--隨著您的數(shù)據(jù)存儲(chǔ)需求的持續(xù)增長(zhǎng)而變得更有價(jià)值?，F(xiàn)在是與NETGEAR一起工作的時(shí)候了，為您的組織選擇正確的解決方案。

總結(jié)：重復(fù)數(shù)據(jù)刪除的合理性

許多企業(yè)都在通過(guò)部署磁盤(pán)備份來(lái)增強(qiáng)，或者，甚至是取代基于磁帶的備份和恢復(fù)基礎(chǔ)架構(gòu)。為什么對(duì)磁盤(pán)備份內(nèi)容進(jìn)行重復(fù)數(shù)據(jù)刪除如此具有吸引力?重復(fù)數(shù)據(jù)刪除可降低備份成本并在以下領(lǐng)域提供更多的好處：

——降低磁盤(pán)容量需求

——縮短備份時(shí)間

——與磁帶相比，加快數(shù)據(jù)恢復(fù)速度

——降低異地復(fù)制成本

——降低備份對(duì)磁帶庫(kù)的依賴性

讓NETGEAR和全球范圍內(nèi)的NETGEAR合作伙伴幫助您所在的企業(yè)擁有世界***的磁盤(pán)備份和重復(fù)數(shù)據(jù)刪除產(chǎn)品。NETGEAR的創(chuàng)新型產(chǎn)品組合、廣泛的信息管理經(jīng)驗(yàn)以及經(jīng)驗(yàn)證的***做法可確保您以***的效率和***的成本從信息基礎(chǔ)架構(gòu)中獲得***的價(jià)值。