存儲容量優(yōu)化技術接近行業(yè)拐點
在面世后短短的四年時間里，存儲容量優(yōu)化（SCO: Storage Capacity Optimization）作為一整套技術解決方案已經對存儲管理戰(zhàn)略及成本產生了重大影響。這套技術的最新發(fā)展正在推動行業(yè)迅速接近拐點，為這一領域的廠商帶來了重要啟示。借用上世紀60年代Buffalo Springfield的名言，我們可以說：“有些事情即將發(fā)生”。
真正基于網絡架構的SCO技術的面世以及新近推出的基于硬件的重復數(shù)據刪除技術，這兩種技術發(fā)展將在未來18至24個月內推動存儲行業(yè)發(fā)生顯著變化。當前的SCO市場領袖將受到后起之秀的挑戰(zhàn)，這些后來者同時致力于主存儲和二級存儲容量優(yōu)化，以彌補僅致力于二級存儲技術的SCO廠商的不足。我們相信，受容量優(yōu)化在整個數(shù)據生命周期內的強大數(shù)據存儲優(yōu)勢的吸引，最終大多數(shù)存儲技術都將在誕生不久即向容量優(yōu)化發(fā)展。這些發(fā)展將極大地推動SCO技術在各種規(guī)模的企業(yè)中的應用，其部署價格遠低于現(xiàn)有技術，從而使最終用戶從中受益。
SCO市場：概述
2004年，新興廠商Data Domain推出了“重復數(shù)據刪除”的理念，這種技術可以把一定數(shù)量的信息存儲到與原數(shù)據稱比例，或者比原始空間更小的存儲空間里面 。“重復數(shù)據刪除”能夠識別并刪除冗余數(shù)據，將冗余數(shù)據替換為空間效率更高的指針和索引，以此為基礎，這種技術能夠縮減所需存儲空間，優(yōu)化遠程復制，因此不僅能夠節(jié)約基礎設施，還能夠節(jié)約能耗、冷卻、占地和網絡帶寬等成本。重復數(shù)據刪除以次級存儲應用為主要對象，如備份和歸檔，因為這些應用經常會出現(xiàn)大量數(shù)據冗余。
隨著行業(yè)技術的發(fā)展，從某種意義上來說，人們已經對重復數(shù)據刪除的概念產生了誤解。有些廠商搜索文件級冗余，有些廠商則搜索次文件級冗余。有的廠商推出了新的算法，利用磁帶格式或應用內容感知實現(xiàn)更高的容量優(yōu)化率，這種方法優(yōu)于針對所有數(shù)據類型采用一種算法的解決方案。大多數(shù)采用此類技術的廠商都將其與硬件壓縮加速相結合，以獲得更高的容量優(yōu)化率。
因此，Taneja Group于2008年4月引入了術語“存儲容量優(yōu)化”（storage capacity optimization），用于描述一組相關技術集，這些技術能夠使用最小的原始存儲空間存儲一定數(shù)量的信息。Taneja Group將SCO市場劃分為兩個子市場：主存儲優(yōu)化（PSO）和次級存儲優(yōu)化（SSO）。PSO包括一組用于主存儲應用的技術，SSO則指的是歷史上的“重復數(shù)據刪除”市場，這類技術主要以次級存儲為服務對象。與主存儲相比，次級存儲的性能要求（訪問延遲）一般較低，而且往往包括更多的冗余數(shù)據；以次級存儲為目標開發(fā)出的技術有時并不能有效應用于主存儲。
隨著市場的發(fā)展，Data Domain在SSO領域確立了優(yōu)勢領先地位。2007年，該公司的市場份額已超過50%。不過，最新的兩項技術發(fā)展――應用于主存儲和次級存儲的真正網絡架構的SCO技術以及基于硬件的重復數(shù)據刪除技術――已經帶來了市場轉變的信號，對已經樹立了單純PSO和/或SSO解決方案領先地位的市場領袖形成了威脅。
綜合性SCO應用的“Accordion”（手風琴）效應
要討論如何大范圍部署SCO技術，我們首先必須了解“accordion”（手風琴）效應。數(shù)據只能被運用于能夠讀出此類數(shù)據的應用，一般情況下，這就意味著數(shù)據必須以“未經優(yōu)化”的格式存儲。也就是說，無論當前以何種方式存儲（重復數(shù)據刪除、壓縮等），數(shù)據都必須恢復為原始格式，以使創(chuàng)建了這些數(shù)據的應用能夠讀出這些數(shù)據。只需解讀這些數(shù)據以使其被正確分類（如在備份應用中）或編制索引用于搜索（如在歸檔應用中）的應用并不要求數(shù)據恢復原始格式，但必須能夠查看到足夠的與數(shù)據有關的元數(shù)據，以實現(xiàn)正確的分類或歸檔。
如果被存儲于容量優(yōu)化后的主存儲器內，數(shù)據將被其創(chuàng)建應用反復訪問，并在生命周期的最初幾個月內不斷被修改，因此這些數(shù)據一般在生命周期早期即接受容量優(yōu)化，并在此后不斷地經常擴展。此外，這些數(shù)據在備份之前也將被再次擴展，而備份通常每天都要進行，有些備份的周期甚至更短。隨著時間推移并成為歸檔數(shù)據，數(shù)據將被再次擴展以實現(xiàn)正確索引，并被存儲于長期檔案之中。這種重復擴展與壓縮的過程即所謂的“手風琴”效應。
圖1顯示了數(shù)據在整個生命周期內的運行流程。我們能夠明顯看出，次級數(shù)據的數(shù)量達到主存儲數(shù)據的十倍，且擁有大量冗余數(shù)據（多次備份以及保存微小變化數(shù)據集所致），因此次級數(shù)據是SCO技術的主要對象，SCO技術的投資很快能夠獲得回報，且具有極大的成本節(jié)約潛力。不過，SCO技術能夠提供的價值在很大程度上與需要保留的數(shù)據的總體數(shù)量相關――包括主存儲和次級存儲數(shù)據。如果數(shù)據每年以至少50%至60%或更高的速度增長，許多企業(yè)將很快面臨數(shù)百吉比特（terabytes）主存儲數(shù)據的管理任務。如果達到這種數(shù)據規(guī)模，且主存儲成本可達到磁盤次級存儲的十倍，則PSO將在容量優(yōu)化率尚未大幅增加之前就成為企業(yè)必不可少的經濟選項。
圖1. 標準數(shù)據周期運行流程。紅點表示可以運用現(xiàn)有的SCO技術的數(shù)據流。
如果要將數(shù)據從備份磁盤移植至遠程災難恢復磁盤，并不需要恢復數(shù)據存儲格式，
但如果要將數(shù)據移植至磁帶，則數(shù)據必須以擴展格式存儲。
#p#
分裂型（Disruptive）技術的發(fā)展評估
基于網絡的PSO技術
到目前為止，SCO廠商已經部署了基于源和目標的解決方案，分別用于來自不同優(yōu)勢點的數(shù)據流。已經面世的基于源的解決方案包括集成于企業(yè)備份軟件客戶端的技術，這種技術利用主機資源完成容量優(yōu)化工作。微軟和Sun Microsystems等操作系統(tǒng)廠商已經開始商談將部分SCO技術集成于操作系統(tǒng)，但兩家廠商都尚未有此類產品面世。已經上市的基于目標的解決方案包括線內PSO（GreenBytes、Storwize）、SSO（Data Domain、IBM/Diligent）和后處理POS（NetApp、Ocarina Networks）以及基于“設備”模式的SSO（FalconStor、Sepaton）。
SCO概念既能為主存儲也能為次級存儲提供價值，此外，如果使用不同的算法，在數(shù)據生命周期內針對相同的數(shù)據同時使用PSO和SSO技術也能夠形成技術合力優(yōu)勢?；谠吹慕鉀Q方案能夠對存儲于主應用服務器上的數(shù)據進行“首次處理”。不過，并非所有解決方案都都應用于主存儲。一套特定的PSO算法也許可以高效率地完成特定數(shù)據類型的容量優(yōu)化，并滿足主存儲訪問延遲要求，而另一套SSO算法則能夠在降低訪問延遲要求的前提下實現(xiàn)更高的優(yōu)化率。無論SCO技術部署于源或目標，數(shù)據都會在使用中產生“手風琴”效應。源和目標數(shù)據都必須在使用前再次擴展的事實使PSO和SSO解決方案得以和平共處。
不過，如果在網絡中部署能夠同時實現(xiàn)PSO和SSO功能的SCO技術――并非作為存儲目標，而是作為一整套透明網絡服務，結果將會如何呢？結果是，無論數(shù)據被其創(chuàng)建應用使用還是接受本地備份或遠程備份或歸檔，網絡將在事實上成為一個普通的“轉換”點。如果通過網絡存儲，數(shù)據將在創(chuàng)建后或初次存儲之前立即接受存儲優(yōu)化。基于網絡的SCO廠商必然會支持采用單一的網絡SCO解決方案同時實現(xiàn)PSO和SSO功能，以免采用相互獨立的源和目標解決方案。這些廠商可能會將SCO技術所能夠實現(xiàn)的存儲優(yōu)化率作為根據，除此之外，與部署針對主存儲和次級存儲的不同解決方案相比，在整個企業(yè)內部署單一技術以全面解決SCO問題顯然要更為簡單且成本更低。從這個意義上說，基于網絡部署的SCO可能會對基于源和目標的SCO技術產生威脅（包括PSO和SSO解決方案）。
領先的廣域數(shù)據服務（WDS）廠商Riverbed已經推出了基于真網絡的模型。Riverbed在07年第四季度宣布，公司計劃于2009年推出一種新產品，這種新產品將在WDS產品的基礎上增加SCO功能，用于空閑數(shù)據處理（該公司已經將SCO技術用于不同地點之間的寬帶優(yōu)化）。如果這種技術能夠為其現(xiàn)有的Steelhead客戶帶來更新而不會導致服務中斷，Riverbed將擁有五千多名極有可能購買其SCO解決方案的客戶。在Riverbed模式中，數(shù)據將在創(chuàng)建不久即接受容量優(yōu)化，并一直保持優(yōu)化格式，直至主或次級應用切實使用這些數(shù)據。理解這種模式后，最終用戶可能會提出一個重要的問題：如果已經擁有了PSO/SSO技術作為網絡基礎設施的組成部分，那么在此后的數(shù)據生命期中，我是否還有必要花錢購買獨立的SCO解決方案？
現(xiàn)有的PSO和SSO廠商必須對此做出回應。很明顯，最終用戶想要以透明的方式部署SCO，而不會對主或次級存儲性能帶來不必要的影響。與真網絡模型相比，部署NAS和/或FC（VTL）接口的解決方案可稱為利基解決方案。雖然相關廠商可能會在近期內利用其豐富的業(yè)內經驗提供更高的容量優(yōu)化率，但針對利基應用的高優(yōu)化率可能并不足以說服客戶放棄更為全面的解決方案（雖然存儲優(yōu)化率較低）。內容感知算法能夠針對特定的數(shù)據類型提供更高的容量優(yōu)化率，因此，如果利基市場的數(shù)據量足夠大，這種算法將能夠為廠商提供長期可持續(xù)利基市場機遇。但是，如果不能超越SCO技術的局限而將目光投向更廣大的市場，長期致力于利基市場的廠商將面臨被淘汰的風險。
基于硬件的SCO
2008年10月，一向致力于安全加速和壓縮板研發(fā)的Hifn公司推出了新的板卡級產品，能夠為基于硬件的數(shù)據塊級重復數(shù)據刪除提供支持。這款產品以OEM（原始設備制造商）為目標客戶，能夠使所有基于Windows的白盒（white box）轉變?yōu)镾CO設備，其成本遠低于現(xiàn)有的高成本解決方案。大多數(shù)行業(yè)觀察家都了解硬件壓縮技術對于軟件壓縮技術的影響，我們完全有理由相信，類似的影響也適用于SCO市場（目前仍以基于軟件的SCO為主導）。
Hifn的新技術可能會對三個領域產生影響。首先，現(xiàn)有的重復數(shù)據刪除技術以軟件為基礎，因此可以推斷，在硬件上運行此算法將幫助線內SCO實現(xiàn)更高的運行速率。SCO解決方案以線速運行的能力是線內解決方案的關鍵――無論用于PSO或SSO。基于硬件的解決方案可支持一系列用于主存儲的技術，甚至包括部分現(xiàn)有的算法（包括PSO和SSO），這些算法在軟件上運行時不能滿足在線使用的訪問延遲要求（雖然Hifn的新產品也未直接解決這一問題）?？傊С指呔€速的能力將極大地推動SCO技術在主和次級存儲環(huán)境下的應用。
其次，Hifn的新技術將推動行業(yè)向前發(fā)展，最終使平臺（服務器和存儲）提供商將SCO技術集成于成本更低的解決方案之中。不過，這一切并不會在旦夕之間成為現(xiàn)實：目前的Hifn ASIC只能完成重復數(shù)據刪除工作，因此OEM需要通過增加索引和數(shù)據完整性解決方案自行完成完整的解決方案。未來Hifn有可能推出其他SCO解決方案配件（如索引系統(tǒng)），提高VAR（增值型經銷商）的成本效益，并將SCO輕松集成至現(xiàn)有的服務器和存儲平臺之中。屆時，如果增加SCO技術的成本很低（與部分解決方案價格相比）且正如在服務器或存儲平臺中增加ASIC一樣簡單時，它將成為各家廠商競相購買的對象。相關SCO廠商在過去四年中積累的經驗將使它們在存儲優(yōu)化率方面至少獲得短期優(yōu)勢，但此領域的進一步發(fā)展無疑將會推動商品技術曲線向更高性能發(fā)展。
最后，相關領域的產品價格也將受到影響。我們假定Hifn產品的容量優(yōu)化率僅有單純SCO廠商的80%，最終用戶將能夠根據解決方案價格與容量優(yōu)化率之比輕松找出物有所值的產品。以Hifn卡為基礎的SCO產品的“解決方案”提供了大幅降低產品價格的可能性。最終用戶可能會以“價格/可用GB”為指標衡量解決方案的價值，并據此做出購買決策。[可用容量的計算是指：1GB物理容量在采用SCO算法后所代表的可用GB數(shù)。]因此，我們至少可以預期，Hifn的新產品將在未來18至24個月內推動PSO和SSO解決方案價格大幅下降。
總而言之，Hifn推出的基于硬件的重復數(shù)據刪除解決方案向SCO廠商發(fā)出了不容忽視的警示信號。
對最終用戶的影響
我們認為，在未來18至24個月內，這兩種分裂型技術的發(fā)展――基于網絡結構的SCO與硬件重復數(shù)據刪除――將為最終用戶帶來三個方面的變化：
• 基于硬件的重復數(shù)據刪除將比真網絡SCO更早產生影響，不過這兩種技術將共同推動SCO技術的廣泛應用，促使客戶以戰(zhàn)略眼光看待SCO技術的部署，以期在客戶環(huán)境下取得最佳效果。
• 如果真網絡SCO能夠通過生產環(huán)境證實其可用性，它將推動能夠同時提供主和次級存儲解決方案的SCO技術的發(fā)展，這種技術將放棄利基解決方案。
• 隨著這兩種技術對市場的影響力開始顯現(xiàn)，SCO技術的價格將下降至少30%。
這些發(fā)展將導致市場形勢不明朗，不能做出及時回應的相關SCO廠商將被新的市場領袖所取代。
真正網絡部署的SCO的原理似乎能夠提供更好的模型，因為從定義上看，它比利基解決方案更為全面，但最終的結論仍有待實踐檢驗。我們提醒最終用戶了解網絡SCO的戰(zhàn)略價值，并在網絡SCO上市后根據性能、可調節(jié)性、數(shù)據可靠性和可用性對其實施進行評估。
最后，我們要提醒最終用戶，我們對這些技術發(fā)展的預測并不排斥客戶對PSO或SSO解決方案進行戰(zhàn)略性購買――如果你能夠利用近期硬件成本節(jié)約優(yōu)勢證明此類購買的重大經濟利益。如果數(shù)據量足夠大，PSO和SSO技術都能夠為現(xiàn)在的企業(yè)提供巨大價值，不過我們仍然認為，未來三至五年內，覆蓋主和次級存儲的綜合性解決方案將在總體上取代利基解決方案。
【編輯推薦】
