下面的場(chǎng)景

身為IT部門經(jīng)理的你

是否正在遇到？

“陳工，我是祝工，上次你們推薦的Isilon存儲(chǔ)我們現(xiàn)在已經(jīng)上線了，使用比較簡(jiǎn)單，體驗(yàn)也很好，我們現(xiàn)在數(shù)據(jù)量非常大，后期擴(kuò)展和設(shè)備更新也省去了我數(shù)據(jù)遷移的麻煩，這個(gè)點(diǎn)解決了我多年心中的痛啊，現(xiàn)在晚上終于能安心睡個(gè)好覺了。”

“祝工，你滿意就好，聽到你這么說，我也非常有成就感，現(xiàn)在是不是有什么新的問題??？”

“你懂我，哈哈！其實(shí)是這樣的，我現(xiàn)在碰到了一個(gè)比較頭疼的問題，除了Isilon外，其實(shí)我們還有4套數(shù)據(jù)量比較大的文件存儲(chǔ)，主要存儲(chǔ)項(xiàng)目組文檔資料、合同掃描件、發(fā)票稅控圖片、OA的附件，很多人事資料（包含離職人員檔案）、內(nèi)部培訓(xùn)視頻、APP應(yīng)用圖片數(shù)據(jù)，大大小小加起來也有小300T。”

“這是要上新存儲(chǔ)的節(jié)奏?。?rdquo;

“不不不，陳工，你先冷靜一下，目前的主要問題不是存儲(chǔ)容量和性能，現(xiàn)在應(yīng)用部門經(jīng)常會(huì)找我要這些數(shù)據(jù)報(bào)表，查找某些數(shù)據(jù)在哪個(gè)物理存儲(chǔ)上，或者說部分應(yīng)用數(shù)據(jù)因性能問題，需要從一臺(tái)存儲(chǔ)遷移到另一臺(tái)存儲(chǔ)，這樣的問題很多，而且短期內(nèi)我也不可能采購一套海量存儲(chǔ)，把所有數(shù)據(jù)遷移到一臺(tái)存儲(chǔ)上，還有招標(biāo)規(guī)范性問題，也不能只招一個(gè)品牌存儲(chǔ)......”

☝前面就是我（戴爾科技售前工程師陳森江）最近和用戶電話交流的一個(gè)真實(shí)場(chǎng)景。

聽完之后，我和他總結(jié)了一下，其實(shí)祝工的核心需求是一個(gè)大量文件類數(shù)據(jù)的統(tǒng)一管理平臺(tái)，即多臺(tái)異構(gòu)存儲(chǔ)上的數(shù)據(jù)，在邏輯上有一個(gè)統(tǒng)一管理，同時(shí)不影響原來物理數(shù)據(jù)存儲(chǔ)架構(gòu)，還可以給領(lǐng)導(dǎo)看報(bào)表，幫助應(yīng)用快速查找數(shù)據(jù)，還要在不同物理存儲(chǔ)之間實(shí)現(xiàn)數(shù)據(jù)的快速遷移。

怎么辦呢？

我推薦的是戴爾科技的DataIQ

DataIQ前身是Data Frameworks的Clarity Now，2018年被戴爾科技收購后，經(jīng)過幾個(gè)版本的更新，現(xiàn)被更名為DataIQ。

DataIQ是一個(gè)純軟件的異構(gòu)存儲(chǔ)管理平臺(tái)，而且以旁路方式接入用戶環(huán)境，它的整個(gè)安裝、部署、測(cè)試使用等工作都不會(huì)影響用戶目前的業(yè)務(wù)和生產(chǎn)。

所以，用戶可以在任何時(shí)候安裝部署DataIQ。

DataIQ主要有三個(gè)功能：

• 快速搜索
• 形成報(bào)表
• 數(shù)據(jù)遷移

接下來，我們簡(jiǎn)單看一下

DataIQ的架構(gòu)與應(yīng)用場(chǎng)景

在拓?fù)浼軜?gòu)上，DataIQ本身是部署在Linux上的一臺(tái)Server，支持S3、NFS、CIFS（SMB）和本地掛載。

簡(jiǎn)單來說，無論是哪個(gè)品牌的存儲(chǔ)、哪種型號(hào)，只要通過S3、NFS、CIFS（SMB）協(xié)議，以及本地掛載被DataIQ所在的Linux Server掛載（mount），都能被DataIQ進(jìn)行統(tǒng)一管理，用戶也不用擔(dān)心招標(biāo)采購結(jié)果是哪家存儲(chǔ)。

在配置過程中，只要被管理的存儲(chǔ)開通一個(gè)賬號(hào)給DataIQ Server即可，之后DataIQ Server會(huì)掃描并創(chuàng)建索引。如果用戶只想做數(shù)據(jù)快速搜索、數(shù)據(jù)報(bào)表，那么存儲(chǔ)端需要開通一個(gè)只讀賬號(hào)；如果要在不同存儲(chǔ)（如NAS存儲(chǔ)到對(duì)象存儲(chǔ)）之間做數(shù)據(jù)遷移，那么存儲(chǔ)給DataIQ Server掛載的賬號(hào)需要賦予讀寫權(quán)限。

而訪問DataIQ Server的客戶端可以是Windows Client/Linux Client/MacOS client，在訪問方式上可以通過Web瀏覽器、GUI客戶端，也支持CLI命令行接口，以及Python API和Direct RESTful API訪問。

如果用戶的一些應(yīng)用是基于Python的，那么很多數(shù)據(jù)查詢，報(bào)告甚至數(shù)據(jù)遷移的工作都可以由應(yīng)用程序自動(dòng)完成，可以大大減輕IT管理員的日常數(shù)據(jù)管理工作量。

最后，我們來看一看DataIQ的三個(gè)典型應(yīng)用場(chǎng)景，也許其中就有適合你的：

01左中括號(hào)應(yīng)用場(chǎng)景一：數(shù)據(jù)搜索左中括號(hào)

就如前面我們的客戶祝工提到的一樣，應(yīng)用管理員發(fā)現(xiàn)他們其中一個(gè)應(yīng)用的部分?jǐn)?shù)據(jù)的延時(shí)非常高，他們想知道是不是存儲(chǔ)這部分?jǐn)?shù)據(jù)的存儲(chǔ)，是性能有問題或有其它故障類原因，于是第一時(shí)間找到了祝工，給他一些示例數(shù)據(jù)。

然而要在4套存儲(chǔ)中快速找到這些數(shù)據(jù)所在路徑，并不是容易的事。你需要4套存儲(chǔ)不同用戶的數(shù)據(jù)一套套掛載查看、搜索，而且在上億數(shù)量的文件中搜索你想要的其中幾個(gè)文件，效率是非常低的。

但是有了DataIQ，結(jié)果就完全不同了，祝工只需在DataIQ中搜索，幾秒種就能出結(jié)果。

這到底是如何做到的？

DataIQ通過RocksDB將所有存儲(chǔ)上的非結(jié)構(gòu)化數(shù)據(jù)形成索引，并將索引cache到內(nèi)存中，以實(shí)現(xiàn)快速搜索。在一些用戶的測(cè)試中我們發(fā)現(xiàn)，在一個(gè)60億文件數(shù)量級(jí)的場(chǎng)景（后端存儲(chǔ)以SAS或NL-SAS為主），如果通過DataIQ去搜索一個(gè)文件名，僅需要10-20秒就可以出結(jié)果。但是如果普通的Search方式，可能需要幾十天才能完成，還不能完成全局搜索，要分目錄搜索。

所以，結(jié)合DataIQ實(shí)際使用中更加豐富的數(shù)據(jù)搜索的條件，使用起來更加的豐富與實(shí)用。

DataIQ界面圖

02左中括號(hào)應(yīng)用場(chǎng)景二：快速報(bào)表左中括號(hào)

在一項(xiàng)項(xiàng)目需求中，IT管理員也經(jīng)常會(huì)被領(lǐng)導(dǎo)或應(yīng)用開發(fā)人員問到：

1. 目前所有存儲(chǔ)各自還有多少空間，不同應(yīng)用目錄的文件量達(dá)到多少了，大小有多少，非法字符有多少？
2. 不同的項(xiàng)目組各自用了多少空間？
3. 不同存儲(chǔ)介質(zhì)、不同存儲(chǔ)空間的使用成本大概能統(tǒng)計(jì)出來嗎？目前的IT投入產(chǎn)出還能成正比嗎？
4. 哪些數(shù)據(jù)是重復(fù)的，能快速做到清理嗎？
5. 能不能針對(duì)這些問題出份報(bào)表，明天給領(lǐng)導(dǎo)匯報(bào)？

… …

在使用DataIQ之前，存儲(chǔ)管理員可能需要通過各種第三方工具或存儲(chǔ)管理工具進(jìn)行熬夜統(tǒng)計(jì)，工作瑣碎復(fù)雜，但是使用DataIQ這些都是能夠自動(dòng)去完成。

03左中括號(hào)應(yīng)用場(chǎng)景三：數(shù)據(jù)遷移左中括號(hào)

在我們?nèi)粘４鎯?chǔ)與數(shù)據(jù)的運(yùn)維管理中，因存儲(chǔ)硬件性能問題、存儲(chǔ)生命周期結(jié)束或數(shù)據(jù)歸檔等場(chǎng)景中，IT管理人員都會(huì)面臨大量的數(shù)據(jù)遷移工作，甚至因?yàn)閼?yīng)用與IT存儲(chǔ)管理人員之間看問題重點(diǎn)的不同，導(dǎo)致雙方對(duì)立的情況也經(jīng)常會(huì)出現(xiàn)。

這些問題在DataIQ的幫助下同樣可以很好解決。

IT管理員可以通過DataIQ分配一個(gè)專用的超級(jí)用戶給應(yīng)用開發(fā)或維護(hù)人員，同時(shí)根據(jù)需求分配好空間使用權(quán)限，如高負(fù)載應(yīng)用分配2T全閃空間（如基于戴爾易安信Isilon F800），低負(fù)載分配5T SAS空間（如基于戴爾易安信Unity 480），而歸檔或冷數(shù)據(jù)分配30T對(duì)像存儲(chǔ)空間（如戴爾易安信ECS），這樣應(yīng)用人員可以根據(jù)應(yīng)用的需求自己進(jìn)行數(shù)據(jù)的遷移與歸檔。

這些操作完全不需要接觸后端的物理存儲(chǔ)，存儲(chǔ)管理員只需要做好硬件資源的規(guī)劃與維護(hù)，大大降低了IT存儲(chǔ)管理員的工作量與責(zé)任。

DataIQ對(duì)數(shù)據(jù)遷移支持的對(duì)像也非常豐富，可以支持NAS存儲(chǔ)之間的遷移，也可能從NAS到S3（反之亦然），也可以從NAS到amazon等。

DataIQ就是這樣一款純軟件的、旁路的異構(gòu)存儲(chǔ)管理平臺(tái)（任何時(shí)候都不影響生產(chǎn)環(huán)境），對(duì)戴爾易安信存儲(chǔ)空間的管理完全是免費(fèi)的（非戴爾科技存儲(chǔ)僅按容量收費(fèi)），這對(duì)用戶來說，完全是一個(gè)增值服務(wù)，你還等等什么呢？

如果您有任何問題

歡迎在下方留言

也可以點(diǎn)擊文末閱讀原文

進(jìn)入官網(wǎng)詳細(xì)了解

尊敬的讀者

隨著2021新年的到來

戴爾科技開年第一“惠”盛情來襲

助企業(yè)新的一年牛氣沖天！

多款服務(wù)器、工作站、商用筆記本

等產(chǎn)品限時(shí)優(yōu)惠

更有0元試用、現(xiàn)金紅包

等活動(dòng)等你來參與

快來掃描下方二維碼

或點(diǎn)擊文末閱讀原文

了解活動(dòng)詳情

相關(guān)內(nèi)容推薦：新品：PowerScale里的DataIQ