AI大模型時(shí)代，數(shù)據(jù)賦予IT人“新使命”

當(dāng)下IT人在企業(yè)中扮演著運(yùn)營支撐的角色。說到運(yùn)維管理，相信每人都是一把辛酸淚，每天承擔(dān)著繁瑣、高負(fù)荷且又高風(fēng)險(xiǎn)的運(yùn)維工作，但在業(yè)務(wù)規(guī)劃和職業(yè)發(fā)展時(shí)又成為了“透明人”。業(yè)內(nèi)有句調(diào)侃的話：“只花錢的人，不配擁有發(fā)言權(quán)”。

隨著AI大模型應(yīng)用的普及，數(shù)據(jù)成為了企業(yè)的關(guān)鍵資產(chǎn)和核心競爭力。近年來，企業(yè)的數(shù)據(jù)規(guī)模從PB級(jí)向百PB級(jí)成倍數(shù)快速增長，數(shù)據(jù)類型也從以數(shù)據(jù)庫為主的結(jié)構(gòu)化數(shù)據(jù)，演變成以文件、日志、視頻等為主的半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。業(yè)務(wù)部門希望數(shù)據(jù)的存儲(chǔ)能夠像圖書館一樣分門別類隨用隨取，同時(shí)又希望數(shù)據(jù)的存儲(chǔ)更安全、更可靠。

IT人，已不再只是負(fù)責(zé)建設(shè)和管理IT資源、保障設(shè)備穩(wěn)定的被動(dòng)角色。

IT人的新使命，演變?yōu)樘峁﹥?yōu)質(zhì)數(shù)據(jù)服務(wù)，讓數(shù)據(jù)好用，幫助業(yè)務(wù)部門用好數(shù)據(jù)！

“基礎(chǔ)設(shè)施”和“數(shù)據(jù)”很近，但兩者的“管理”卻很遠(yuǎn)

針對(duì)基礎(chǔ)設(shè)施的管理，業(yè)界普遍的做法是通過AIOps技術(shù)，將繁瑣的人工日常運(yùn)維改變?yōu)槔霉ぞ咦詣?dòng)化執(zhí)行，通過專家系統(tǒng)、知識(shí)圖譜等智能化能力，主動(dòng)發(fā)現(xiàn)系統(tǒng)隱患、自動(dòng)修復(fù)故障等。生成式AI技術(shù)普及后，近期出現(xiàn)了智能客服、交互式運(yùn)維等新型應(yīng)用。

針對(duì)數(shù)據(jù)的管理，業(yè)界有以Informatica、IBM等為代表的專業(yè)DataOps軟件供應(yīng)商，支持?jǐn)?shù)據(jù)集成、數(shù)據(jù)標(biāo)記、數(shù)據(jù)分析、數(shù)據(jù)優(yōu)化、數(shù)據(jù)市場等能力，為數(shù)據(jù)分析師、BI分析師、數(shù)據(jù)科學(xué)家等業(yè)務(wù)團(tuán)隊(duì)提供服務(wù)。

筆者調(diào)研發(fā)現(xiàn)，目前大部分企業(yè)中的基礎(chǔ)設(shè)施運(yùn)維管理和數(shù)據(jù)管理是割裂的，由不同的團(tuán)隊(duì)負(fù)責(zé)，工具平臺(tái)間也沒有有效協(xié)同。業(yè)務(wù)上數(shù)據(jù)保存在存儲(chǔ)等IT基礎(chǔ)設(shè)施中，應(yīng)該融為一體，但實(shí)際兩者的管理卻相隔甚遠(yuǎn)，甚至兩個(gè)團(tuán)隊(duì)之間語言都不對(duì)齊，這樣通常會(huì)帶來幾個(gè)弊端：

1）數(shù)據(jù)不同源：因?yàn)闅w屬不同團(tuán)隊(duì)和采用不同工具，業(yè)務(wù)團(tuán)隊(duì)通常采用將原始數(shù)據(jù)通過ETL等方式復(fù)制一份至數(shù)據(jù)管理平臺(tái)做分析處理。這樣不僅造成存儲(chǔ)空間浪費(fèi)，還存在數(shù)據(jù)不一致、數(shù)據(jù)更新不及時(shí)等問題，影響數(shù)據(jù)分析的準(zhǔn)確性。

2）跨地域協(xié)同難：如今企業(yè)數(shù)據(jù)中心在多個(gè)城市布局，數(shù)據(jù)在跨地域傳輸時(shí)，當(dāng)前主要通過DataOps軟件在主機(jī)層進(jìn)行復(fù)制，這種數(shù)據(jù)傳輸方式不僅效率低，傳輸過程中也存在安全、合規(guī)、隱私等嚴(yán)重隱患。

3）系統(tǒng)優(yōu)化不充分：當(dāng)前通?；诨A(chǔ)設(shè)施資源的利用情況進(jìn)行優(yōu)化，因?yàn)闊o法感知數(shù)據(jù)布局而實(shí)現(xiàn)全局最優(yōu)，數(shù)據(jù)的保存成本居高不下，有限增長的預(yù)算與成倍的數(shù)據(jù)規(guī)模增長之間的矛盾成為制約企業(yè)數(shù)據(jù)資產(chǎn)積累的關(guān)鍵矛盾。

IT人，打通“基礎(chǔ)設(shè)施”和“數(shù)據(jù)”任督二脈，開啟數(shù)智化飛輪

筆者認(rèn)為，IT團(tuán)隊(duì)?wèi)?yīng)該把“基礎(chǔ)設(shè)施”和“數(shù)據(jù)”作為一個(gè)有機(jī)整體進(jìn)行管理和優(yōu)化，實(shí)現(xiàn)數(shù)據(jù)同源、全局最優(yōu)、安全流通，扮演著數(shù)據(jù)資產(chǎn)管理者的重要角色。

首先，實(shí)現(xiàn)全局文件的統(tǒng)一視圖。利用全局文件系統(tǒng)、統(tǒng)一元數(shù)據(jù)管理等技術(shù)，把不同地域、不同數(shù)據(jù)中心、不同類型設(shè)備中的數(shù)據(jù)形成統(tǒng)一的全局視圖。在此基礎(chǔ)上，能夠按照熱溫冷、重復(fù)、過期等維度進(jìn)行全局優(yōu)化策略的制定，下發(fā)至存儲(chǔ)設(shè)備執(zhí)行，這種方式可以實(shí)現(xiàn)全局最優(yōu)?；诖鎯?chǔ)層復(fù)制的壓縮、加密等技術(shù)，通?？梢詫?shí)現(xiàn)數(shù)十倍的數(shù)據(jù)移動(dòng)速度，效率和安全性都可以得到保證。

其次，將海量非結(jié)構(gòu)化數(shù)據(jù)自動(dòng)生成數(shù)據(jù)目錄。通過元數(shù)據(jù)、增強(qiáng)型元數(shù)據(jù)等自動(dòng)生成數(shù)據(jù)目錄服務(wù)，把數(shù)據(jù)分門別類高效管理起來。業(yè)務(wù)團(tuán)隊(duì)基于目錄可以自動(dòng)提取滿足條件的數(shù)據(jù)進(jìn)行分析處理，而不用人工像大海撈針一樣去找數(shù)據(jù)。筆者調(diào)研發(fā)現(xiàn)通過AI識(shí)別算法實(shí)現(xiàn)數(shù)據(jù)標(biāo)注的技術(shù)已經(jīng)較為成熟，因此可以利用開放框架將不同場景化的AI算法進(jìn)行集成，自動(dòng)分析文件內(nèi)容形成多元化標(biāo)簽，作為增強(qiáng)型元數(shù)據(jù)提升數(shù)據(jù)管理的能力。

同時(shí)，數(shù)據(jù)在跨設(shè)備流動(dòng)時(shí)，需要特別考慮數(shù)據(jù)主權(quán)、合規(guī)隱私等問題。存儲(chǔ)設(shè)備中的數(shù)據(jù)應(yīng)該自動(dòng)分類、隱私分級(jí)、分權(quán)分域等，管理軟件對(duì)數(shù)據(jù)的訪問、使用、流動(dòng)等策略進(jìn)行統(tǒng)一管理，避免敏感信息和隱私數(shù)據(jù)泄露，未來數(shù)據(jù)要素交易場景這些將成為基本要求。比如，數(shù)據(jù)在流出存儲(chǔ)設(shè)備時(shí)，首先需要對(duì)合規(guī)性、個(gè)人隱私等進(jìn)行判定是否滿足策略要求，否則企業(yè)將面臨嚴(yán)重的法律法規(guī)風(fēng)險(xiǎn)。

參考架構(gòu)如下：

根據(jù)筆者調(diào)研以及請(qǐng)教同行專家后，發(fā)現(xiàn)業(yè)界諸如華為存儲(chǔ)、NetApp這樣的領(lǐng)先存儲(chǔ)廠商已經(jīng)發(fā)布存儲(chǔ)和數(shù)據(jù)一體化管理的產(chǎn)品解決方案，相信未來會(huì)有更多廠商支持。

設(shè)備和數(shù)據(jù)兩手都要抓、兩手都要硬。IT人在AI時(shí)代可以扮演更重要的作用。