維克多在2012年出版的《大數(shù)據(jù)時代》一書中曾預(yù)測：數(shù)據(jù)列入企業(yè)資產(chǎn)負(fù)債表只是時間問題。如今，伴隨著新興科技手段的融合創(chuàng)新，大數(shù)據(jù)已經(jīng)應(yīng)用到了我們生活中的方方面面，數(shù)據(jù)資產(chǎn)的概念已逐漸得到國內(nèi)外企業(yè)的強(qiáng)烈認(rèn)同。

但是，數(shù)據(jù)和企業(yè)資產(chǎn)可以直接劃等號嗎?實(shí)際情況是，沒有經(jīng)過系統(tǒng)管理和規(guī)劃治理的數(shù)據(jù)集群，不僅很難為企業(yè)創(chuàng)造實(shí)際效益，而且還將帶來權(quán)限混亂、計(jì)算能力下降、冗余存儲計(jì)算、資源浪費(fèi)等問題，使整個數(shù)據(jù)集群處于“亞健康”狀態(tài)。

那么，是否有正本清源的應(yīng)對方案呢?聯(lián)通大數(shù)據(jù)有限公司技術(shù)部負(fù)責(zé)人李大中日前在2019大數(shù)據(jù)產(chǎn)業(yè)峰會-大數(shù)據(jù)前沿技術(shù)論壇進(jìn)行分享，他以《聯(lián)通大規(guī)模數(shù)據(jù)集群治理實(shí)踐》為主題，分享運(yùn)營商在數(shù)據(jù)資產(chǎn)管理方面的經(jīng)驗(yàn)和對策。

下文為李大中演講內(nèi)容整理：

聯(lián)通大數(shù)據(jù)有限公司承擔(dān)著聯(lián)通大數(shù)據(jù)能力建設(shè)和對外服務(wù)運(yùn)營職能，目前平臺存儲容量達(dá)100PB，Hadoop集群超過6000個節(jié)點(diǎn)，數(shù)據(jù)模型數(shù)量達(dá)2000余個。作為運(yùn)營商在數(shù)據(jù)治理過程中，既要面對大數(shù)據(jù)量的實(shí)時處理需求，也必須從成本角度考慮集群算力配置、安全合規(guī)等方面的要求。大數(shù)據(jù)是一個高成本行業(yè)，集群算力成本是其中主要部分。

通過參考行業(yè)的治理經(jīng)驗(yàn)，并結(jié)合公司業(yè)務(wù)和組織架構(gòu)特點(diǎn)，我們總結(jié)出了一套適合公司業(yè)務(wù)發(fā)展的數(shù)據(jù)資產(chǎn)管理體系，也就是“疏整促+巡山+DataValue”數(shù)據(jù)資產(chǎn)管理體系：基于“疏整促”工程構(gòu)建的全生命周期數(shù)據(jù)管控治理體系，基于“巡山”工程構(gòu)建的大規(guī)模集群治理體系，基于“DataValue”工程實(shí)現(xiàn)對外數(shù)據(jù)價值經(jīng)營，三大工程同步推進(jìn)，形成數(shù)據(jù)治理+集群治理+數(shù)據(jù)價值的整體協(xié)同效應(yīng)。

在實(shí)際執(zhí)行中，“巡山”工程作為 切入點(diǎn)首先啟動，效果也最為明顯。在大規(guī)模集群計(jì)算環(huán)境處于亞健康的狀態(tài)下，我們將治理工作分解為兩階段：首要任務(wù)是解決亞健康問題，即保障集群資源算力可用、確保集群穩(wěn)定性、業(yè)務(wù)連續(xù)性;長期和更為重要任務(wù)是保持健康狀態(tài)，即持續(xù)有效的監(jiān)督數(shù)據(jù)治理工程的效果。

關(guān)于大規(guī)模數(shù)據(jù)集群治理的推進(jìn)方法論，由于集群治理涉及到從采集、清洗到模型加工，從平臺運(yùn)維崗到產(chǎn)品開發(fā)崗，幾乎涵蓋了公司的整個技術(shù)線和產(chǎn)品線上百人工作內(nèi)容，所以采用自上而下的頂層設(shè)計(jì)的方式是不現(xiàn)實(shí)的，我們采用的是自下而上、自發(fā)協(xié)同、精益推進(jìn)式的數(shù)據(jù)集群治理文化。從發(fā)現(xiàn)問題點(diǎn)入手，由點(diǎn)帶面找到原因、制定解決策略并建立相應(yīng)的監(jiān)督點(diǎn)，最終逐漸形成體系;通過某幾個環(huán)節(jié)治理成果顯性化，帶動整個公司生產(chǎn)組織體系逐漸形成治理文化。

在治理過程中，針對我們遇到過的幾個重要的點(diǎn)向大家介紹一下思路：

1. HDFS&YARN作業(yè)深度監(jiān)控

針對小文件過多、文件量過大、耗資源大等情況，聯(lián)通大數(shù)據(jù)通過自主研發(fā)一套統(tǒng)一元數(shù)據(jù)實(shí)時采集平臺對Fsimage和EditLog進(jìn)行反序列化解析，實(shí)時批量獲取資源隊(duì)列信息、文件目錄、作業(yè)任務(wù)信息等內(nèi)容，通過多維關(guān)聯(lián)畫像洞察疑似異常作業(yè)，推動作業(yè)優(yōu)化和監(jiān)控優(yōu)化效果。最終集群文件數(shù)量從接近8000萬下降為3000萬，平均文件大小提升4倍。集群資源負(fù)載從每天幾乎處于打滿狀態(tài)，下降為不到70%。每年節(jié)約固定資產(chǎn)投入上千萬元。

2. RPC請求和關(guān)鍵服務(wù)預(yù)警

針對集群RPC經(jīng)常出現(xiàn)請求延時過大，甚至達(dá)到秒級，導(dǎo)致集群處于停擺不可用狀態(tài)，通過采集JMX指標(biāo)、服務(wù)連接數(shù)、堆棧信息、GC等信息進(jìn)行關(guān)聯(lián)畫像，并下鉆洞察相關(guān)作業(yè)，精準(zhǔn)定位待優(yōu)化作業(yè)。優(yōu)化后集群RPC請求延時大幅減少，下降為毫秒級別。

3. 重復(fù)加工/冗余計(jì)算挖掘

針對數(shù)據(jù)重復(fù)加工、冗余計(jì)算等情況，估計(jì)大家的系統(tǒng)中或多或少都存在，這種情況直接導(dǎo)致資源被浪費(fèi)。我們通過對HDFS JOB BINARY FILE分析，定位疑似冗余計(jì)算作業(yè)，這種方式同組織架構(gòu)復(fù)雜度無關(guān)、不依賴上層業(yè)務(wù)輸入，其核心思想就是通過提取出具有相同輸入路徑的作業(yè)，以目錄維度視角挖掘疑似重復(fù)作業(yè)，優(yōu)化后集群資源降低10%以上。

4. 重構(gòu)元數(shù)據(jù)管理、血緣分析應(yīng)用

針對數(shù)據(jù)加工流向追溯、敏感數(shù)據(jù)難以有效跟蹤等情況，通過對HIVE執(zhí)行日志進(jìn)行SOL解析，以及通過對SPARK作業(yè)輸入輸出目錄畫像，以無侵入方式建設(shè)企業(yè)級全域元數(shù)據(jù)平臺，提供全域物理視圖、業(yè)務(wù)視圖、元數(shù)據(jù)變更跟蹤監(jiān)控、全域數(shù)據(jù)血緣關(guān)系圖等核心功能，滿足復(fù)雜的追溯需求以及故障范圍評估。

談及在治理過程中的感受，李大中指出：“大規(guī)模數(shù)據(jù)集群治理并非單人、單項(xiàng)目組能夠完成的，而是需要以文化滲透的形式動員到公司生產(chǎn)開發(fā)組織體系中，采用自下而上自發(fā)協(xié)同，以O(shè)KR而非KPI的方式管理，在解決問題的過程中不斷調(diào)整目標(biāo)，從而建成持續(xù)優(yōu)化的治理體制。當(dāng)然，技術(shù)人員也要擁抱和吃透大數(shù)據(jù)開源技術(shù)，采用開創(chuàng)性的思維去解決問題。”