在自然界中有一種物質(zhì)叫做“暗物質(zhì)”，從物理學(xué)家的解釋來看，“暗物質(zhì)”是自然界當(dāng)中最充滿能量的部分，如何發(fā)揮“暗物質(zhì)”的作用是當(dāng)代自然科學(xué)研究的話題。而在數(shù)據(jù)科學(xué)領(lǐng)域，人們都在討論如何發(fā)掘隱藏在企業(yè)內(nèi)部和整個(gè)互聯(lián)網(wǎng)上巨量的“暗數(shù)據(jù)”，怎樣發(fā)揮“暗數(shù)據(jù)”的價(jià)值。

有一種說法，人類只要利用大腦的 10%，就可以實(shí)現(xiàn)長生不老。即便在無數(shù)神經(jīng)學(xué)家將其斥為胡編亂造的無稽之談，多年以后，我們還是不會(huì)放棄這種念頭，因?yàn)槲覀冎雷陨磉€有很多潛力沒有發(fā)揮，只是有待發(fā)掘。同樣，許多企業(yè)也僅利用了數(shù)據(jù)的一小部分，而把經(jīng)過巨大的開銷存儲(chǔ)著的關(guān)于流程、員工、客戶和產(chǎn)品的寶貴數(shù)據(jù)放在數(shù)據(jù)孤島中，無法有效利用。我們對數(shù)據(jù)的挖掘還處在一個(gè)非常初級的階段，可將其稱之為“黎明前的黑暗”階段。

定義“暗數(shù)據(jù)”

“暗數(shù)據(jù)”是指企業(yè)已付費(fèi)購買、收集以及存儲(chǔ)在各種系統(tǒng)和數(shù)據(jù)存儲(chǔ)中，但實(shí)際上目前并未使用、分析甚至訪問的所有數(shù)據(jù)。我們可以將“暗數(shù)據(jù)”視為大數(shù)據(jù)的子集，它可以包括存儲(chǔ)在 CRM 數(shù)據(jù)倉庫的結(jié)構(gòu)化數(shù)據(jù)、日志文件甚至來自于社交媒體的非結(jié)構(gòu)化數(shù)據(jù)等所有數(shù)據(jù)。

當(dāng)然，有些企業(yè)已經(jīng)實(shí)施數(shù)據(jù)倉庫或者大數(shù)據(jù)平臺(tái)，清楚數(shù)據(jù)的存在，并正在發(fā)掘數(shù)據(jù)的價(jià)值，但他們依然存在暗數(shù)據(jù)的問題。因?yàn)閷?shí)施數(shù)據(jù)倉庫常常是站在IT的角度，對于IT來講或許已經(jīng)是可以利用的明數(shù)據(jù)，對于其它部門，尤其是業(yè)務(wù)部門如果沒有充分有效的利用手段和方式，仍然是“暗數(shù)據(jù)”。如果您實(shí)際上無法利用付費(fèi)購買的數(shù)據(jù)，那么最終您就無法對企業(yè)的整體行為形成一致觀點(diǎn)。這意味著您將無法分析流程、合理配置資源，也無法在系統(tǒng)中找到代表您的專有優(yōu)勢的數(shù)據(jù)。

“暗數(shù)據(jù)”產(chǎn)生

顯而易見， 沒有任何組織主動(dòng)采取低效、 昂貴和不明智的措施。但一系列新應(yīng)用程序和大量新數(shù)據(jù)已使很多公司忽視了他們已經(jīng)擁有和付費(fèi)購買的數(shù)據(jù)。為何會(huì)有這么多“暗數(shù)據(jù)”存在？我們從以下四點(diǎn)來解釋：

1、企業(yè)甚至沒有意識到數(shù)據(jù)的存在

企業(yè)不止有IT部門，還有更多的業(yè)務(wù)人員、管理決策人員，當(dāng)他們嘗試解答疑難問題或改進(jìn)工作方式時(shí)，會(huì)回避尋找并分析自己不熟悉的數(shù)據(jù)集的挑戰(zhàn)，這種情況十分常見。不幸的是，往往由于缺乏技能、時(shí)間或能力，他們很難將正確的數(shù)據(jù)公諸于世，這在日常的工作當(dāng)中是非常典型的一種場景。舉例說明，有些企業(yè)表示不清楚到底有多少客戶，這是真的嗎？回答是否定的，因?yàn)楝F(xiàn)在的企業(yè)IT已非常完善，每一筆客戶的交易信息都會(huì)存在系統(tǒng)當(dāng)中，或許有些數(shù)據(jù)質(zhì)量不是很好，但它們都是存在的，只是企業(yè)自己沒有意識到。如果這些數(shù)據(jù)以整個(gè)組織都能訪問的方式存儲(chǔ)，就能為更多業(yè)務(wù)部門、項(xiàng)目團(tuán)隊(duì)提供支持，進(jìn)而制定更明智的決策，并對更多假設(shè)進(jìn)行測試。

2、企業(yè)意識到數(shù)據(jù)的存在，但不知道具體位置，利用的手段和方法也不足

企業(yè)已經(jīng)建設(shè)了很多數(shù)據(jù)管理系統(tǒng)，知道數(shù)據(jù)是存在的，但如果組織的數(shù)據(jù)體系結(jié)構(gòu)或復(fù)雜的數(shù)據(jù)流程起到阻礙作用，那就很難訪問數(shù)據(jù)。如果各個(gè)部門都在數(shù)據(jù)孤島中工作，并且數(shù)據(jù)保存在遺留數(shù)據(jù)存儲(chǔ)中，那么即使是求知欲***的團(tuán)隊(duì)也會(huì)徒然碰壁。如果沒有制定關(guān)于存儲(chǔ)和管理所有這些數(shù)據(jù)的整個(gè)企業(yè)范圍的戰(zhàn)略，那么組織的決策質(zhì)量仍將受制于內(nèi)部組織架構(gòu)和過時(shí)的技術(shù)。

3、實(shí)際利用數(shù)據(jù)過于昂貴阻礙了數(shù)據(jù)使用的效果

即使企業(yè)已經(jīng)發(fā)現(xiàn)了所需的“暗數(shù)據(jù)”，通常也必須面對與在遺留系統(tǒng)上處理這些數(shù)據(jù)相關(guān)的一連串成本問題，如數(shù)據(jù)利用的環(huán)節(jié)過長。即便他們通過使用Hadoop此類的新軟件架構(gòu)，在價(jià)格較低廉的硬件上復(fù)制這些數(shù)據(jù)來努力避免這些成本，但與遷移流程和獲取新技能相關(guān)聯(lián)的初始成本對于單個(gè)項(xiàng)目而言，通常仍顯得過高。這也造成了很多的數(shù)據(jù)其實(shí)仍然是未被充分使用的狀態(tài)，仍然隱藏在我們的IT系統(tǒng)和日常流程當(dāng)中。為了充分利用企業(yè)已擁有的數(shù)據(jù)，需要為更現(xiàn)代化的數(shù)據(jù)體系結(jié)構(gòu)奠定基礎(chǔ)，否則，您仍會(huì)繼續(xù)為數(shù)據(jù)支付巨額費(fèi)用，卻無法承擔(dān)對其進(jìn)行分析產(chǎn)生的成本。

4、某些數(shù)據(jù)存在遵守法律的問題

如金融、電信、醫(yī)療等行業(yè)的數(shù)據(jù)量非常多，但無法將某些數(shù)據(jù)提供給任何人分析，最重要的原因之一是害怕違反法律法規(guī)的要求。對于企業(yè)而言，要使其擁有的數(shù)據(jù)具有意義，需要部署明確定義的流程和工具，以保證這些數(shù)據(jù)的安全性。Informatica 有專門的解決方案，叫做數(shù)據(jù)脫敏（Data Masking），保證數(shù)據(jù)隱私不被泄露的情況下充分利用數(shù)據(jù)。

公開“暗數(shù)據(jù)”

既然我們面臨著非常多的“暗數(shù)據(jù)”，那么公開就是它的對立面，叫做數(shù)據(jù)的透明化，我們期望的結(jié)果是企業(yè)中所有數(shù)據(jù)，對企業(yè)的任何一個(gè)參與者——IT、業(yè)務(wù)、決策、財(cái)務(wù)——都是透明的，在他們想分析的時(shí)候都能找到所需的數(shù)據(jù)。

任何企業(yè)在發(fā)掘數(shù)據(jù)價(jià)值的時(shí)候，往往包括三種典型的角色：集成商、IT部門和業(yè)務(wù)部門。人們常常討論誰才是數(shù)據(jù)的主人，一般認(rèn)為是業(yè)務(wù)部門，但完成實(shí)際操作過程的卻是集成商，似乎所有的報(bào)表都是集成商來做，所有的分析也是集成商完成。在數(shù)據(jù)分析數(shù)據(jù)使用中有一個(gè)常常被大家忽略的過程，被稱為數(shù)據(jù)的探索和探查的過程也是由集成商來完成。這其實(shí)是業(yè)務(wù)模式的一個(gè)致命弱點(diǎn)，由集成商完成數(shù)據(jù)探查工作，再根據(jù)業(yè)務(wù)或者IT提的報(bào)表分析需求來使用這些數(shù)據(jù)，使用數(shù)據(jù)的主體——業(yè)務(wù)部門并沒有參與探索數(shù)據(jù)，并沒有親身體驗(yàn)分析數(shù)據(jù)的過程。

業(yè)務(wù)部門參與數(shù)據(jù)挖掘?qū)?shù)據(jù)價(jià)值的實(shí)現(xiàn)大小關(guān)系密切。如果找集成商來做大數(shù)據(jù)平臺(tái)可能也叫BIG DATA，但這個(gè)“BIG”很小；假如IT部門能充分參與架構(gòu)設(shè)計(jì)和數(shù)據(jù)的探索過程，這個(gè)“BIG”會(huì)變得大一點(diǎn)；假如業(yè)務(wù)部門也參與可能使“BIG”變得更大，數(shù)據(jù)在企業(yè)中的流程也會(huì)縮短，業(yè)務(wù)部門會(huì)知道數(shù)據(jù)的存放位置，“暗數(shù)據(jù)”問題能夠更快解決。

業(yè)務(wù)部門如何才能自我分析數(shù)據(jù)，實(shí)現(xiàn)自助服務(wù)？他們需要一個(gè)有效的IT支撐手段，需要IT把暗數(shù)據(jù)透明化，變成透明的數(shù)據(jù)。實(shí)現(xiàn)數(shù)據(jù)透明化的一個(gè)基礎(chǔ)是數(shù)據(jù)標(biāo)準(zhǔn)化，建立標(biāo)準(zhǔn)化平臺(tái)。暗 數(shù) 據(jù)存在于不同系統(tǒng)中，需要重新格式化、解析、篩選、標(biāo)準(zhǔn)化、整合以及細(xì) 化， 使 其 為 輸 入 到 任何分 析 工 具 和 應(yīng) 用 程 序 中 做 好準(zhǔn)備。

真正釋放“暗數(shù)據(jù)”潛能，讓數(shù)據(jù)見光需要一定的策略變化，除了上述的要啟動(dòng)業(yè)務(wù)部門的自助服務(wù)的能力，以及啟動(dòng)IT部門的標(biāo)準(zhǔn)化構(gòu)建，還有一個(gè)關(guān)鍵點(diǎn)是啟動(dòng)可重復(fù)利用“暗數(shù)據(jù)”的流程。大多數(shù)公司所犯的***錯(cuò)誤是認(rèn)為他們只需對其“暗數(shù)據(jù)”進(jìn)行一次深入探究，這可不止是一個(gè)一次性的流程。數(shù)據(jù)只會(huì)不斷增長，無論是規(guī)模、多樣性還是價(jià)值，提供數(shù)據(jù)的應(yīng)用程序的數(shù)量和類型也會(huì)不斷變化，因此，與其一遍又一遍地解決單個(gè)“暗數(shù)據(jù)”項(xiàng)目，應(yīng)該考慮建立一個(gè)可重復(fù)的流程。這意味著采用所需技術(shù)，建立現(xiàn)代化的基礎(chǔ)架構(gòu)，以使您的所有數(shù)據(jù)隨時(shí)可供訪問并保持一致，使其保持潔凈、安全、互聯(lián)互通。

“暗數(shù)據(jù)”并非僅僅表明技術(shù)開支效率低下，它還表明企業(yè)難以利用其積累起來的豐富知識，“暗數(shù)據(jù)”是一個(gè)有待發(fā)掘的潛在金礦。在我國當(dāng)前新型工業(yè)化進(jìn)程中，提倡大數(shù)據(jù)的前奏叫數(shù)字化，數(shù)字化能夠貫通各個(gè)環(huán)節(jié)，把原來可能隱藏在工業(yè)流程當(dāng)中的數(shù)據(jù)釋放出來，用數(shù)據(jù)來描述工業(yè)流程，這也成為眾多領(lǐng)先企業(yè)希望征服“暗數(shù)據(jù)”的原因所在。