重磅，企業(yè)實施大數(shù)據(jù)的路徑
企業(yè)實施大數(shù)據(jù)主要有四個方面的內容：
***，企業(yè)要建立數(shù)據(jù)文化，企業(yè)作決策應該用數(shù)據(jù)來說話。
第二，企業(yè)要建立數(shù)據(jù)的戰(zhàn)略。
第三，企業(yè)在數(shù)據(jù)戰(zhàn)略之下組織數(shù)據(jù)管理團隊的能力。
第四，企業(yè)實施大數(shù)據(jù)的技術能力。
企業(yè)實施大數(shù)據(jù)的具體的建設路徑有兩個方面，一方面是自下而上，另一方面是自上而下。
自上而下
自上而下的路徑，首先是有序地在管理層建立數(shù)據(jù)的決策文化，在企業(yè)文化層面建設起數(shù)據(jù)的使用意識，然后建立對應的組織架構、對應的部門和團隊，確定需要招聘什么樣的人進來、需要多少人、具體職責怎么劃分，***建立起對應的技術平臺。
自下而上
自下而上***是讓員工學習和掌握相關技術技能，可以通過內部培訓，也可以通過外部招聘。第二，要有規(guī)劃地設計，以后系統(tǒng)怎么走、怎么做，要有一個長期的規(guī)劃。第三，要有明確的績效考核的指標，數(shù)據(jù)的管理、質量的管控、效益怎么保證。第四，在思維上要保持一個開放的態(tài)度，互聯(lián)網(wǎng)時代大數(shù)據(jù)還在發(fā)展的初期，一般認為大數(shù)據(jù)在企業(yè)的應用還處于幼兒園階段，這個時候還有很多東西要學習，必須保持一個開放的心態(tài)，不斷地學習，才能真正把事情做好。
(一) 建立企業(yè)的數(shù)據(jù)文化
文化是企業(yè)看待事物的價值觀和執(zhí)行行動的衡量標準。建立數(shù)據(jù)文化就是要在整個企業(yè)層面建立一種以客觀的數(shù)據(jù)為決策依據(jù)和衡量標準的價值觀和制度體系，為企業(yè)能夠真正利用大數(shù)據(jù)產(chǎn)生價值提供基礎。沒有這個基礎，企業(yè)即使擁有再好的技術和資源，也無法利用好它們來為企業(yè)服務。
什么叫企業(yè)數(shù)據(jù)文化?它包括六個方面的內容。
***，數(shù)據(jù)文化主要體現(xiàn)在數(shù)據(jù)驅動決策，決策主要通過數(shù)據(jù)來說話。
第二，企業(yè)運行效率的分析。一方面，通過對數(shù)據(jù)進行深度分析，可以像望遠鏡一樣了解企業(yè)各方面的運營情況，另一方面，數(shù)據(jù)可以像顯微鏡一樣去觀察企業(yè)運營的細節(jié)，找到以優(yōu)化的地方。
第三，通過數(shù)據(jù)來分析營銷規(guī)劃的得失。通常企業(yè)做促銷活動，銷售量提升了就覺得是成功了，但是促銷是有成本的，銷量提升了，是不是真的就帶來效益了呢?
第四，在以人為本的時代，企業(yè)對員工的人身安全和健康的責任越發(fā)重大了。如果能通過客觀可衡量的數(shù)據(jù)，關注員工的工作環(huán)境和舒適性，對保障良好健康的工作環(huán)境、提升員工的滿意度將起到非常重要的作用。
第五，員工績效，必須要有一個數(shù)量化的指標。
第六，價值鏈中的數(shù)據(jù)管理。在縱向供應鏈中通過數(shù)據(jù)的分享和交換，可以更好地讓供應鏈上下游的企業(yè)了解整個供應鏈上的需求、庫存和供給，從而可以優(yōu)化鏈條上的庫存，主動發(fā)起供給的準備，更快地應對市場的變化。在橫向生態(tài)鏈中，通過分享和交換數(shù)據(jù)，可以在全方位生活場景中對用戶進行分析，從而打造出滿足用戶更廣泛需求的一站式服務，不僅可以挖掘出更多的商業(yè)機會，而且增強了用戶的粘性。
(二) 建立企業(yè)的數(shù)據(jù)戰(zhàn)略
建立企業(yè)的數(shù)據(jù)戰(zhàn)略，需要建設三個方面的內容，如下圖
數(shù)據(jù)模型
***個方面是建立完整的數(shù)據(jù)模型。數(shù)據(jù)模型的目的是正確地定義數(shù)據(jù)，對數(shù)據(jù)進行分類和確定數(shù)據(jù)交互之間的標準。將對企業(yè)業(yè)務管理的理解，轉化為數(shù)據(jù)的要求，從而理解到底什么樣的數(shù)據(jù)需要管理。不同的系統(tǒng)產(chǎn)生不同的數(shù)據(jù)，各系統(tǒng)之間的數(shù)據(jù)和數(shù)據(jù)之間互相交互的內容是什么。企業(yè)內部有不同的系統(tǒng)，ERP系統(tǒng)、供應鏈系統(tǒng)、CRP系統(tǒng)等，用戶信息放在哪，供應商信息、物聯(lián)網(wǎng)信息、財務信息分別放在哪，他們之間怎么協(xié)調，怎么溝通?這些都是需要考慮的問題。
數(shù)據(jù)服務
第二個方面是建立數(shù)據(jù)服務體系，包括選用什么樣的技術平臺、采用什么樣的數(shù)據(jù)技術，不同的系統(tǒng)如何使用這些不同技術，包括傳統(tǒng)的數(shù)據(jù)庫、數(shù)據(jù)倉庫、商業(yè)智能、新型的Hadoop等?；跇I(yè)務架構的設計，來設計數(shù)據(jù)應用的架構，然后通過數(shù)據(jù)交互接口來交換數(shù)據(jù)，從而避免出現(xiàn)數(shù)據(jù)孤島，同時建立統(tǒng)一的數(shù)據(jù)規(guī)劃，確保數(shù)據(jù)源的統(tǒng)一和一致性，為后期的數(shù)據(jù)分析提供支持。
數(shù)據(jù)管理
第三個方面是建立數(shù)據(jù)的治理體系。數(shù)據(jù)治理包括數(shù)據(jù)的管理制度和整體生命周期的管理。數(shù)據(jù)正在成為一種資產(chǎn)，與此相對應的，資產(chǎn)需要體系化的管理。數(shù)據(jù)的資產(chǎn)權利管理，包括確定數(shù)據(jù)的所有權、確定每個數(shù)據(jù)的所有者、誰是這個數(shù)據(jù)的管理者、誰來負責這個數(shù)據(jù)的準確性、誰來保障數(shù)據(jù)的質量，等等。數(shù)據(jù)的高質量是進行數(shù)據(jù)分析的基礎，數(shù)據(jù)如果是錯誤的，怎么分析都不會有正確的結果。同時，數(shù)據(jù)的合規(guī)和安全的管理也是核心環(huán)節(jié)，比如誰可以操作數(shù)據(jù)、誰負責數(shù)據(jù)的安全、備份和服務等，一個嚴格的數(shù)據(jù)的合規(guī)和安全管控制度是必不可少的。
數(shù)據(jù)的生命周期管理，包括如何和何時建立數(shù)據(jù)、什么時候可以修改、誰批準修改、數(shù)據(jù)如何消除等。國內的企業(yè)這方面做得比較欠缺，不只是數(shù)據(jù)，還包括設備、電腦等，電腦報廢了不能用了，就直接丟棄。在這方面，國外企業(yè)做得不錯，國外信息安全的企業(yè)，通常會花錢請第三方公司來進行專業(yè)的數(shù)據(jù)銷毀的處理，甚至每臺電腦花費幾百塊錢來進行環(huán)保型銷毀。比如在一些數(shù)據(jù)消除案例中，數(shù)據(jù)要用各種方法來確保被徹底擦除，比如有些企業(yè)要求對數(shù)據(jù)進行格式化七遍，以避免可能的數(shù)據(jù)恢復。
(三) 建立企業(yè)的數(shù)據(jù)組織能力
建立數(shù)據(jù)的組織能力，包括設立合適的組織角色的定位、招聘到合適的人員、設立合適的組織結構以及設計合適的責權利，等等。
***，數(shù)據(jù)的組織能力，建議有條件的公司可以建立***數(shù)據(jù)官(ChiefData Officer)崗位，這個崗位主要是設計整個數(shù)據(jù)的戰(zhàn)略，領導數(shù)據(jù)戰(zhàn)略的落地，以及通過數(shù)據(jù)和業(yè)務管理層進行溝通、對話，傳遞數(shù)據(jù)的價值。
第二，數(shù)據(jù)科學家的作用非常重要，數(shù)據(jù)科學家研究的是如何用***、最科學的算法得出***的結果。同樣一堆數(shù)據(jù)在那兒，十個不同的人在看，十個人看的結果都不同。那么為什么科學家算得準呢?因為他的知識夠深入，他了解哪個因素最重要，那么多因素里面他應該選哪部分來分析。數(shù)據(jù)科學家目前是整個市場上最欠缺的人才，因為同時兼具數(shù)據(jù)算法專業(yè)知識和業(yè)務知識的人才是極其難得的。數(shù)據(jù)科學家可以分為三種類型，***種是技術型數(shù)據(jù)科學家，他們是計算算法方面的行家，對各種統(tǒng)計分析技術非常在行;第二種是應用數(shù)據(jù)科學家，他們對數(shù)據(jù)架構非常熟悉，熟悉數(shù)據(jù)在各個系統(tǒng)中的分布，能夠很好地把各種數(shù)據(jù)進行集成管理;第三種是業(yè)務數(shù)據(jù)科學家，這些人對行業(yè)知識和企業(yè)業(yè)務非常熟悉，同時兼具一部分對數(shù)據(jù)處理技術的了解，能很好地把業(yè)務的需要和特征轉換成數(shù)據(jù)的處理要求，同時可以很好地將數(shù)據(jù)處理結果轉換成業(yè)務的視角和言語，來傳遞給業(yè)務管理者。
第三，對于一定規(guī)模的企業(yè)，我們通常建議，企業(yè)要建立一個集中式的數(shù)據(jù)管理運營中心。云計算服務就是集中化管理方式，成本***、靈活性***、擴展性***。
第四，整個數(shù)據(jù)組織的架構標準不是以技術、產(chǎn)品來交付，而是以商業(yè)價值交付為衡量標準?？剂繑?shù)據(jù)分析的產(chǎn)出能力，不是數(shù)據(jù)分析的速度有多快，也不是數(shù)據(jù)量有多大，而是數(shù)據(jù)分析的結果對業(yè)務到底有沒有幫助、是不是有指導意義。這也是所有數(shù)據(jù)分析的核心價值，也是對大數(shù)據(jù)中“大”的含義的最核心的衡量標準——“大”到產(chǎn)生業(yè)務價值。這個衡量標準對技術組織來說，執(zhí)行起來有些困難，所以必須建立一個明確的績效評估標準和價值評估標準，讓技術人員能夠更多地從業(yè)務角度來考慮所做的工作的價值，而不陷入技術優(yōu)先論的境地。
第五，提升一線人員的業(yè)務決策權和數(shù)據(jù)決策權，建立一個扁平化管理的組織。通過系統(tǒng)化的培訓來不斷培養(yǎng)員工的數(shù)據(jù)分析能力。由專業(yè)數(shù)據(jù)分析人員和算法人員設計的數(shù)據(jù)分析解決方案或者產(chǎn)品，必須以簡單易用的方式提供給一線員工，同時更為重要的是，加強相關的解決方案或者數(shù)據(jù)產(chǎn)品的系統(tǒng)化培訓，讓更多的員工意識到這些解決方案或者產(chǎn)品的價值，并樂于在日常工作中使用。我們建議數(shù)據(jù)建模/數(shù)據(jù)產(chǎn)品研發(fā)的費用和針對一線員工的使用培訓的投入應該是對半分的。為了更好地推進培訓，企業(yè)還可以考慮成立興趣驅動的數(shù)據(jù)協(xié)會，讓更多的員工加入到該協(xié)會中，定期舉行培訓課程、研討沙龍以及聘請外部專家做相關分享以開拓視野。
建立了企業(yè)的數(shù)據(jù)組織能力后，企業(yè)使用數(shù)據(jù)的過程如下闡述。
首先搜集數(shù)據(jù)，從不同地方把數(shù)據(jù)找到，找到以后選擇算法。其次進行業(yè)務關聯(lián)的分析，確定哪些指標、哪些維度是有意義的，這就是數(shù)據(jù)科學干的事。業(yè)務科學家和數(shù)據(jù)科學家可以分離，也可以整合，大部分企業(yè)是一套人馬來做，展示成一個業(yè)務的可以接受、可以理解的方法，如果單純是數(shù)據(jù)展示，可能管理層、業(yè)務部門看不懂，這就需要轉換成業(yè)務管理者可以理解的語言和信息。***，提交給管理層或者是對應的部門作商業(yè)決策。這就完成了一個完整的價值交付。
在上述的數(shù)據(jù)處理過程中，數(shù)據(jù)團隊中有不同的崗位來執(zhí)行對應的工作。在數(shù)據(jù)的采集和清理環(huán)節(jié)，主要是數(shù)據(jù)管理員，包括企業(yè)內部的數(shù)據(jù)抓取，外部的微博、淘寶、第三方電信等的數(shù)據(jù)采集，數(shù)據(jù)很多，需要做清理，把一些沒有用的數(shù)據(jù)處理掉，留下來有效的數(shù)據(jù)，這主要是數(shù)據(jù)管理員要做的事情。接下來是數(shù)據(jù)科學家，選擇正確的算法，同時可以根據(jù)業(yè)務的維度制作各種不同的模型，來得出一個分析的結果。再接下來，還有一個團隊是業(yè)務分析師，根據(jù)這些分析結果，將其轉換成業(yè)務人員可以理解的語言和展示方法，交給CDO和核心管理層、決策層做溝通，幫助他們作決策。作為整個技術平臺的提供者，還有一個技術團隊做具體的平臺搭建，可以自行開發(fā)基于Hadoop開源的大數(shù)據(jù)平臺，或者購買第三方的系統(tǒng)做管理維護，也可以直接使用大數(shù)據(jù)的SaaS服務平臺來快速建立大數(shù)據(jù)技術能力。
(四) 選擇技術平臺
企業(yè)以往使用傳統(tǒng)數(shù)據(jù)進行復雜分析時，多使用數(shù)據(jù)倉庫和商務智能系統(tǒng)，也就是所謂的OLAP系統(tǒng)，對傳統(tǒng)數(shù)據(jù)比如財務數(shù)據(jù)、用戶數(shù)據(jù)進行抓取、挖掘和分析，然后通過頁面展示出來，這是非實時的分析系統(tǒng)。在互聯(lián)網(wǎng)+時代，要將第三方的社交數(shù)據(jù)和電商數(shù)據(jù)，比如微博、電商數(shù)據(jù)等放進來分析是很難的，因為傳統(tǒng)的架構是基于結構化的數(shù)據(jù)基礎上的，而現(xiàn)在更大量的數(shù)據(jù)是非結構化的數(shù)據(jù)，傳統(tǒng)方式很難支持。這樣我們分析數(shù)據(jù)就碰到一些困難，大數(shù)據(jù)應運而生，Hadoop是其中最重要的一個平臺。
Hadoop是一個生態(tài)系統(tǒng)，它里面包括了一些計算的系統(tǒng)、數(shù)據(jù)存儲的系統(tǒng)、數(shù)據(jù)分析的系統(tǒng)，它是阿帕奇組織在2004年正式開展的一個項目。Hadoop是一個非常重要的革命性的應用，因為它是免費發(fā)布，讓很多人都有機會使用，現(xiàn)在很多企業(yè)都是以Hadoop開源平臺為基礎，再由內部技術人員做一些優(yōu)化來使用。
傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)的關系是一個發(fā)展和結合的關系。傳統(tǒng)數(shù)據(jù)還是可以分析出對業(yè)務有價值的信息，也還是用以前倉庫的方式分析，新型數(shù)據(jù)用大數(shù)據(jù)的方式分析，兩個系統(tǒng)***進行整合，形成一個后端的解決方案;現(xiàn)在也出現(xiàn)了一種完全集成式的方案，這是最近一兩年出現(xiàn)的新的大數(shù)據(jù)平臺，可以同時兼容新的大數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)，這種集成式的應用將會越來越多。市場上很多公司的商業(yè)套件和Hadoop開源的方案有什么區(qū)別呢?它們的主要區(qū)別是商業(yè)套件在性能上做了優(yōu)化、提升，在安全上做了增強，它加入了針對對應行業(yè)的業(yè)務理解，幫助企業(yè)預置了建模的方法和工具，但問題是價格比較貴。所以，各種方案的選擇是基于企業(yè)的實際情況，包括預算和團隊能力等因素綜合考慮的。
(五) 數(shù)據(jù)的開放和共享
對于數(shù)據(jù)的來源，企業(yè)內部通常不具有大數(shù)據(jù)分析所需要的所有數(shù)據(jù)。2014年，我國的大數(shù)據(jù)市場規(guī)模84個億，預計2015年達到166個億，增長40%。相信隨著大數(shù)據(jù)交易平臺的建設，增長還會更多。根據(jù)中國信息通訊研究院的研究報告，企業(yè)對大數(shù)據(jù)的認同度，認為“比較重要”的達到97%，這說明企業(yè)對大數(shù)據(jù)的重要性是有認識的，問題是怎么來落地。企業(yè)對待大數(shù)據(jù)往往關注的是安全性和穩(wěn)定性。這說明雖然企業(yè)已經(jīng)意識到大數(shù)據(jù)的重要性，但還是比較保守，對安全的顧慮影響了對數(shù)據(jù)商業(yè)價值的挖掘。隨著安全技術的發(fā)展以及對商業(yè)價值的認識的提高，企業(yè)應用大數(shù)據(jù)、獲取和交換數(shù)據(jù)將會越來越多。安全和商業(yè)價值永遠是一對需要衡量的關系，它就像速度和成本、速度和質量一樣是相輔相成、互相平衡的關系，要同時追求兩方面是有困難的，不同時期要有不同的策略。
企業(yè)對政府公開數(shù)據(jù)的需求非常強烈。市場上有很多針對政府數(shù)據(jù)的創(chuàng)業(yè)公司，例如一家企業(yè)叫法海風控，他是從法律層面分析企業(yè)的信用狀態(tài)，通過分析企業(yè)相關的法律文書，比如這家企業(yè)過去數(shù)年有沒有相關的法律官司、勝訴還是敗訴，也包括相關聯(lián)企業(yè)涉及到的法律行為，從這些角度提供風控的判斷，這是一個很好的應用案例，這取決于政府的數(shù)據(jù)公開程度。政府擁有海量的數(shù)據(jù)，如交通數(shù)據(jù)、社保數(shù)據(jù)等，一旦這些數(shù)據(jù)能夠公開，將會帶來大量的創(chuàng)業(yè)機會，也會給企業(yè)帶來更多考慮問題的維度，所以企業(yè)都希望政府能夠盡快地公開數(shù)據(jù)。
(六) 找好切入點，小步快走
關于實施路徑，企業(yè)或多或少已經(jīng)有一些數(shù)據(jù)、有一些系統(tǒng)，這個時候是推倒重來，還是有一些別的方法?數(shù)據(jù)能夠在哪些領域實現(xiàn)業(yè)績的大幅提高?數(shù)據(jù)能在哪些領域實現(xiàn)企業(yè)運營效率的提升?這些問題很重要，一開始就必須提出來。每個重要業(yè)務部門和職能部門都需要考慮這個問題，并展開相關的研討。企業(yè)高管實施大數(shù)據(jù)戰(zhàn)略的時候，需要高度重視這一步，但在國內很多企業(yè)往往忽略這一方面，投入大數(shù)據(jù)往往不是以提升業(yè)績?yōu)閷?，而是以學術為導向，使得很多企業(yè)實施大數(shù)據(jù)戰(zhàn)略后，看不到數(shù)據(jù)對企業(yè)績效的提升，從而使得大數(shù)據(jù)戰(zhàn)略流產(chǎn)。
(七) 放眼未來，永遠在路上
大數(shù)據(jù)是不是***的?是不是永遠有效的?大數(shù)據(jù)的使用有限制嗎?正確地認識這些問題，有助于企業(yè)更好地利用大數(shù)據(jù)，更客觀地看待大數(shù)據(jù)。
***，大數(shù)據(jù)不是***的，大數(shù)據(jù)的使用是有限制的。大數(shù)據(jù)的使用，首先是在討論相關性的時候，而在判斷、解決一個具體問題的時候，大數(shù)據(jù)不是***的方法。
第二，大數(shù)據(jù)即使大，也不能囊括所有的數(shù)據(jù)，大數(shù)據(jù)終究有成本的問題，準確性還不會達到***。雖然它足夠可以做預測，但是不是絕對正確的東西。
第三，我們不能過于相信數(shù)據(jù)，因為有時候數(shù)據(jù)會解讀得不對，所以還要嘗試做一個驗證，如果這明顯和常識相反，你要驗證一下你的分析方法否正確。
還有一個問題是數(shù)據(jù)的安全，數(shù)據(jù)這么重要，能不能保護好數(shù)據(jù)，數(shù)據(jù)使用過程中有一些問題和潛在的風險。
***的寄語：大數(shù)據(jù)是文化和技術的結合，最終的目的是產(chǎn)生業(yè)務價值。
***，大數(shù)據(jù)技術是IT驅動業(yè)務變革的一個機會，不管從IT部門本身的定位、IT對企業(yè)產(chǎn)生的作用來說，還是企業(yè)能夠增強核心競爭力的角度來說，大數(shù)據(jù)都是一個非常重要的推動力。
第二，應用大數(shù)據(jù)技術的前提是要有一個數(shù)據(jù)驅動決策的企業(yè)文化，如果用大數(shù)據(jù)形成了一個報表，企業(yè)管理者作決策時根本不看，這就沒有意義了。只有當企業(yè)建立了數(shù)據(jù)驅動決策的文化，并真實地執(zhí)行后，數(shù)據(jù)的價值才能夠充分實現(xiàn)。所以大數(shù)據(jù)使用的重要前提是企業(yè)有數(shù)據(jù)驅動決策的文化。
第三，數(shù)據(jù)本身只是一些信息，大數(shù)據(jù)的價值不在于數(shù)據(jù)本身，而在于如何通過數(shù)據(jù)做分析整理，***產(chǎn)生分析和預測，傳遞業(yè)務價值，這才是使用大數(shù)據(jù)的目的和核心。
