隨著市場的逐步成熟，要想保持企業(yè)的長期競爭力，運營和產(chǎn)品改進(jìn)工作需要越來越精細(xì)化。

比如，在游戲行業(yè)，玩家留存率是一個關(guān)鍵指標(biāo)，為提升·留存率，需要精細(xì)化地分析玩家是哪一步流失的，根據(jù)游戲進(jìn)程推進(jìn)過程，按照先后順序設(shè)置關(guān)鍵節(jié)點，分析各個節(jié)點流失情況數(shù)據(jù)，可以形成一個玩家流失漏斗。有了玩家流失漏斗，我們可以選擇流失率高的環(huán)節(jié)進(jìn)行進(jìn)一步精細(xì)化分析，找到流失原因，比如機(jī)器適配問題，引導(dǎo)缺乏吸引力問題，數(shù)值設(shè)計問題等，根據(jù)這些原因就可以針對性的在產(chǎn)品和運營側(cè)做改進(jìn)了。

又比如保險行業(yè)，為了提高銷售效率，可以先通過模型預(yù)測用戶的銷售響應(yīng)率，然后將用戶劃分為幾等，分別交由不同級別的銷售人員跟進(jìn)。我們現(xiàn)在在談?wù)摰挠脩舢嬒瘢a(chǎn)品畫像，增長黑客，或者個性化推薦等等，其本質(zhì)上其實都是在實現(xiàn)更精細(xì)化的運營或產(chǎn)品改進(jìn)。

精細(xì)化產(chǎn)品改進(jìn)和運營對企業(yè)應(yīng)用數(shù)據(jù)的能力提出了很高的要求，因為這些改進(jìn)決策的制定不能全憑經(jīng)驗，它們很大程度上還需要建立在堅實的數(shù)據(jù)分析結(jié)果之上。

企業(yè)應(yīng)用數(shù)據(jù)的能力可以簡稱為企業(yè)數(shù)據(jù)能力。從整體上看，它應(yīng)該是由企業(yè)數(shù)據(jù)驅(qū)動業(yè)務(wù)的文化、具有特定技能的人及具有特定功能的IT系統(tǒng)共同構(gòu)成。

既然市場對于企業(yè)的數(shù)據(jù)能力要求越來越高，那么要如何建設(shè)數(shù)據(jù)能力呢？

為了嘗試回答這個問題，我們先看看主要有哪些數(shù)據(jù)工作內(nèi)容。

數(shù)據(jù)工作內(nèi)容

回顧上面的玩家留存率分析過程，可以發(fā)現(xiàn)主要有三部分工作：

• 尋找數(shù)據(jù)
• 加工數(shù)據(jù)
• 分析數(shù)據(jù)并提出產(chǎn)品改進(jìn)的建議

如何支持這三部分工作呢？也可以從三個方面來看：

• 數(shù)據(jù)的日常維護(hù)和管理。它將包括數(shù)據(jù)倉庫/數(shù)據(jù)湖的建設(shè)，數(shù)據(jù)質(zhì)量、標(biāo)準(zhǔn)、模型、安全等數(shù)據(jù)治理內(nèi)容。這將提高尋找數(shù)據(jù)的效率，保障使用數(shù)據(jù)的安全。
• 針對特定問題的數(shù)據(jù)分析。包括基于業(yè)務(wù)的各種指標(biāo)計算，建模分析等。
• 數(shù)據(jù)管理及分析過程中的相關(guān)工具及平臺。這將輔助進(jìn)行數(shù)據(jù)管理和數(shù)據(jù)分析。

為什么是這三個方面呢？事實上，這三個方面分別對應(yīng)了三個不同的專業(yè)領(lǐng)域，它們需要的技能很不一樣，企業(yè)內(nèi)部甚至常常需要分成不同的團(tuán)隊來支持。數(shù)據(jù)的日常維護(hù)和管理需要數(shù)據(jù)工程能力，數(shù)據(jù)分析需要的是分析和建模的能力，工具平臺的開發(fā)則需要軟件開發(fā)能力。

其中，工具平臺研發(fā)和前兩者的相關(guān)性很高。

數(shù)據(jù)管理工作除了包含大量的規(guī)范文檔定義、流程設(shè)計、溝通宣導(dǎo)之外，要在企業(yè)內(nèi)部實現(xiàn)落地則是可以通過工具平臺內(nèi)建流程來支持。事實上這種方式越來越成為一個企業(yè)數(shù)據(jù)管理的演進(jìn)趨勢。這樣一來，企業(yè)內(nèi)部往往可以只設(shè)置少量數(shù)據(jù)管理專家，然后通過配合一個數(shù)據(jù)工具平臺研發(fā)團(tuán)隊來實現(xiàn)數(shù)據(jù)管理。舉個例子。比如對于數(shù)據(jù)質(zhì)量管理，數(shù)據(jù)管理專家可以針對具體的業(yè)務(wù)數(shù)據(jù)定義專用的數(shù)據(jù)質(zhì)量規(guī)則，如空值規(guī)則，值域范圍規(guī)則等。通過數(shù)據(jù)平臺可以將這些規(guī)則進(jìn)行落地(規(guī)則腳本化并配置到平臺)。然后數(shù)據(jù)平臺定期運行相應(yīng)的質(zhì)量檢查腳本來生成數(shù)據(jù)質(zhì)量報告或發(fā)出數(shù)據(jù)質(zhì)量告警，從而指導(dǎo)團(tuán)隊進(jìn)行數(shù)據(jù)質(zhì)量改進(jìn)。

數(shù)據(jù)分析工作同樣離不開工具平臺的支持。即便簡單的能通過sql查詢實現(xiàn)的分析工作，也至少需要提供一個查詢界面，隨著分析工作日漸復(fù)雜，直接粗放的使用數(shù)據(jù)庫工具來支持會顯得越來越吃力和低效。事實上，一般我們會將這里的分析進(jìn)一步細(xì)分為即席查詢分析，定期報表，實時報表，建模分析，線上模型推理等內(nèi)容。想要較完善的支持這些分析工作，沒有一個高效的工具平臺支撐是很難完成的。甚至業(yè)界常常采用數(shù)據(jù)平臺和機(jī)器學(xué)習(xí)平臺雙平臺來進(jìn)行支持。

這三方面的工作可以圖示如下：

從前面的分析來看，企業(yè)除了要從需求端發(fā)展數(shù)據(jù)管理能力和數(shù)據(jù)分析能力，工具平臺的建設(shè)也是必不可少的，工具平臺成熟程度常常與數(shù)據(jù)管理和數(shù)據(jù)分析的效率正相關(guān)。隨著企業(yè)的逐漸發(fā)展壯大，工具平臺往往越來越成為其數(shù)據(jù)能力的核心內(nèi)容。這集中體現(xiàn)在工具平臺越來越難以滿足數(shù)據(jù)管理和數(shù)據(jù)分析的需求，大量的工具平臺定制化需求被提出。

不同的企業(yè)具體情況不同，這三個方面的工作量及對應(yīng)的人員需求量也不同。比如，有的企業(yè)中，數(shù)據(jù)相關(guān)工具和平臺完全來自外部采購，功能相對完善，則可能只需要完成工具平臺運維，內(nèi)部系統(tǒng)集成和管理流程落地，工具平臺研發(fā)人員也可以盡量減少。而與之相對應(yīng)，如果工具和平臺采用基于開源工具自建，有較多的自定義功能，則往往需要擴(kuò)大工具平臺的研發(fā)團(tuán)隊。而有的企業(yè)中，如果數(shù)據(jù)管理人員和數(shù)據(jù)分析人員擁有較強(qiáng)的軟件研發(fā)能力(比如大量來自開發(fā)人員的角色轉(zhuǎn)型)，則工具平臺的研發(fā)可能直接會合并到數(shù)據(jù)管理和分析工作中去。

企業(yè)數(shù)據(jù)能力建設(shè)思路

基于數(shù)據(jù)工作的拆解和分析，我們可以嘗試從以下幾個維度來思考如何進(jìn)行企業(yè)數(shù)據(jù)能力建設(shè)。

第一是數(shù)據(jù)人才資源建設(shè)。

從角色及其能力要求上面劃分，可以大致將數(shù)據(jù)人才資源分為數(shù)據(jù)工程師/數(shù)據(jù)架構(gòu)師，數(shù)據(jù)分析師/數(shù)據(jù)科學(xué)家。我在另一篇文章中探討了這些角色的工作范圍和能力要求，可以作為這些角色定義的參考。從這里的角色定義出發(fā)，企業(yè)就可以根據(jù)自身具體情況規(guī)劃出符合自身文化的數(shù)據(jù)人才資源體系結(jié)構(gòu)，從而在招聘和培養(yǎng)人才上面有一個整體的思路和規(guī)劃。

第二是人員組織和協(xié)作。

有了人，如何才能將大家組織起來，形成合力，做好事情呢?

企業(yè)組織結(jié)構(gòu)一般可以分為職能型、項目型和矩陣型。

職能型組織將核心的工作劃分為不同的功能部門，如產(chǎn)品，運營，銷售，財務(wù)，審計等，這些部門按照職責(zé)范圍大小組成從上到下的層級，最終形成金字塔型的結(jié)構(gòu)。職能型組織結(jié)構(gòu)一個典型的例子就是政府部門和一些傳統(tǒng)的大型國企。其優(yōu)勢是利于各部門形成自己各自的專業(yè)優(yōu)勢，劣勢是難以組成項目組以面向問題的方式解決企業(yè)問題(部門間常常合作困難，相互推諉和爭利)。

項目型組織以面向項目的方式組成項目組來實現(xiàn)人員組織和協(xié)作，其典型的例子是以外包業(yè)務(wù)為主的服務(wù)型公司。其優(yōu)勢是解決問題的效率高，但是不容易積累沉淀組織能力。

矩陣型組織則希望避免職能型組織帶來的部門墻問題，在職能型組織的基礎(chǔ)上引入項目組織形式，在項目需要時從各職能部門抽調(diào)人員形成項目組，由項目組來統(tǒng)一管理。矩陣型組織常常使得某一個角色存在多位領(lǐng)導(dǎo)，從而給員工晉升及工作安排帶來問題。實際企業(yè)中往往是各種組織形式并存，其中重要的是要注意由于部門劃分帶來的部門墻，它對于工作效率常常帶來巨大的負(fù)面影響。

對于剛起步的小型企業(yè)，人才資源有限，往往需要一個人當(dāng)一個團(tuán)隊用，過于清晰的劃分將顯得過于重量級而無必要。

對于一個中大型企業(yè)而言，可以設(shè)立數(shù)據(jù)部，內(nèi)部進(jìn)一步細(xì)分為數(shù)據(jù)管理、數(shù)據(jù)分析、數(shù)據(jù)工具平臺研發(fā)三類角色崗位，形成職能型的垂直組織結(jié)構(gòu)。然后，從各類細(xì)分角色抽調(diào)一部分人組成項目組以支持業(yè)務(wù)線數(shù)據(jù)分析工作。這樣一來，便形成了矩陣型的組織結(jié)構(gòu)。

以上簡要的做了組織結(jié)構(gòu)分析，要想做好數(shù)據(jù)工作，還涉及很多需要更多智慧的管理工作細(xì)節(jié)。

第三是工具平臺建設(shè)。

為什么要單獨談工具平臺建設(shè)呢?因為工具和平臺往往是數(shù)據(jù)能力的依托和沉淀。數(shù)據(jù)管理中的標(biāo)準(zhǔn)和流程需要工具平臺的支持否則很容易變成空中樓閣。而數(shù)據(jù)分析的無數(shù)腳本也需要有機(jī)沉淀，并需要在組織內(nèi)交流和分享，否則就只是數(shù)據(jù)分析師自身的能力而已。

一般而言，工具平臺的建設(shè)有三種模式：

• 外部采購。時間成本可以節(jié)省不少，但需要注意采購的產(chǎn)品的功能邊界，并注意該產(chǎn)品是否可以和內(nèi)部系統(tǒng)有效集成，是否可以支持靈活的功能定制。
• 自建。一般考慮根據(jù)開源的項目進(jìn)行改造，這樣的方式的優(yōu)勢是可定制能力極強(qiáng)，其劣勢就是需要大量的相關(guān)人才并需要一定的時間周期。
• 還有一種中間的方式，那就是采購產(chǎn)品的同時采購定制化服務(wù)，或者和第三方技術(shù)公司合作在開源產(chǎn)品上聯(lián)合開發(fā)定制所需功能。

對于這些不同的工具平臺建設(shè)模式，不同的企業(yè)會做出各自的選擇，但是長遠(yuǎn)來看，一個技術(shù)驅(qū)動的企業(yè)一定對可定制能力有很高的要求，所以可定制能力將是一個必選項。

另一方面，從功能上來看，采購的產(chǎn)品和服務(wù)往往難以完整的實現(xiàn)企業(yè)特定的數(shù)據(jù)管理和分析需要，可能要考慮基于這些產(chǎn)品提供的api來進(jìn)行定制化開發(fā)而舍棄掉它們提供的功能界面。

比如，如果我們用aws的數(shù)據(jù)服務(wù)，數(shù)據(jù)質(zhì)量管理如何實施呢?這時可能需要基于aws的api來開發(fā)一個質(zhì)量管理的工具，通過定義質(zhì)量規(guī)則，配合定期的質(zhì)量檢測任務(wù)調(diào)度來實現(xiàn)。

所以，開發(fā)一個企業(yè)自己的數(shù)據(jù)平臺界面可能是企業(yè)數(shù)據(jù)工具和平臺建設(shè)的關(guān)鍵一環(huán)。這個界面相當(dāng)于定義了企業(yè)自己的數(shù)據(jù)工作接口，而采購的服務(wù)是這一接口的某個具體實現(xiàn)。

接口的定義往往比實現(xiàn)更重要，因為會有太多的企業(yè)資產(chǎn)依賴這樣的接口去實現(xiàn)，比如大量的etl腳本。接口就如同電腦主板的插槽，接口定義好了，企業(yè)就可以按照自己的方式去設(shè)計主板布局及開發(fā)上層軟件，主板布局和上層軟件構(gòu)成了企業(yè)的核心資產(chǎn)和競爭力，而某個接口的具體實現(xiàn)，比如攝像頭、內(nèi)存或硬盤，則應(yīng)該可以較為輕松的替換而不影響企業(yè)主要業(yè)務(wù)。

總結(jié)

總結(jié)一下，以上內(nèi)容從數(shù)據(jù)工作做什么出發(fā)簡要分析了企業(yè)如何進(jìn)行數(shù)據(jù)能力建設(shè)，結(jié)合以往經(jīng)驗從三個方面(人才資源建設(shè)、人員組織合作、工具平臺建設(shè))分享了一些自己的認(rèn)識。