十幅圖讀懂BI自助取數(shù)系統(tǒng)！
有5年沒有做報表取數(shù)了，但現(xiàn)在總是會想起取數(shù)的事，想到了現(xiàn)在還在歡樂運行著的自助取數(shù)系統(tǒng)，親切的叫它”取數(shù)快點吧”，今天就來談一談這個系統(tǒng) 。
一、總體思路
在活字印刷出現(xiàn)以前，要印一本書很困難，需要根據(jù)書的內(nèi)容刻成雕版，由于每本書的內(nèi)容各不一樣，需要為每本書單獨刻成雕版，這樣做既費事又費力。但是后來發(fā)現(xiàn)雖然每本書的內(nèi)容千變?nèi)f化，但是構(gòu)成書的基本單元“字”是不變的，常用的中文字也就幾千個，書無非是這些字的組合。后來畢昇發(fā)明的活字印刷術(shù)將每個字雕刻下來，形成活字，通過對活字的排版和組合來印刷書籍，大大提高了效率。
我們的臨時統(tǒng)計取數(shù)需求也面臨著同樣的問題，每個需求千變?nèi)f化，口徑各不一樣，BI人員需要為其單獨開發(fā)代碼，效率低下。但是通過仔細(xì)分析可以發(fā)現(xiàn)，雖然業(yè)務(wù)口徑各不一樣，但是業(yè)務(wù)口徑基本上是客戶信息、各種業(yè)務(wù)量、產(chǎn)品訂購關(guān)系和各種費用等條件的組合，也就是說構(gòu)成業(yè)務(wù)口徑的基本單元是有限的，只要具備了這些基本能力，就可以通過對這些基本能力的組合來滿足各種業(yè)務(wù)需求。
取數(shù)快點吧正是基于這樣的思想，通過梳理出一系列原子的取數(shù)模型，每個取數(shù)模型對應(yīng)一種基本的數(shù)據(jù)提取能力，然后采用向?qū)降?、圖形化的方式，通過對各個取數(shù)模型的組合來滿足一個復(fù)雜的業(yè)務(wù)取數(shù)需求，改變過去依賴人工的方式，使得業(yè)務(wù)人員能夠直接按需從數(shù)據(jù)倉庫獲取分析數(shù)據(jù)，包括以下幾點：
- 構(gòu)建統(tǒng)一取數(shù)模型庫，豐富基礎(chǔ)的、單元性的數(shù)據(jù)提供能力
- 打造向?qū)降臄?shù)據(jù)機器人自助取數(shù)引擎，使得業(yè)務(wù)人員能夠直接操作
- 實現(xiàn)靈活的自助分析，滿足業(yè)務(wù)人員更深層次的統(tǒng)計分析需求
- 形成學(xué)習(xí)型的取數(shù)社區(qū)，通過不斷的知識沉淀和共享來提升智能化數(shù)據(jù)提取能力
二、取數(shù)模型
一個取數(shù)模型由三大部分組成，分別是數(shù)據(jù)模型、業(yè)務(wù)篩選條件和輸出業(yè)務(wù)指標(biāo)。數(shù)據(jù)模型對應(yīng)于數(shù)據(jù)庫中的一個或者多個物理實體表，業(yè)務(wù)篩選條件是在數(shù)據(jù)模型基礎(chǔ)上定義的條件參數(shù)，輸出業(yè)務(wù)指標(biāo)定義了取數(shù)模型最終能夠輸出的結(jié)果信息。取數(shù)模型本質(zhì)上是對數(shù)據(jù)模型的一種封裝，業(yè)務(wù)篩選條件是數(shù)據(jù)模型的輸入，輸出業(yè)務(wù)指標(biāo)則是數(shù)據(jù)模型的輸出。
為了方便業(yè)務(wù)人員理解和使用，數(shù)據(jù)模型配置器中的“業(yè)務(wù)-數(shù)據(jù)轉(zhuǎn)換配置”起到了數(shù)據(jù)向業(yè)務(wù)進(jìn)行映射的作用，從而達(dá)到向業(yè)務(wù)人員隱藏技術(shù)細(xì)節(jié)，以業(yè)務(wù)語言進(jìn)行展現(xiàn)的目的。以數(shù)據(jù)模型中的“套餐編號”這個屬性為例，如果業(yè)務(wù)人員直接對“套餐編號”這個屬性進(jìn)行配置會覺得非常困難，而通過“業(yè)務(wù)-數(shù)據(jù)轉(zhuǎn)換配置”可以將“套餐編號”重定義成“套餐類型”這個篩選條件，這個篩選條件下可以選擇“動感校園套餐”、“動感社會套餐”等條件值，使得業(yè)務(wù)人員使用起來更為簡單。
在構(gòu)建模型庫的過程中，為提升業(yè)務(wù)人員的可用性和易用性，遵循了如下原則：
可配置性原則：為了提高取數(shù)模型的靈活性，取數(shù)模型中的數(shù)據(jù)模型、業(yè)務(wù)篩選條件和輸出業(yè)務(wù)指標(biāo)均是可配置，可根據(jù)實際需求靈活調(diào)整，例如新增業(yè)務(wù)篩選條件等。
業(yè)務(wù)指標(biāo)相近性原則：通過分析歷史的需求，將經(jīng)常需要同時獲取的信息放在一個模型中，使得模型更符合業(yè)務(wù)人員的使用習(xí)慣，例如模型同時提供客戶最近三個月的ARPU信息等。
篩選條件業(yè)務(wù)化原則：所有的篩選條件均需定義成業(yè)務(wù)人員可理解的形式，降低使用人員門檻。
基于上述原則，對最近6個月的所有取數(shù)需求進(jìn)行了分析和梳理，最終確定了近50個統(tǒng)一的取數(shù)模型，取數(shù)模型覆蓋了業(yè)務(wù)人員常用的各種業(yè)務(wù)場景，以下是示例：
三、自助向?qū)?/strong>
如果說取數(shù)模型庫解決了活字印刷術(shù)中制作活字問題的話，那么數(shù)據(jù)機器人引擎就用來解決對活字進(jìn)行排版及印刷的問題。數(shù)據(jù)機器人引擎為業(yè)務(wù)人員提供了三個方面的核心能力：
- 提供了一個公用的取數(shù)模型展現(xiàn)和對其操作的平臺：數(shù)據(jù)機器人就像一個容器，允許取數(shù)模型庫中的所有模型在這個平臺上進(jìn)行展示，并向業(yè)務(wù)人員提供了一個友好的操作界面，可以按照業(yè)務(wù)人員能夠理解的方式對取數(shù)模型進(jìn)行操作。
- 提供了一個根據(jù)業(yè)務(wù)需求對取數(shù)模型進(jìn)行自由組合的能力：單個取數(shù)模型的能力有限，無法滿足一些復(fù)雜的業(yè)務(wù)需求，數(shù)據(jù)機器人允許業(yè)務(wù)人員對取數(shù)模型進(jìn)行組合，從而具備了靈活應(yīng)對各種業(yè)務(wù)需求的能力。
- 提供了一個將業(yè)務(wù)操作結(jié)果轉(zhuǎn)化為技術(shù)語言并提供最終結(jié)果的能力：數(shù)據(jù)機器人中的SQL解析和執(zhí)行器負(fù)責(zé)將業(yè)務(wù)人員對取數(shù)模型的操作轉(zhuǎn)化成機器能夠識別的SQL語言，并提交數(shù)據(jù)庫執(zhí)行，最終將得到的取數(shù)結(jié)果反饋給業(yè)務(wù)人員。
為了使得業(yè)務(wù)人員能夠方便地完成自助取數(shù)，構(gòu)建了一個向?qū)降摹D形化的數(shù)據(jù)機器人引擎，通過自助數(shù)據(jù)機器人五步法即可快速地獲取數(shù)據(jù)：
***步，基本信息填寫：填寫取數(shù)的基本信息，包括業(yè)務(wù)目的、業(yè)務(wù)口徑等信息。
第二步，選取合適的取數(shù)模型：可以通過標(biāo)簽及搜索的方式從取數(shù)模型庫中選取合適的模型。
第三步，取數(shù)模型配置：對取數(shù)模型的配置主要包括三個方面，一是對模型輸出結(jié)果的勾選，二是業(yè)務(wù)篩選條件的配置，三是外部數(shù)據(jù)的配置，允許導(dǎo)入外部數(shù)據(jù)，以及對取數(shù)結(jié)果進(jìn)行特殊剔除等。
第四步，模型間組合(可選)：選擇兩個以上的模型，可以通過拖拽的方式對模型進(jìn)行自由組合。
第五步，取數(shù)任務(wù)執(zhí)行：配置完數(shù)據(jù)的地域和時間范圍之后即可提交取數(shù)。
當(dāng)然，除了可視化配置，SQL高級模式也必然是要支持的。
四、自助分析
基于數(shù)據(jù)機器人自助取數(shù)結(jié)果，業(yè)務(wù)人員可以根據(jù)系統(tǒng)提供的自助分析功能進(jìn)行靈活的、自由的分析，可以對結(jié)果按多個維度對指標(biāo)進(jìn)行匯總和分析，同時提供了圖形分析和基礎(chǔ)統(tǒng)計學(xué)分析能力，滿足業(yè)務(wù)人員更深層次的分析需要。業(yè)務(wù)人員還可以將自助分析結(jié)果發(fā)布成周期性的統(tǒng)計報表，改變傳統(tǒng)依靠技術(shù)人員手工開發(fā)報表的模式。
五、取數(shù)社區(qū)
取數(shù)快點吧同時是一個全省性的取數(shù)社區(qū)，大家的模型可以共享有無，系統(tǒng)對每次取數(shù)的業(yè)務(wù)口徑、技術(shù)口徑等信息進(jìn)行了結(jié)構(gòu)化，同時允許使用人員通過標(biāo)簽的方式對取數(shù)知識進(jìn)行沉淀，以實現(xiàn)取數(shù)知識的全省共享。
六、效果情況
取數(shù)快點吧是一個相對比較簡單的系統(tǒng)，但的確可以有效的提升取數(shù)效率，首先，人工取數(shù)量會下降，降幅達(dá)到30%左右，其次，業(yè)務(wù)人員潛在的需求得到釋放，取數(shù)量增長了10倍，再次，取數(shù)需求的處理時間由原來人工方式的1-2天下降到30分鐘左右 ，***，取數(shù)可配置化后，錯誤會降低，知識會有傳承，這是實實在在的好處。
七、幾點體會
BI自助取數(shù)系統(tǒng)是否建設(shè)依賴企業(yè)自身的情況，取數(shù)到達(dá)一定規(guī)模都可以考慮，但不是必須的，建設(shè)相對簡單但運營困難，后續(xù)的優(yōu)化迭代很重要。
BI自助取數(shù)系統(tǒng)適用場景是有限的，針對一線清單類取數(shù)需求最為合適，支撐的比例可以超過70%，探索類的復(fù)雜統(tǒng)計分析并不適用，但要相信一個企業(yè)主要的取數(shù)需求其實是非常簡單的，要靠機器替代它。
這里提的方式對于很多企業(yè)并不適用，更好的方式肯定是教會業(yè)務(wù)人員寫簡單的代碼+提供租戶能力，那個才是真正的搭臺唱戲，但這個又有賴于企業(yè)的數(shù)據(jù)文化。
BI自助取數(shù)系統(tǒng)要盡量開放，特別是模型一塊，可以讓一線自主導(dǎo)入或開發(fā)，建系統(tǒng)的是無法理解一線的奇思妙想的數(shù)據(jù)需求的。
BI自助取數(shù)的后臺引擎如果是ORACLE啥的，可以考慮大數(shù)據(jù)解決方案了，關(guān)聯(lián)一下要30分鐘跟幾秒鐘那是幾何級的差距，對于一線體驗影響是巨大的。
BI自助取數(shù)是只是取數(shù)的一種方式，需要與人工取數(shù)協(xié)同，讓用戶有多種選擇，搶占入口，這樣流量總會有的，初期對于提升用戶很重要。
這類系統(tǒng)前期***定制建設(shè)，因為跟業(yè)務(wù)強相關(guān)，沒人持續(xù)的呵護(hù)肯定會死的，大家都懂得。
取數(shù)是BI最為重要的數(shù)據(jù)支撐手段，如果你從事取數(shù)相關(guān)工作，無論是新手還是老手，在疲憊的完成取數(shù)的時候，還是要留點時間給自己，想想有沒有更好的支撐方法，這對于BI很重要。
