大數(shù)據(jù)的下一革命——敏捷BI
本著務(wù)實(shí)的態(tài)度,利用較低的成本,通過對大數(shù)據(jù)進(jìn)行高速捕獲和實(shí)時(shí)的分析,以獲取核心業(yè)務(wù)和戰(zhàn)略決策所需的關(guān)鍵信息,從而提升企業(yè)經(jīng)營管理和戰(zhàn)略決策水平,最終創(chuàng)造巨大的商業(yè)價(jià)值,也許是對大數(shù)據(jù)價(jià)值的***詮釋。
在對大數(shù)據(jù)進(jìn)行分析的過程中,傳統(tǒng)數(shù)據(jù)挖掘/BI(Business Intelligence)的做法是,IT人員事先根據(jù)分析需求來進(jìn)行建模(以及做二次表或打Cube),提前匯總好數(shù)據(jù),業(yè)務(wù)人員在前端查看分析結(jié)果報(bào)表。
這種做法很成熟,持續(xù)了很多年,但是也存在著一些問題:
1.業(yè)務(wù)人員查看的報(bào)表相對靜態(tài),分析的維度和度量的計(jì)算方式已在建模時(shí)預(yù)先設(shè)定好,不能更改,比如定好了是求和或求平均數(shù),想改成求方差必須回去修改模型;
2.分析需求變更時(shí),業(yè)務(wù)人員不能直接調(diào)整報(bào)表,需要IT人員重新建模或修改已有分析模型,耗時(shí)較長,響應(yīng)速度較久。
造成這些的問題的本質(zhì)原因是,過去的技術(shù)架構(gòu)針對海量數(shù)據(jù)的計(jì)算能力不足,需通過建模、二次表、Cube提前進(jìn)行數(shù)據(jù)運(yùn)算匯總。
解決方案——敏捷BI
隨著技術(shù)的發(fā)展和演進(jìn),BI領(lǐng)域已經(jīng)迎來了新一代敏捷BI的革新。采用敏捷BI的數(shù)據(jù)分析優(yōu)點(diǎn)包括:
-
分析報(bào)告不能只能看而不能動(dòng)。數(shù)據(jù)展現(xiàn)是起點(diǎn),而不是終點(diǎn)??吹搅藬?shù)據(jù),要能交互式分析,要能深入向下挖掘,要能發(fā)現(xiàn)問題,要能找到答案,還要能采取行動(dòng)。和數(shù)據(jù)交互的過程要足夠快,如果用戶每次點(diǎn)擊需要等三五分鐘才出結(jié)果,就無法進(jìn)行交互分析。敏捷BI基于大數(shù)據(jù)的處理技術(shù),對TB-PB級的數(shù)據(jù)可實(shí)現(xiàn)秒級響應(yīng);
-
分析報(bào)告應(yīng)能讓非IT部門的同事直接在分析平臺上做出來。不能把所有的分析報(bào)告需求都提交到IT部門,這樣會(huì)嚴(yán)重增加IT部門的工作負(fù)擔(dān)。敏捷BI實(shí)施和操作簡單,業(yè)務(wù)人員可直接使用;
-
分析報(bào)告需求經(jīng)常需要數(shù)據(jù)層的改動(dòng),需要IT部門去改進(jìn)數(shù)據(jù)層和業(yè)務(wù)層,傳統(tǒng)BI平臺需要一兩個(gè)月去梳理模型。敏捷BI無需事先建模,可在分析過程中靈活調(diào)整分析維度和報(bào)表展現(xiàn),需求變更可以在一天之內(nèi)響應(yīng),提升企業(yè)的洞察力決策力。
敏捷BI的原理
與傳統(tǒng)BI的重量建模、統(tǒng)一視圖不同,敏捷BI采取輕量建模、N個(gè)視圖的方法,不建二次表和Cube,數(shù)據(jù)連進(jìn)來直接可以進(jìn)行分析,并且業(yè)務(wù)人員可以實(shí)時(shí)調(diào)整分析的維度和度量的計(jì)算方式,極大增加靈活性,真正做到和數(shù)據(jù)對話。
想必大家會(huì)有一個(gè)疑問,既然有這么便捷的方式,為何傳統(tǒng)BI不采用這種架構(gòu)呢?正如上文所說,傳統(tǒng)的技術(shù)架構(gòu)沒有引入現(xiàn)在的大數(shù)據(jù)技術(shù),面對海量數(shù)據(jù)無法在用戶點(diǎn)擊的幾秒內(nèi)就展現(xiàn)結(jié)果,因此必須通過建模提前把數(shù)據(jù)匯總好,才能保證分析報(bào)表展現(xiàn)時(shí)的速度。實(shí)現(xiàn)敏捷BI的大前提是采用新架構(gòu)處理數(shù)據(jù)的性能有了幾十倍提升,涉及的技術(shù)包括分布式計(jì)算、內(nèi)存計(jì)算、列存儲、庫內(nèi)計(jì)算等。
因此,敏捷BI可以通過更低的成本、更短的上線周期,快速讓企業(yè)洞察到數(shù)據(jù)的含義和價(jià)值。
《自由人》里提到一句順豐快遞王衛(wèi)說的話——有時(shí)候,僅僅是快,就能改變一個(gè)行業(yè)。
我們先來看一個(gè)真實(shí)案例。
某互聯(lián)網(wǎng)媒體/研究機(jī)構(gòu)面臨以下問題:
-
•該機(jī)構(gòu)是國內(nèi)***的互聯(lián)網(wǎng)媒體/研究機(jī)構(gòu),70%以上的海外上市企業(yè)引用其研究分析報(bào)告。同時(shí)向客戶提供定制化咨詢報(bào)告的服務(wù),分為提供線下報(bào)告和提供軟件兩種服務(wù)類型;
-
•客戶的定制化需求多變,若生成報(bào)告需3-4周交付周期,若提供軟件需半年交付周期。由于人工成本高,迭代周期太長,不敢承接太多報(bào)告需求的項(xiàng)目,每年只能做少數(shù)的定制化項(xiàng)目;
-
•因此,該機(jī)構(gòu)希望借助BI工具提升業(yè)務(wù)效率和收入空間。
-
總結(jié)一下該機(jī)構(gòu)的需求:
-
•項(xiàng)目的需求舉例:根據(jù)時(shí)間維度,網(wǎng)站匯總,進(jìn)行用戶的來源地區(qū)、來路域名和頁面訪問次數(shù),停留時(shí)間,有效訪問次數(shù)、跳出率、回訪者、新訪問者、回訪次數(shù)、回訪相隔天數(shù)等相關(guān)數(shù)據(jù)的統(tǒng)計(jì)。要能夠動(dòng)態(tài)添加條件,通過對用戶行為監(jiān)測獲得的數(shù)據(jù)進(jìn)行分析,更加詳細(xì)、清楚地了解用戶的行為習(xí)慣;
-
•每天數(shù)據(jù)量幾千萬條,且不同網(wǎng)站客戶的分析需求是各自不同的,靈活變化的多維度分析需求對分析性能提出了更高的挑戰(zhàn),傳統(tǒng)的數(shù)據(jù)庫以及Hadoop架構(gòu)已經(jīng)無法滿足高性能的即時(shí)分析需求;
-
•國外的產(chǎn)品,如IBM、SAP、Oracle等,價(jià)格較為昂貴,在幾百萬量級,難以承受;
-
•國內(nèi)的產(chǎn)品大多是上一代BI,需事先建模再進(jìn)行分析,難以應(yīng)對靈活的多維度分析變化需求,且針對大數(shù)據(jù)量的處理能力不能滿足要求。
最終該機(jī)構(gòu)采用了敏捷BI技術(shù),將三個(gè)月的細(xì)節(jié)數(shù)據(jù)(約50億條)導(dǎo)入敏捷BI系統(tǒng),直接定制報(bào)告的分析展現(xiàn)。這一舉措為客戶帶來了巨大的收益:
-
業(yè)務(wù)效率提升:采用敏捷BI工具后,對比原先基于Excel和SQL編程的分析方法,線下報(bào)告交付周期從3-4周縮短至小于1周,軟件交付從半年縮短至一個(gè)月;
-
項(xiàng)目來源增加:原先不敢承接需求未完全確定的項(xiàng)目,因擔(dān)心需求變化導(dǎo)致沒有能力交付。采用敏捷BI工具后,可在幾天內(nèi)快速搭建原型向客戶展示,任意需求變更可在一周內(nèi)調(diào)整完畢。通過這種快速原型試錯(cuò)的方式,有了能力承接此類項(xiàng)目;
-
收入空間加大:由于業(yè)務(wù)效率的極大提升,有能力承接更多的項(xiàng)目,收入空間有了幾倍的增長;
-
客戶滿意度提升:能夠快速響應(yīng)客戶的需求和變化,超出客戶預(yù)期,大幅提升了客戶滿意度和客戶留存率。
不僅如此,該機(jī)構(gòu)后續(xù)還進(jìn)行了創(chuàng)新模式的轉(zhuǎn)型:
-
基于敏捷BI工具,該機(jī)構(gòu)構(gòu)建了新型的SaaS平臺,進(jìn)一步提升用戶體驗(yàn),為客戶提供直觀可交互的分析展現(xiàn)報(bào)告
-
通過SaaS的賬號銷售模式帶來穩(wěn)定的長期可持續(xù)收入,改變了原先基于一個(gè)個(gè)獨(dú)立項(xiàng)目的營收模式
-
該機(jī)構(gòu)的價(jià)值描述從媒體/咨詢服務(wù)公司向提供大數(shù)據(jù)服務(wù)的互聯(lián)網(wǎng)應(yīng)用提供商轉(zhuǎn)變,大幅提升資本市場價(jià)值
-
旗下子機(jī)構(gòu)迅速跟進(jìn)敏捷BI工具的使用和新模式的改變
這是一個(gè)單一企業(yè)的案例,事實(shí)上,敏捷BI對個(gè)人、企業(yè)、乃至行業(yè)都會(huì)產(chǎn)生很大影響。
對個(gè)人的變革:
業(yè)務(wù)人員可以通過自服務(wù)的方式與數(shù)據(jù)進(jìn)行交互式探索,更加敏捷的進(jìn)行數(shù)據(jù)分析,洞察數(shù)據(jù)含義和價(jià)值。
IT人員不再被繁重的修改建模任務(wù)拖累其它高價(jià)值的工作,生產(chǎn)力得到釋放。
對企業(yè)的變革:
對擁有大數(shù)據(jù)的企業(yè),如咨詢研究機(jī)構(gòu)、互聯(lián)網(wǎng)營銷機(jī)構(gòu)、輿情/商情分析機(jī)構(gòu)、精準(zhǔn)營銷機(jī)構(gòu)、以及各行業(yè)的傳統(tǒng)企業(yè),無論是內(nèi)部使用數(shù)據(jù),還是對外提供數(shù)據(jù)服務(wù),都有了更加敏捷高效的方法。
對擁有小數(shù)據(jù)的企業(yè)或部門,在做市場分析、財(cái)務(wù)分析、銷售分析、客戶分析時(shí),不用再用復(fù)雜的系統(tǒng)工具進(jìn)行數(shù)據(jù)挖掘,分析的門檻極大降低,這意味著原來由于成本、實(shí)施周期、復(fù)雜度等門檻而被BI廠商排拒在外的廣大中小企業(yè),可以通過敏捷BI真正開始數(shù)據(jù)挖掘之旅。
對行業(yè)的變革,以IT行業(yè)為例:
對應(yīng)用廠商,如ERP、CRM、行業(yè)應(yīng)用提供商,可以快速嵌入敏捷BI工具,來為客戶提供更多增值服務(wù)。
對實(shí)施商,BI的項(xiàng)目風(fēng)險(xiǎn)極大降低,項(xiàng)目周期極大縮短,短平快的出結(jié)果。
這是一場新的變革,大數(shù)據(jù)時(shí)代,涌現(xiàn)無數(shù)的數(shù)據(jù)掘金者,也需要有人來提供好鏟子。
36大數(shù)據(jù)知識圖譜:
產(chǎn)生背景:
敏捷這個(gè)詞匯最早于2001年被一些熱衷于改善軟件開發(fā)過程的軟件工程師用來描述一種能夠增加客戶滿意度的軟件開發(fā)過程–敏捷式開發(fā)過程。
什么是敏捷商業(yè)智能
在敏捷開發(fā)過程的12條基本原則中有6條原則可以用來描述敏捷商業(yè)智能。
優(yōu)先級***的是通過盡早的、持續(xù)的交付有價(jià)值的商業(yè)智能軟件來使客戶滿意。
即使到了開發(fā)的后期,也歡迎改變需求,敏捷過程利用變化來為客戶創(chuàng)造競爭優(yōu)勢。
在整個(gè)項(xiàng)目開發(fā)期間,業(yè)務(wù)人員和開發(fā)人員必須天天都在一起工作在團(tuán)隊(duì)內(nèi)部。
***有效果并且富有效率的傳遞信息的方法,就是面對面的交流。
簡單–使未完成的工作***化的藝術(shù)—是根本的。
***的構(gòu)架、需求和設(shè)計(jì)出自于自組織的團(tuán)隊(duì)。
敏捷商業(yè)智能產(chǎn)品
國外知名的Garnter關(guān)于敏捷商業(yè)智能產(chǎn)品報(bào)告中,位于***象限的敏捷商業(yè)智能產(chǎn)品有QlikView, Tableau和SpotView,對傳統(tǒng)商業(yè)智能產(chǎn)品巨頭形成了挑戰(zhàn)。國內(nèi)BI產(chǎn)品起步較晚,有敏捷型商業(yè)智能產(chǎn)品 永洪科技的Z-Suite等。
敏捷是要商業(yè)活動(dòng)中做出迅速反應(yīng)。傳統(tǒng)的BI解決方案往往需要三個(gè)月甚至半年的實(shí)施周期。從數(shù)據(jù)建模到數(shù)據(jù)展現(xiàn),整個(gè)研發(fā)周期冗長而低效。Z-Suite通過快速的響應(yīng)周期、智能的優(yōu)化、長期的積累,讓用戶在復(fù)雜的商業(yè)環(huán)境取得成功。