敏捷+智能,以技術為核心的BI演進之路
原創(chuàng)【51CTO.com原創(chuàng)稿件】數(shù)字化時代,眾多企業(yè)以數(shù)據(jù)驅(qū)動業(yè)務為目標,從數(shù)據(jù)中發(fā)現(xiàn)價值,從而對業(yè)務決策帶來輔助支持,以數(shù)據(jù)為中心的企業(yè)管理正在成為常態(tài)。而BI(商業(yè)智能)作為企業(yè)發(fā)展過程中的數(shù)據(jù)工具,一直是受到眾多企業(yè)的青睞。
隨著技術的不斷演進,BI工具也在不斷變化,以滿足企業(yè)市場的不同需求。在BI發(fā)展幾十年中,BI工具也愈發(fā)成熟,從傳統(tǒng)BI走向敏捷BI,再加之AI的智能化能力,BI不再只是一個查看數(shù)據(jù)報表、優(yōu)化業(yè)務流程的軟件工具,而是可以幫助企業(yè)提升創(chuàng)新能力,改變工作效率,成為增強核心競爭力的得力助手。
BI技術的快速發(fā)展
BI最早是出現(xiàn)在IBM計算機科學家Hans Peter Luhn在1958年撰寫的一篇文章中,其中描述了BI的價值和潛力,他將“智能”定義為“對事物相互關系的一種理解能力,并依靠這種能力去指導決策,以達到預期的目標?!?/p>
BI是一個將數(shù)據(jù)變?yōu)樾畔⒌倪^程,可以將來自企業(yè)中的各個業(yè)務系統(tǒng)中的數(shù)據(jù),按照一定的規(guī)則進行抽取、清洗,然后加載到集中的數(shù)據(jù)庫中,進而完成數(shù)據(jù)分析和處理以及報表展現(xiàn),而這些分析和展現(xiàn)的結(jié)果將能成為企業(yè)決策的重要數(shù)據(jù)支持。
過去,業(yè)務人員要想看到這些展現(xiàn)的數(shù)據(jù),都是通過程序員或者DBA手工撰寫SQL語句來進行查詢,由于業(yè)務人員不能直接操作,因此報表數(shù)據(jù)的查看相當受限制。由此產(chǎn)生了很多報表工具,主要是解決了業(yè)務人員在周報、月報等方面的問題,方便業(yè)務人員進行查詢。但是,由于報表工具大多都是靜態(tài)的,而很多企業(yè)的報表分析都是需要交互分析,于是又出現(xiàn)了IBM Cognos、SAP BO等BI產(chǎn)品。
BI發(fā)展至今,已經(jīng)出現(xiàn)了很多新一代敏捷的BI工具,例如Tableau、QlikView等,以更加易用的分析能力,賦能給業(yè)務人員。隨著人工智能的快速發(fā)展,BI+AI的組合也得到了業(yè)界的認可,BI的敏捷加上AI的智能,賦予了企業(yè)業(yè)務決策支持更多的可能性與準確性。
敏捷化與智能化的相輔相成
永洪科技副總裁&研發(fā)部總經(jīng)理馬云在接受51CTO采訪時表示,BI的研發(fā)方向重點在敏捷和智能化兩方面,二者是相輔相成的,并且這一趨勢是不可逆轉(zhuǎn)的。馬云解釋道,過去我們都認為,報表工具是比較難用或者是相對比較專業(yè)的,需要有IT背景的人才能使用。但是從商業(yè)角度來看,大家需要解決的是商業(yè)或者業(yè)務問題,業(yè)務人員是希望可以降低IT門檻,更加便捷地使用BI工具,從而更快速地響應變化,提升業(yè)務價值。
馬云強調(diào),敏捷需要做到六點,才能幫助業(yè)務人員更好的使用并且得到結(jié)果。這六點即:功能強大、簡單易用、計算性能高、彈性可擴展、移動端適配展現(xiàn)和自服務功能。過去,將制作報告的能力開放給業(yè)務人員后,BI就已經(jīng)變得很敏捷,但是現(xiàn)在不同了,企業(yè)用戶還需要自服務查詢、自服務的數(shù)據(jù)準備,而這些敏捷的需求也都來自于客戶。于是,永洪科技也會在敏捷方面研發(fā)更加豐富的功能,讓業(yè)務人員都可以成為真正的數(shù)據(jù)公民。
敏捷BI-技術架構(gòu)
智能化最理想的狀態(tài),是企業(yè)提出一個業(yè)務問題,系統(tǒng)可以通過企業(yè)內(nèi)部和外部數(shù)據(jù)的分析得出的結(jié)果,然后自動給出答案。馬云指出,提出問題的抽象化程度越高,智能化也就越高,而這對BI軟件提出了更高的要求。
具體的挑戰(zhàn)主要集中在兩大方面,一是數(shù)據(jù),數(shù)據(jù)的質(zhì)量以及數(shù)據(jù)的一致性尤為關鍵。由于數(shù)據(jù)來源于企業(yè)中的不同部門以及外部數(shù)據(jù),數(shù)據(jù)的可靠性、可用性就需要得到保障,因為分析是以數(shù)據(jù)為基礎,數(shù)據(jù)質(zhì)量差,得到的結(jié)果可想而知。二是分析模型本身,由于人提出的問題是抽象的,那就需要系統(tǒng)將抽象的問題翻譯成為可執(zhí)行的計劃或者具體可操作的算法,從而才能得出最終的結(jié)果。
軟件功能與計算能力并重發(fā)展
過去用戶在做報表時,通常是打開不同的Excel表格,然后在輸入查詢語句后就等著Excel執(zhí)行。好的情況是等十幾分鐘結(jié)果出來了,不好的情況通常是重新打開重新輸入??梢?,報表的數(shù)據(jù)結(jié)果展現(xiàn)需要強大的后臺計算能力支持。而這也是馬云提到的計算性能高和彈性可擴展能力。
據(jù)了解,永洪科技在做研發(fā)時也是分為兩步走,一是專注于BI軟件,研發(fā)出BI工具的產(chǎn)品和平臺,讓企業(yè)的大數(shù)據(jù)分析更加敏捷、快速;另一方面是自研MPP數(shù)據(jù)集市,采用列存儲、分布式計算、內(nèi)存計算、分布式處理等技術,滿足企業(yè)實時分析,快速響應業(yè)務需求。馬云表示,只有高性能計算才能支持用戶自助分析的需求和功能的擴展,從而支持BI的敏捷化。
據(jù)了解,很多從事BI領域的企業(yè)要么使用開源技術要么購買第三方軟件,但是永洪科技會選擇自研。馬云解釋道,越是通用化的軟件,對于小范圍的使用就很難優(yōu)化,而軟件也會愈發(fā)笨重,因此永洪科技采用自研底層技術,可以對BI相關的功能開發(fā)做到極致地優(yōu)化,從而幫助企業(yè)應對復雜的數(shù)據(jù)處理需求。
技術瓶頸的逐一突破
在技術的發(fā)展過程中,挑戰(zhàn)也是相對較大的。例如強大的功能要求和降低用戶使用難度其實是矛盾的,計算密集型的AI計算與實時要求較高的BI計算,怎樣互不干擾互不影響,同時又可以比較優(yōu)雅地處理。馬云告訴51CTO,“沒有最好,只有更好!”這些看似不可能的矛盾體,永洪科技都在逐一突破。
永洪科技副總裁&研發(fā)部總經(jīng)理馬云
例如,在AI方面,永洪科技會內(nèi)置常用的AI算子,覆蓋業(yè)界常用的數(shù)據(jù)處理、機器學習算法,用戶通過拖拉拽的方式可以直接進行調(diào)參和模型;其次,對于高級用戶,永洪科技提供類似R語言或者Python的接口,用戶可以直接撰寫腳本來運行,滿足定制化的需求;第三,結(jié)合AI能力,新增關鍵影響因素組件,助力用戶發(fā)現(xiàn)影響指標的主要因素,為BI場景賦能。
此外,在某種特定場景下,前端渲染會達到上百萬個點,如果使用基于開源架構(gòu)來完成圖表繪制,就需要將上百萬的數(shù)據(jù)傳輸?shù)角芭_,由前臺進行渲染,但這個渲染過程通常會遇到瓶頸,甚至會拖垮前臺。而永洪科技會使用后端的引擎,利用分布式或Java服務器的計算能力,在后端直接將圖表繪制成功,然后在前臺進行展示。雖然圖表會有幾百萬的點,但是很多都是重疊,所以真正交互的點就可能降到幾千量級,從而降低了前臺渲染的瓶頸。
AI與BI的深度融合
在Gartner對未來3到5年BI產(chǎn)品發(fā)展趨勢做的預測中可以發(fā)現(xiàn),增強技術、數(shù)據(jù)故事、機器學習等關鍵詞頻繁出現(xiàn),而永洪科技也是在積極布局BI與AI的深度融合。馬云表示,永洪科技將用戶分為三類,一是可視化大屏的使用用戶;二是相對較重的業(yè)務系統(tǒng),由IT人員制作報告從而提供給業(yè)務人員;第三是分析師,他們主要是面對發(fā)散性問題,用產(chǎn)品來探索分析結(jié)論,并將結(jié)論整理成故事和證據(jù)來講述給別人。
馬云表示,雖然分析師這類用戶還相對較少,但是在企業(yè)中會發(fā)揮更大的價值。因此,未來,永洪科技也會優(yōu)化分析師的應用場景,以分布式平臺實現(xiàn)高性能計算,支持所有主流深度分析算法,將分析結(jié)果的全流程可視化,不斷深化AI與BI的融合。
【51CTO原創(chuàng)稿件,合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】