大數(shù)據(jù)咨詢公司NewVantage Partners在近期公布的報告中指出，尤其是金融服務公司這類大型公司正在快速采用大數(shù)據(jù)，并且這一速度比預期的要快。這些公司是如何利用大數(shù)據(jù)做出更明智的業(yè)務決策的呢?事實證明，與技術解決方案一樣，要想通過大數(shù)據(jù)獲得成功也需要技巧。

NewVantage Partners在去年夏季與來自50多家大型公司的高管(主要是***數(shù)據(jù)官、***信息官、***技術官、***分析官、***信息架構師)、業(yè)務主管和高級程序員進行了研討。在這些大型公司中，多數(shù)公司的員工數(shù)量都超過了30000人。在NewVantage Partners公司的調(diào)查中，有一半的受訪者為來自金融服務公司的高管，另外一半的受訪者為來自保險、政府機構以及其他行業(yè)的公司高管。

NewVantage Partners 創(chuàng)始人兼管理合伙人Paul Barth 稱：“大多數(shù)公司每年在技術上的花費為10億美元。他們通常都不會快速做出響應，但是一旦開始響應，他們將會為這些創(chuàng)新投入更多的財力和物力。”

利用大數(shù)據(jù)做出更明智的決策

這些大型公司看到了大數(shù)據(jù)的價值并開始將他們的資源投向大數(shù)據(jù)。Barth稱，85%的受訪者表示他們正在進行大數(shù)據(jù)創(chuàng)新。

他稱：“75%的受訪者每年在大數(shù)據(jù)上的投入超過了100萬美元。25%的受訪者每年在大數(shù)據(jù)上的投入超過了1000萬美元。他們恪守將這一技術應用到一個項目或一系列項目的承諾。因為他們非常清楚，如果沒有大數(shù)據(jù)，他們手中的項目將無法進行下去。”

大數(shù)據(jù)的真正價值在于提升了響應速度

受訪者給出了許多他們投資大數(shù)據(jù)的原因，如降低風險、打造高質(zhì)量產(chǎn)品和服務等。不過，排在首位的兩個主要原因是：根據(jù)實際情況更快的做出決策和提升客戶體驗。當然，這也是他們投資傳統(tǒng)商業(yè)智能分析的首要原因。Barth稱，在進行深入調(diào)查時，NewVantage發(fā)現(xiàn)這些公司投資大數(shù)據(jù)的深層原因是希望提升決策或響應速度。

Barth 稱：“如果你的響應速度在一個案例中是30分鐘，在另一個案例中是30秒，那么這實際上將會改變你的業(yè)務流程。它們將讓你成為一名效率極高的業(yè)務分析師。”

他表示，有了大數(shù)據(jù)技術，公司在幾秒中內(nèi)就能夠回應遇到的問題，而不是花上幾天甚至幾個月的時間。反過來，這種提升能夠讓公司回應那些難以進行分析、開發(fā)測試和流程學習但又要快速適應市場、讓復雜的工作流實現(xiàn)自動化的問題。

不過，要想充分利用響應時間縮短所帶來的優(yōu)勢還需要一個嚴謹?shù)牧鞒獭４髷?shù)據(jù)與傳統(tǒng)分析解決方案之間的關系應當定義清楚和從屬關系明確，因為它們是制訂流程的基礎。

大數(shù)據(jù)、分析法與組織調(diào)整

報告指出“傳統(tǒng)分析法與大數(shù)據(jù)之間的區(qū)別，以及它們在企業(yè)內(nèi)部分別承擔的組織責任在以前就已經(jīng)展開了多次討論。不過，調(diào)查顯示傳統(tǒng)分析法與大數(shù)據(jù)正變得越來越錯綜復雜。它們必須要協(xié)同工作才能發(fā)揮大數(shù)據(jù)的預期效果。未來，在IT部門和業(yè)務部門之間打破組織界限進行更為緊密的整合將成為公司制訂成功的大數(shù)據(jù)策略的關鍵一步。”

報告稱“數(shù)據(jù)管理和分析通常由公司中不同的部門負責。”“IT部門通?？刂浦鴶?shù)據(jù)，而分析則由公司中一個特殊的團隊或部門負責。這完全違背了大數(shù)據(jù)的原則。調(diào)查顯示，這些公司已經(jīng)認識到進行緊密整合的必要性。65%的受訪者認為，大數(shù)據(jù)是數(shù)據(jù)管理的主要部分。68%的受訪者表示，大數(shù)據(jù)是高級分析工具的一部分。”

NewVantage總結(jié)認為，打破IT與業(yè)務部門之間的界限，將傳統(tǒng)分析法與大數(shù)據(jù)進行整合是一次重大飛越，而這一飛越正是實現(xiàn)以大數(shù)據(jù)促進業(yè)務發(fā)展這一機構創(chuàng)新的一個早期關鍵性舉措。

報告稱“將實時完整的分析功能整合到業(yè)務和運營部門中能夠讓公司對關鍵的業(yè)務問題和挑戰(zhàn)做出快速響應，從而為公司建立起競爭優(yōu)勢，幫助公司提升業(yè)績。”

Barth 稱：“根據(jù)數(shù)據(jù)和數(shù)據(jù)質(zhì)量，我們將它們分為金銀銅三個不同的等級。存儲在數(shù)據(jù)倉庫中的數(shù)據(jù)為金質(zhì)數(shù)據(jù)。當你查詢這些金質(zhì)數(shù)據(jù)時，你知道這些數(shù)據(jù)已經(jīng)被處理完畢。但是如果獲取的數(shù)據(jù)為原始形式，并且在一周或一個月內(nèi)才能夠提供給我時，情況會是怎么樣，如果你將所有的數(shù)據(jù)都放在一個地方，并且基本上沒有對它們進行梳理，情況又會怎么樣?在進行充分提煉之前這些數(shù)據(jù)非常有用。”

與傳統(tǒng)的關系型數(shù)據(jù)庫不同，大數(shù)據(jù)平臺允許分析師有選擇性地組織、清理和整合數(shù)據(jù)，忽視那些目前不是分析重點的記錄和字段。這樣可以擺脫數(shù)據(jù)倉庫，避免將大量的精力放在了數(shù)據(jù)工程上。NewVantage指出，通過推遲整個數(shù)據(jù)工程，大數(shù)據(jù)平臺在面向發(fā)現(xiàn)的分析過程中提升了響應速度，同時無需對那些無法提供價值的數(shù)據(jù)進行工程分析。

Barth稱，這大數(shù)據(jù)平臺變成了一個，而且是非常重要的一個數(shù)據(jù)生態(tài)圈。雖然這個生態(tài)圈是建立在已知的東西上面，但是這個生態(tài)圈的設計目的是不斷從客戶、市場、產(chǎn)品和風險中尋找新的洞察力。換句話說，就是通過“已經(jīng)的”、健康的持續(xù)改良模式中尋找“新”的東西。#p# 

創(chuàng)建一個大數(shù)據(jù)生態(tài)圈

我們可以這樣理解：無論是來自大數(shù)據(jù)還是傳統(tǒng)分析法，重要的是提供了一個有價值的答案。Barth稱，答案的價值在于其準確性和速度。要想迅速獲得準確的答案，重要的是問對問題。

Barth 稱：“大數(shù)據(jù)的技巧是與發(fā)現(xiàn)和原因結(jié)合起來。當你正在探尋你完全不知道的東西時，分析中的一個階段是探索與發(fā)現(xiàn)。在這當中你能夠進行一些假設，然后建模與開發(fā)應用。在我看來，在理解了基礎的分析法和問題的相關性后，傳統(tǒng)的商業(yè)智能實際上能夠繼續(xù)派上用場。在你處于還不理解它們的階段，即發(fā)現(xiàn)階段中，大數(shù)據(jù)非常有用。”

NewVantage指出在回答復雜的商業(yè)問題時存在七個步驟：

搞清楚問題和所需答案的類型;創(chuàng)建商業(yè)案例

確定所需數(shù)據(jù)和分析方法

數(shù)據(jù)來源

梳理、標準化與整合數(shù)據(jù)

分析數(shù)據(jù)

驗證結(jié)果

呈現(xiàn)或運用答案;評估結(jié)果

NewVantage稱，公司通常將80%以上的精力花在了第三步和第四步上。但是大數(shù)據(jù)解決方案提供了完成這些步驟的新方法。

首先，由于大數(shù)據(jù)平臺成本相對較低且容量大，公司能夠加載來自源系統(tǒng)的所有數(shù)據(jù)，而不是針對手邊的問題有選擇地選取特定數(shù)據(jù)。

NewVantage 稱：“盡管這看起來非常浪費時間，但是這消除了兩個重要的延遲：為選取所需數(shù)據(jù)編寫程序，在出現(xiàn)新的問題以及需要新數(shù)據(jù)時多次往返于源系統(tǒng)。創(chuàng)建傳統(tǒng)的數(shù)據(jù)集市和數(shù)據(jù)倉庫異常復雜且成本高昂。開源解決方案的廣闊性加上靈活可擴展的網(wǎng)格系統(tǒng)共同創(chuàng)建了一個環(huán)境。這個環(huán)境不僅能夠促進降低成本，同時也為大幅降低查詢次數(shù)提供了可能性。”

例如，一家大型金融服務公司希望通過多種渠道對客戶進行分析以搞清楚促進銷售的要素和導致消耗的原因。為了實現(xiàn)這一目標，公司需要綜合六個月的階段性數(shù)據(jù)和其它渠道的數(shù)據(jù)。公司首先會嘗試通過傳統(tǒng)關系型數(shù)據(jù)庫提取數(shù)萬行的SQL代碼。不過，公司很快就發(fā)現(xiàn)到他們只能訪問六天的數(shù)據(jù)，而不是六個月的數(shù)據(jù)。在意識到這一努力需要花費數(shù)周時間后，公司會放棄這一嘗試。

“在大數(shù)據(jù)環(huán)境中，他們用不了100行代碼就可以編寫和運行相關程序。在處理數(shù)百太的階段數(shù)據(jù)時，運行時間不會超過24小時。他們只是想知道他們的客戶在他們自己的渠道中正在做什么。這實際上為他們的銀行運行方式添加了可視性。”

但是關鍵是后繼步驟。一旦你明白你所看到的東西，你就能夠開發(fā)出一個可以解釋它們的模型以及找出評估執(zhí)行力的指標。這時就需要傳統(tǒng)的商業(yè)智能了。

NewVantage 稱：“‘新的’和‘已知的’這兩個概念并非是相互孤立的。它們是一個相互聯(lián)系相互促進的共生系統(tǒng)。‘新’分析需要快速訪問所有能夠展示當前業(yè)務實情的‘已知’數(shù)據(jù)。同時還必須要有一個能夠以新洞察力、數(shù)據(jù)和模型推動‘已知’東西繼續(xù)發(fā)展的嚴謹方法。如果沒有這種聯(lián)系，那么系統(tǒng)將變得雜亂或零散。”

此外，該公司還指出“Hadoop、Cloudera、數(shù)據(jù)庫工具、加速器以及自覺和遺傳算法等新興技術和方法能夠大幅提升響應速度。”