大數(shù)據(jù)也有西大荒——這個行業(yè)有點亂

大數(shù)據(jù)已經(jīng)發(fā)展到了一個關鍵階段。到 2017 年,整個大數(shù)據(jù)市場將增長到 500 億美金,但很不幸 55% 的大數(shù)據(jù)項目都是失敗的。與機遇同在的是炒作和不實的信息,我們正處在大數(shù)據(jù)的西大荒階段。大數(shù)據(jù)行業(yè)正處于一略僵持的局面之中:理解它的人通投資該行業(yè)采集、存儲大數(shù)據(jù)并從中獲益;然而另有人抱著半信半疑的態(tài)度為之買單,同時不曉得大數(shù)據(jù)將怎樣影響他們的生意。
良性失靈
大數(shù)據(jù)允許出錯率,這也許聽起來違背常識,可失靈也是有良性失靈和惡性失靈之分的。
云里霧里?且聽解釋:“測試和學習”的方法是可以用在原始狀態(tài)大數(shù)據(jù)上的。公司得通過提出假設然后驗證的方式發(fā)現(xiàn)這些失靈的情況。這讓企業(yè)能夠通過深挖大數(shù)據(jù)發(fā)展出真正連貫的戰(zhàn)略方案來。
這些“錯誤”其實是發(fā)現(xiàn)正確解析結果的必要過程,它為各行各業(yè)創(chuàng)造了可觀的機會,如精準推薦、風險管理、設備故障預測和簡化物流管理流程等等。
在一些樂觀的案例中,這些企業(yè)正在利用大數(shù)據(jù)得出的判斷開發(fā)新產(chǎn)品,開辟新的收入來源甚至造就了大數(shù)據(jù)驅(qū)動的企業(yè)文化。要進化到這個階段,企業(yè)必須打破僵化的量化和成本控制思路,發(fā)展靈活機動的解析和判斷方法,逐漸通過大規(guī)模自動化預測解析實現(xiàn)企業(yè)***發(fā)展。只有這樣它們才能真正通過大數(shù)據(jù)找到有利可圖的商業(yè)模式,依托數(shù)據(jù)開發(fā)出新產(chǎn)品來。
在大數(shù)據(jù)利用的早期,速度是個關鍵因素。通過數(shù)據(jù)完成項目和積累組織專業(yè)技能的速度越快,就能越快創(chuàng)造價值,以及在新的高度上更精細地利用大數(shù)據(jù)。
Quantcast***詮釋了成長為大數(shù)據(jù)公司的四步走模式。***步,它只是提供免費網(wǎng)站流量監(jiān)測服務。隨著市場認可度的提高——它每天的計算結果由數(shù)以千計增長至 10 億級的水平,Quantcast 很快超越了傳統(tǒng)的數(shù)據(jù)庫技術。而業(yè)務一步步的擴張又賦予它提供更高質(zhì)量的解析和判斷能力,更好地憑借受眾分析為企業(yè)增值和維護客戶關系。
Quantcast 很快看到了投資大數(shù)據(jù)科學的必要性,因為在海量的活動數(shù)據(jù)中發(fā)現(xiàn)人口數(shù)據(jù)和興趣圖譜分布狀態(tài)是***挑戰(zhàn)性的。緊接著,Quantcast 測試了許多產(chǎn)品和服務,其中非常成功的一個項目叫做 Lookalikes,它幫助廣告商找到那些跟現(xiàn)有客戶具有高度相似性的新客戶。Quantcast 現(xiàn)在每年收入達 1 億美金,其靈活性使其能夠及時應對大數(shù)據(jù)發(fā)展過程中的機遇。
Quantcast、Google、 Facebook 和 LinkedIn 都是大數(shù)據(jù)公司的先行者,它們已經(jīng)經(jīng)歷了這些發(fā)展階段。當大數(shù)據(jù)業(yè)務在互聯(lián)網(wǎng)公司中越發(fā)成熟時,也正是其它企業(yè)擁抱大數(shù)據(jù)創(chuàng)造價值和積累競爭力的時候。例如,大型 IT 供應商正在利用精細化的科技產(chǎn)品數(shù)據(jù)和交易數(shù)據(jù)生成解析預測模型,以達到提高推薦效果、優(yōu)化交易體驗的目的。
惡性失靈
很不幸,許多企業(yè)仍然停留在非常僵化的模式中,他們還是一味地從成本控制和存儲可擴展性的角度來利用大數(shù)據(jù)。也許他們還在觀望“靈活分析”(agile analytics)——打破傳統(tǒng)節(jié)約思維、靈活運用數(shù)據(jù)的方法。
這意味著,許多探索大數(shù)據(jù)的公司正在錯失改進業(yè)務、優(yōu)化服務的機會,同時他們也在錯失利用大數(shù)據(jù)而非臆斷開發(fā)新產(chǎn)品的機會。他們正在進入大數(shù)據(jù)發(fā)展的停滯期——學會了存儲數(shù)據(jù),但卻不能夠從中提取價值。
大數(shù)據(jù)需要人力和資源的投入——從人的層面講就是,需要更多的掌握這門科技的人才,而傳統(tǒng)的成本節(jié)約方法要求的是裁員。對大數(shù)據(jù)公司而言,情況剛好相反。要實現(xiàn)大數(shù)據(jù)上的突破,企業(yè)就得舍得投人投錢。不能快速應對變化、及時投資的企業(yè)將會讓更靈活的小型企業(yè)奪去更多機會。
不堪的失靈
沒有什么比前面說的 55% 的失敗率更讓人難堪的了?失敗的原因何在呢?其中一種想法是,西大荒時代有太多開空頭支票的騙子,夸下??趨s看不見他們的成果。他們意識到身邊炒作大數(shù)據(jù)的風氣便也跟風模仿。盡管缺乏資質(zhì)認證,那些遺產(chǎn)顧問和系統(tǒng)集成商硬是把自己定位為這方面的專家。
同樣地,許多傳統(tǒng)商人竟把上個時代的模式當作“大數(shù)據(jù)”來兜售。他們之中很多還在不聯(lián)網(wǎng)的電腦上使用 SAS(始于 1976 年的 Statistics Analysis System)——這能是大數(shù)據(jù)?!另有其他們則是專注于數(shù)據(jù)挖掘和匯報,提取、轉(zhuǎn)化和加載一些小型數(shù)據(jù)庫的內(nèi)容。這些商人通常使用一些與開放源碼并行運算編程工具(如 Apache Hadoop )脫節(jié)的專用軟件。
我們正處在大數(shù)據(jù)發(fā)展的關鍵點上——需要源源不斷的數(shù)據(jù)結果來保證持續(xù)增長。而企業(yè)把過時的技術或技能想像成大數(shù)據(jù),最終因解析能力跟不上而受傷的還是他們的生意。如果他們的項目不幸失敗或者提供信息不準確,那么他們將失去戰(zhàn)場,將機會拱手讓給真正懂數(shù)大據(jù)技術的競爭對手。