七問(wèn)大數(shù)據(jù): 企業(yè)真的準(zhǔn)備好了嗎?
大數(shù)據(jù)技術(shù)無(wú)疑是目前最熱門的技術(shù)話題。 然而, 關(guān)于大數(shù)據(jù)的企業(yè)應(yīng)用時(shí)代是否到來(lái), 在技術(shù)和管理領(lǐng)域一直有不同的爭(zhēng)論。Andrew Brust給出了大數(shù)據(jù)進(jìn)入企業(yè)應(yīng)用階段的一些障礙。 希望這些觀點(diǎn)對(duì)于企業(yè)CEO/CIO進(jìn)行大數(shù)據(jù)戰(zhàn)略的決策會(huì)有所幫助。以下是Andrew Brust的觀點(diǎn)的總結(jié):
一、產(chǎn)品成熟度
無(wú)論從全球500強(qiáng)到中小企業(yè), 圍繞著商業(yè)智能(BI)和關(guān)系型數(shù)據(jù)庫(kù)管理, 都積累了大量的人才和經(jīng)驗(yàn), 這方面的產(chǎn)品也相當(dāng)?shù)某墒臁?很多產(chǎn)品, 即使針對(duì)非技術(shù)人員, 也能提供友好的用戶界面和便捷的操作。
然而, 在大數(shù)據(jù)領(lǐng)域。 Hadoop卻多數(shù)采用命令行形式, MapReduce的代碼只能用Java來(lái)寫。 HDFS文件系統(tǒng)還是由單一域名節(jié)點(diǎn)來(lái)控制, 安全性得不到充分保障。 盡管, 目前出現(xiàn)了一些以瀏覽器方式和現(xiàn)有BI軟件交互的工具如Hive(以及支持實(shí)時(shí)SQL查詢的Impala)。 這些產(chǎn)品還遠(yuǎn)遠(yuǎn)達(dá)不到一個(gè)企業(yè)級(jí)產(chǎn)品所要求的程度。
二、數(shù)據(jù)的采集
如何把數(shù)據(jù)變成信息, 一直是商業(yè)智能(BI)實(shí)施和運(yùn)行中最麻煩的一塊。 在數(shù)據(jù)采集,數(shù)據(jù)共享,以及數(shù)據(jù)的整理過(guò)程中, 企業(yè)內(nèi)部的管理問(wèn)題, 企業(yè)部門之間的利益問(wèn)題會(huì)和具體實(shí)施的困難攪在一起。 這些方面的問(wèn)題, 并不能因?yàn)榇髷?shù)據(jù)而發(fā)生改變。 相反, 數(shù)據(jù)量的增大, 只會(huì)增加企業(yè)在數(shù)據(jù)管理和數(shù)據(jù)分析方面的難度。
當(dāng)然, 大數(shù)據(jù)分析的靈活性, 可以使得數(shù)據(jù)查詢變得更加簡(jiǎn)單和靈活, 這有助于從技術(shù)和管理方面降低企業(yè)數(shù)據(jù)管理的復(fù)雜性。 不過(guò), 對(duì)非結(jié)構(gòu)化數(shù)據(jù)的分析工具還沒(méi)有完全成熟, 也還不是一般的企業(yè)數(shù)據(jù)分析人員所能夠輕松掌握的。
三、中小企業(yè)案例和戰(zhàn)略的缺乏
如果我是一個(gè)大網(wǎng)站的CEO, 或者銀行的高管, 或者大型零售企業(yè)。 現(xiàn)在有很多大數(shù)據(jù)的案例, 可以告訴我如何能夠利用大數(shù)據(jù), 提高效率, 發(fā)現(xiàn)更多的目標(biāo)用戶, 或者降低運(yùn)營(yíng)成本。 可是要是我是一個(gè)有5家“麥當(dāng)勞”的加盟者呢。 誰(shuí)能告訴我Hadoop和MapReduce能幫到我什么。(編者按:點(diǎn)餐牌的視覺(jué)熱力圖?店鋪區(qū)域設(shè)計(jì)優(yōu)化?)
其實(shí), 中小企業(yè)也應(yīng)該認(rèn)真考慮他們的大數(shù)據(jù)戰(zhàn)略了。 如果他們有網(wǎng)站, 他們也能夠產(chǎn)生大量的數(shù)據(jù)。 即使沒(méi)有網(wǎng)站, 其實(shí),每天攝像頭里產(chǎn)生的數(shù)據(jù),如果能利用好, 也有足夠的分析價(jià)值。此外,在社交網(wǎng)站的海量數(shù)據(jù)面前,中小企業(yè)與大企業(yè)面臨同樣的機(jī)遇,但問(wèn)題是, 數(shù)據(jù)挖掘?qū)τ谥行∑髽I(yè)來(lái)說(shuō)過(guò)于復(fù)雜。 這還需要類似的數(shù)據(jù)挖掘工具變得更加簡(jiǎn)單才行。(ClearStory這樣的創(chuàng)業(yè)公司正致力于大數(shù)據(jù)的可視化和易用化,讓那些雇不起高水平數(shù)據(jù)科學(xué)家的企業(yè),以及非IT部門的業(yè)務(wù)人員也能使用大數(shù)據(jù)。參考閱讀:二十大數(shù)據(jù)可視化工具點(diǎn)評(píng))
四、大數(shù)據(jù)的投資回報(bào)
對(duì)于互聯(lián)網(wǎng)企業(yè), 大數(shù)據(jù)能夠增加用戶數(shù)量和用戶粘性。 對(duì)于制造企業(yè)來(lái)說(shuō), 大數(shù)據(jù)分析可以優(yōu)化生產(chǎn)流程。 對(duì)于金融業(yè)來(lái)說(shuō), 大數(shù)據(jù)可以幫助開發(fā)更好的算法交易。 對(duì)媒體公司來(lái)說(shuō), 大數(shù)據(jù)能幫助更好的銷售廣告, 對(duì)電子商務(wù)公司來(lái)說(shuō), 大數(shù)據(jù)能更好的定位目標(biāo)客戶。
這些公司, 有一點(diǎn)是共同的, 那就是, 大數(shù)據(jù)所帶來(lái)的回報(bào)要大大高于大數(shù)據(jù)所需的人力,物力等方面的投資。 而對(duì)于其他很多行業(yè)來(lái)說(shuō), 為什么要花這么多錢, 請(qǐng)這么貴的數(shù)據(jù)科學(xué)家, 統(tǒng)計(jì)學(xué)家來(lái), 如何衡量投資回報(bào)還是一個(gè)很難回答的問(wèn)題。
根據(jù)Big Data Insight Group的大數(shù)據(jù)趨勢(shì)報(bào)告《解讀大數(shù)據(jù)的商業(yè)價(jià)值和戰(zhàn)略意義》,在早期階段,大多數(shù)企業(yè)(80%)沒(méi)有量化大數(shù)據(jù)項(xiàng)目的價(jià)值回報(bào)。
此外,現(xiàn)有的大數(shù)據(jù)產(chǎn)品和服務(wù), 必須變得更加易用, 更加便宜才能吸引更多的行業(yè)用戶。
五、對(duì)企業(yè)IT戰(zhàn)略的影響
從更高的層面上來(lái)看, 大數(shù)據(jù)戰(zhàn)略不是僅僅指數(shù)據(jù), 它將會(huì)給企業(yè)的整體IT戰(zhàn)略帶來(lái)影響。 比如說(shuō), Hadoop的分布式廉價(jià)的存儲(chǔ)方式, 會(huì)給企業(yè)目前普遍采用的中心式的昂貴的存儲(chǔ)服務(wù)器的方式帶來(lái)沖擊。 Hadoop也可能會(huì)使得企業(yè)對(duì)數(shù)據(jù)分析人員的Java能力的要求提高, 而相對(duì)SQL能力的要求則會(huì)降低。 大數(shù)據(jù)也將推動(dòng)企業(yè)加快向云計(jì)算和云存儲(chǔ)方面的轉(zhuǎn)型。
所有這些, 都需要企業(yè)進(jìn)行考慮和適應(yīng)。 因此, 大數(shù)據(jù)的戰(zhàn)略需要和企業(yè)整體IT戰(zhàn)略一起考慮, 這樣也加大了大數(shù)據(jù)戰(zhàn)略推動(dòng)的難度。
參考閱讀:IT部門迎戰(zhàn)大數(shù)據(jù)的五大策略,決勝大數(shù)據(jù):企業(yè)成功的七大步驟
六、人才的缺乏
大數(shù)據(jù)人才的技能, 包括數(shù)學(xué), 統(tǒng)計(jì)和數(shù)據(jù)模型的技能。 才剛剛有些大學(xué)提供數(shù)據(jù)分析的學(xué)位來(lái)培養(yǎng)這方面的人才。 而比如說(shuō)Java編程的技能, 在大數(shù)據(jù)時(shí)代, 對(duì)于非編程人員的數(shù)據(jù)分析人員, 也成為了必備的技能了。 而最難的是, 需要既懂技術(shù), 又理解企業(yè)所在行業(yè)的數(shù)據(jù)分析人員。 這樣的人才就幾乎如深海里的珍珠那么難找了。 即使從企業(yè)內(nèi)部培養(yǎng), 也很困難。 所以這些, 都成為了大數(shù)據(jù)在企業(yè)應(yīng)用的障礙。
參考閱讀:2012年大數(shù)據(jù)商用的十大發(fā)展趨勢(shì) ,大數(shù)據(jù)的人才荒
七、CEO和CFO
《哈佛商業(yè)評(píng)論》對(duì)財(cái)富1000強(qiáng)企業(yè)大數(shù)據(jù)應(yīng)用現(xiàn)狀的調(diào)查顯示,大多數(shù)CEO, 從戰(zhàn)略高度, 都認(rèn)識(shí)到大數(shù)據(jù)的重要性, 然而, 這還需要管理團(tuán)隊(duì)從執(zhí)行方面有更加深入和實(shí)際的理解才能真正實(shí)施大數(shù)據(jù)戰(zhàn)略。 而事實(shí)上, 很多企業(yè)的管理團(tuán)隊(duì)還做不到。 大數(shù)據(jù)產(chǎn)品和服務(wù), 必須變得更加簡(jiǎn)單, 使得那些非大數(shù)據(jù)專家們也能夠充分理解, 這樣才能保證可實(shí)施性。
對(duì)很多企業(yè)來(lái)說(shuō), 商業(yè)智能(BI)是由CFO來(lái)主管的。 而現(xiàn)在的很多大數(shù)據(jù)產(chǎn)品, 作為BI的替代或者升級(jí), 則是由技術(shù)部門或者業(yè)務(wù)部門來(lái)發(fā)起的。 這樣在大數(shù)據(jù)戰(zhàn)略的實(shí)施中, 對(duì)技術(shù)的掌握與對(duì)數(shù)據(jù)的掌握就被割裂開了。 (技術(shù)部門掌握技術(shù), 而財(cái)務(wù)部門則掌握數(shù)據(jù)), 而CFO在大數(shù)據(jù)的實(shí)施戰(zhàn)略中, 將從過(guò)去的決策者被邊緣化了。 這往往也是大數(shù)據(jù)在企業(yè)中推動(dòng)的一個(gè)阻力。
參考閱讀:CIO如何建設(shè)企業(yè)數(shù)據(jù)分析文化
結(jié)論:
很多“破壞性創(chuàng)新”都有類似的成長(zhǎng)曲線。 剛出來(lái)的時(shí)候被爆炒, 然后逐漸完善成為主流技術(shù)。 大數(shù)據(jù)技術(shù)也一樣。 毫無(wú)疑問(wèn), 大數(shù)據(jù)技術(shù)在5年到10年內(nèi)將會(huì)成為主流。 不過(guò)在這之前, 它還需要跨過(guò)各種技術(shù)和非技術(shù)的障礙,而形成數(shù)據(jù)導(dǎo)向的企業(yè)管理文化,則可能是企業(yè)決勝大數(shù)據(jù)最為重要的前提。
原文鏈接:http://www.ctocio.com/ccnews/10407.html