錢景與挑戰(zhàn)并存,如何應(yīng)對大數(shù)據(jù)時代?
近年來,大數(shù)據(jù)概念風(fēng)生水起,炙手可熱,發(fā)展也是紅紅火火,其井噴勢頭甚至要蓋過云計算了。
大數(shù)據(jù)錢景巨大
倘若把2012年比作大數(shù)據(jù)落地扎根之年,那么2013年其將迎來其萌芽成長,乃至遍地開花結(jié)果的一年。多家IT調(diào)查機構(gòu)預(yù)測稱,大數(shù)據(jù)市場每年至少40%以上的速度高增,2012年大數(shù)據(jù)市場規(guī)模約為50億美元,到今年將翻一番。
大數(shù)據(jù)技術(shù)商機巨大,錢景十分光明。據(jù)不完全統(tǒng)計的數(shù)據(jù)顯示,大數(shù)據(jù)產(chǎn)業(yè)每年將為美國醫(yī)療系統(tǒng)帶來3000億美元的增益;為歐洲公共管理部門帶來2500億歐元的凈收入;為世界零售業(yè)增加30%的純利潤;為全球制造業(yè)減少50%的產(chǎn)品研發(fā)等成本;而個人地理位置信息的利用,也將為服務(wù)商帶來超過1000億美元的收益,為“地球村”用戶帶來超過7000億美元的價值。
當(dāng)前,我國正處在全面建成小康社會征程中,工業(yè)化、信息化、城鎮(zhèn)化、農(nóng)業(yè)現(xiàn)代化任務(wù)很重,建設(shè)下一代信息基礎(chǔ)設(shè)施,發(fā)展現(xiàn)代信息技術(shù)產(chǎn)業(yè)體系,健全信息安全保障體系,推進信息網(wǎng)絡(luò)技術(shù)的挖掘與運用,是實現(xiàn)“四化”同步發(fā)展的重要保證。而大數(shù)據(jù)是新一代信息技術(shù)的集中反映,是一個應(yīng)用驅(qū)動性很強的服務(wù)領(lǐng)域,具有無窮潛力的新興產(chǎn)業(yè)領(lǐng)域,這是我國實現(xiàn)跨越式發(fā)展的寶貴機會。
然而如今大數(shù)據(jù)競爭日益激烈,機會稍縱即逝,如何把控大數(shù)據(jù)的走勢、演變,未雨綢繆運籌帷幄,捷足先登抓住“壁虎的尾巴”,關(guān)系一個IT廠商、一個用戶單位乃至一個國家的競爭力與前途。
技術(shù)決定產(chǎn)品的發(fā)展,更是決定大數(shù)據(jù)的命運。作為大數(shù)據(jù)一項根本技術(shù),Hadoop技術(shù)今年市場將達到前所未有的高峰,Hadoop技術(shù)將深入地應(yīng)用到企業(yè)的軟件架構(gòu)中,大規(guī)模地使用Hadoop是個必然趨勢。調(diào)查顯示,以Hadoop為代表的分布式存儲與計算成為最受關(guān)注的數(shù)據(jù)管理新技術(shù),比例達到29.86%;其次是以SAP HANA為代表的內(nèi)存數(shù)據(jù)庫技術(shù),占到23.30%;云數(shù)據(jù)庫排名第三,比例為16.29%。此外,列式數(shù)據(jù)庫技術(shù)、NoSQL也將獲得發(fā)展。另外其它相關(guān)大數(shù)據(jù)的技術(shù),數(shù)據(jù)可視化服務(wù)、眾包模式(Crowdsourcing Model)也將成為應(yīng)用趨勢,RDBMS(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))供應(yīng)商將東山再起。可以說,大數(shù)據(jù)產(chǎn)品化、市場化、應(yīng)用化將日益明顯,逐漸成形。
大數(shù)據(jù)與云計算作為一對十分搶眼的“姊妹花”,今年將深度融合。大數(shù)據(jù)處理離不開云計算技術(shù),云計算為大數(shù)據(jù)提供彈性可擴展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式;大數(shù)據(jù)則為云計算提供了新的商業(yè)價值與應(yīng)用技術(shù)。二者將形影不離,完美融合。
而作為大數(shù)據(jù)的硬件基礎(chǔ)與支撐,數(shù)據(jù)管理集成產(chǎn)品--大數(shù)據(jù)一體機將加快推出與逐步成熟。自云計算和大數(shù)據(jù)概念被提出后,針對該市場推出的軟硬件一體化設(shè)備就呼聲四起,產(chǎn)品開發(fā)不斷。在這一兩年里,數(shù)據(jù)倉庫一體機、NoSQL一體機和其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進一步快速發(fā)展。IBM的PureSystems、SAP的HANA Appliance、Oracle的Exadata正上演一體機市場的“三國演義”,而浪潮、華為、太極等國產(chǎn)IT商也在全力搶食一體機市場。
可以預(yù)見的是,今年大數(shù)據(jù)市場規(guī)模將進一步膨脹,一些新的細分市場今年將出現(xiàn)。例如,以數(shù)據(jù)分析和處理為主的高級數(shù)據(jù)服務(wù),將出現(xiàn)以數(shù)據(jù)分析作為服務(wù)產(chǎn)品提交的分析即服務(wù)(Analyze as a Service)業(yè)務(wù);將多種信息整合管理,創(chuàng)造對大數(shù)據(jù)統(tǒng)一的訪問和分析的組件產(chǎn)品;基于社交網(wǎng)絡(luò)的社交大數(shù)據(jù)分析;甚至?xí)霈F(xiàn)基于大數(shù)據(jù)的技能培訓(xùn)、人才教育及教授數(shù)據(jù)分析課程等市場業(yè)務(wù)。#p#
大數(shù)據(jù)問題與挑戰(zhàn)仍不小
不過作為一個新生領(lǐng)域,盡管大數(shù)據(jù)意味著大機遇,擁有巨大的應(yīng)用價值,但同時也遭遇工程技術(shù)、管理政策、資金投入、人才培養(yǎng)等諸多領(lǐng)域的大挑戰(zhàn)。只有解決這些基礎(chǔ)性的挑戰(zhàn)問題,才能充分利用這個大機遇,讓大數(shù)據(jù)為企業(yè)為社會充分發(fā)揮的最大價值與貢獻。
一、當(dāng)今大數(shù)據(jù)的運用仍面臨多種技術(shù)難關(guān)的束縛。主要有大數(shù)據(jù)的去冗降噪技術(shù);大數(shù)據(jù)的新型表示方法;高效率低成本的大數(shù)據(jù)存儲;大數(shù)據(jù)的有效融合;非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)的高效處理;適合不同行業(yè)的大數(shù)據(jù)挖掘分析工具和開發(fā)環(huán)境;大幅度降低數(shù)據(jù)處理、存儲和通信能耗的新技術(shù)等。這些技術(shù)問題目前都難于有效解決與完善。
有些行業(yè)的數(shù)據(jù)涉及上百個參數(shù),其復(fù)雜性不僅體現(xiàn)在數(shù)據(jù)樣本本身,更體現(xiàn)在多源異構(gòu)、多實體和多空間之間的交互動態(tài)性,而當(dāng)前技術(shù)尚難以用傳統(tǒng)的方法描述與度量,處理的復(fù)雜度很大。
二、全社會開放與共享數(shù)據(jù)還很難,這讓數(shù)據(jù)質(zhì)量大打折扣。數(shù)據(jù)增值的關(guān)鍵在于整合,但自由整合的前提是數(shù)據(jù)的開放。在大數(shù)據(jù)的時代,開放數(shù)據(jù)的意義,不僅僅是滿足公民的知情權(quán),更在于讓大數(shù)據(jù)時代最重要的生產(chǎn)資料、生活數(shù)據(jù)自由地流動起來,準(zhǔn)確全面應(yīng)用起來,以推動知識經(jīng)濟和網(wǎng)絡(luò)經(jīng)濟的發(fā)展,促進中國的經(jīng)濟增長由粗放型向精細型轉(zhuǎn)型升級。然而戰(zhàn)略觀念上的缺失、政府機構(gòu)協(xié)調(diào)困難、企業(yè)對數(shù)據(jù)共享的認識不足及投入不夠、科學(xué)家對大數(shù)據(jù)的渴望無法滿足等都是大數(shù)據(jù)在當(dāng)前我國發(fā)展應(yīng)用中不得不面對的困難。
三、大數(shù)據(jù)應(yīng)用領(lǐng)域仍窄小,應(yīng)用費用過高,制約大數(shù)據(jù)應(yīng)用。國內(nèi)能利用大數(shù)據(jù)背后產(chǎn)業(yè)價值的行業(yè)主要集中在金融、電信、能源、證券、煙草等超大型、壟斷型企業(yè),其他行業(yè)談大數(shù)據(jù)價值為時尚早。隨著企業(yè)內(nèi)部的資料量愈來愈大,日后大數(shù)據(jù)將成為IT支出中的主要因素,特別是數(shù)據(jù)儲存所耗費的成本,很可能造成企業(yè)負擔(dān),甚至望而卻步。因此有遠見的CIO必須預(yù)先做好準(zhǔn)備。
四、開放與隱私如何平衡,亦是一大難題。任何技術(shù)都是雙刃劍,大數(shù)據(jù)也不例外。如何在推動數(shù)據(jù)全面開放、應(yīng)用和共享的同時有效地保護公民、企業(yè)隱私,逐步加強隱私立法,將是大數(shù)據(jù)時代的一個重大挑戰(zhàn)。#p#
大數(shù)據(jù)時代,當(dāng)如何應(yīng)對?
可以說,真正啟動大數(shù)據(jù)在企業(yè)和社會的全面應(yīng)用,面臨的不僅僅是技術(shù)和工具問題,更重要的是要轉(zhuǎn)變經(jīng)營思維和組織架構(gòu),才能真正地挖掘這座大數(shù)據(jù)“金礦”。那么在大數(shù)據(jù)時代,我們要做哪些應(yīng)對之策,以握戰(zhàn)略制勝之點?
確定企業(yè)的短中期目標(biāo)和標(biāo)準(zhǔn)
大數(shù)據(jù)的資源極大繁雜豐富,如果企業(yè)沒有明確的目標(biāo),就算沒有走入迷途至少會覺得非常迷茫。因此,首先,要確定企業(yè)運用大數(shù)據(jù)的短中期目標(biāo),定義企業(yè)的價值數(shù)據(jù)標(biāo)準(zhǔn),之后再使用那些能夠解決特定領(lǐng)域問題的工具。逐步推廣,步步為營,不要把理想定得太高,否則失望會愈大。
儲備好大數(shù)據(jù)相關(guān)技術(shù)人才
企業(yè)運用大數(shù)據(jù)為營銷管理服務(wù)之前,技術(shù)團隊要到位是基礎(chǔ)。企業(yè)管理團隊要能夠非常自如地玩轉(zhuǎn)數(shù)據(jù)。許多人認為社交媒體營銷人是個有趣的工作,其實它是個艱苦的活兒。社交化空間非常注重數(shù)據(jù)、衡量標(biāo)準(zhǔn)和數(shù)據(jù)可視化等問題。要能熟悉駕馭,首先要確保企業(yè)技術(shù)人員已經(jīng)接受過相關(guān)技能培訓(xùn),了解如何最大化利用大數(shù)據(jù)的作用和潛力為企業(yè)營銷管理服務(wù)。
解決碎片化問題
企業(yè)啟動大數(shù)據(jù)營銷管理一個最重要的挑戰(zhàn),是數(shù)據(jù)的碎片化、零雜化。許多公司組織中,數(shù)據(jù)都散落在互不連通的數(shù)據(jù)庫中,而且相應(yīng)的數(shù)據(jù)技術(shù)也都存在于不同部門中,如何將這些孤立錯位的數(shù)據(jù)庫打通、互聯(lián),并且實現(xiàn)技術(shù)共享,才是能夠最大化大數(shù)據(jù)價值的關(guān)鍵。管理者當(dāng)留意的是,數(shù)據(jù)策略要成功提升網(wǎng)絡(luò)營銷管理成效,要訣在于無縫對接網(wǎng)絡(luò)企業(yè)管理與營銷的每一步驟,從數(shù)據(jù)收集、到數(shù)據(jù)挖掘、應(yīng)用、提取洞悉、報表等。
培養(yǎng)內(nèi)部整合能力
要做好大數(shù)據(jù)的應(yīng)用管理,其一,要有較強的整合數(shù)據(jù)的能力,整合與來自企業(yè)各種不同的數(shù)據(jù)源、各種不同結(jié)構(gòu)的數(shù)據(jù),如客戶關(guān)系管理、搜索、移動、社交媒體、網(wǎng)絡(luò)分析工具、普查數(shù)據(jù)以及離線數(shù)據(jù),這些整合而得的數(shù)據(jù)是定向更大目標(biāo)受眾的基礎(chǔ);其二,要有研究探索數(shù)據(jù)背后價值的能力。未來營銷管理成功的關(guān)鍵將取決于如何在大數(shù)據(jù)庫中挖掘更豐富的營銷價值。像是站內(nèi)、站外的數(shù)據(jù)整合、多方平臺的數(shù)據(jù)接軌、結(jié)合人口與行為數(shù)據(jù)去建立優(yōu)化算法等都是未來的發(fā)展重點;其三,探索出來之后給予精確行動的管理指導(dǎo)綱領(lǐng),同時通過此綱領(lǐng)進行精確快速實時性行動。
而從社會、國家領(lǐng)域而言,我國亟須在國家層面對大數(shù)據(jù)給予高度重視,特別需要從政策制定、資源投入、人才培養(yǎng)等方面給予強有力的支持;另一方面,建立良性的大數(shù)據(jù)生態(tài)環(huán)境是有效應(yīng)對大數(shù)據(jù)挑戰(zhàn)、用好大數(shù)據(jù)的主要出路,需要科技界、工業(yè)界以及政府部門在國家政策的引導(dǎo)下共同努力,通過消除壁壘、成立聯(lián)盟、大數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)、建立專業(yè)組織等途徑,建立和諧的大數(shù)據(jù)生態(tài)系統(tǒng)。
總之,誰率先具備從各種各樣類型的數(shù)據(jù)中快速獲得有價值信息的能力與機會,誰就是贏家!