大數據的中國機會
經過了2012年的鋪墊、醞釀、誕生直到質疑、喧囂、炒作,大數據在2013,將正式走下神壇,深入各個行業(yè)各個領域,產生巨大變革之力,這正是“大數據元年”的核心要義。
從全球范圍看,這種變革正在發(fā)生?;ヂ?lián)網行業(yè)首當其沖,接著是商業(yè)智能與咨詢服務領域、零售行業(yè),還包括醫(yī)療、衛(wèi)生、交通、物流甚至生物科技、天文……大數據催生的數據服務意識和能力,正在影響這個社會的方方面面,從商業(yè)科技到醫(yī)療、政府、教育、經濟、人文以及社會的其他各個領域,并催生了了各行各業(yè)的變革力量。
處于發(fā)展中國家前列的中國,目前正面臨著一個重大的歷史抉擇關口。應該說,在過去三十余年的時間里,中國在快速走向工業(yè)化,信息化,網絡化方面交出了一份不錯的成績單。適逢世界走向數據化,邁入大數據時代的時刻,無論對個人,企業(yè),還是對社會和國家,都有認真理解,嚴肅決策的必要性和緊迫性。
工信部發(fā)布的物聯(lián)網“十二五”規(guī)劃上,把信息處理技術作為4項關鍵技術創(chuàng)新工程之一被提出來,其中包括了海量數據存儲、數據挖掘、圖像視頻智能分析,這都是大數據的重要組成部分。而另外3項信息感知技術、信息傳輸技術、信息安全技術,也與“大數據”密切相關。
而國內的互聯(lián)網公司也在這波數據服務浪潮中迅速找準了自己的位置,不斷地通過輸入法,瀏覽器、殺毒平臺、以及各種木馬、COOKIE之類產品和服務,包括近年來崛起的云計算,都是試圖獲取和整合更多的用戶行為數據,并期待通過這些手段增強自己掌握數據結構性,加大數據關系性,把碎片化的數據用種種手段整合起來并加以利用,這是產業(yè)發(fā)展的一個顯著走向——盡管這些嘗試還處于基礎階段。
此外由于數據服務本身對數據收集、存儲、分析和加工等方面的需求,一些硬件層面的變革也在產生,國際IT巨頭如IBM、EMC、惠普等都開始在這些領域推出了針對性的產品,并嵌入自身服務矩陣之中。國內IT企業(yè)同樣意識到了這波浪潮,開始在原有的業(yè)務和產品基礎上加大數據領域的研發(fā)和投入,并拿出了初步的產品和方案,期冀跟上潮流。
一個樂觀的預期是,國內大數據市場有市場需求廣闊、后續(xù)增長潛力大、投資前景好等優(yōu)點,后續(xù)發(fā)展值得看好。但龐大的人群和應用市場,復雜性高、充滿變化的行業(yè)條件,以及在政策、理念和歷史因素等方面的桎梏,使得中國成為世界上最復雜的大數據國家。
數據政府的機遇與挑戰(zhàn)
隨著互聯(lián)網技術的不斷發(fā)展,數據將像能源、材料一樣,成為戰(zhàn)略性資源。如何利用數據資源發(fā)掘知識、提升效益、促進創(chuàng)新,使其為國家治理、企業(yè)決策乃至個人生活服務,是大數據技術的追求目標。隨著技術不斷成熟,大數據技術將成為國家治理的重要工具。
寬帶資本董事長田溯寧表示:“現代歷史上的歷次技術革命,中國均是學習者。而在這次云計算與大數據的新變革中,中國與世界的距離最小,在很多領域甚至還有著創(chuàng)新與領先的可能。”而具體來看,有兩點非常有利于中國信息產業(yè)跨越式發(fā)展。
一方面,大數據技術以開源為主,迄今為止,尚未形成絕對技術壟斷。即便是IBM、Oracle等行業(yè)巨擘,也同樣是集成了開源技術,和本公司原有產品更好的結合而已。開源技術對任何一個國家都是開放的,中國公司同樣可以分享開源的蛋糕。在過去的幾十年中,中國信息產業(yè),一直落后于國外的巨頭,長期處在產業(yè)鏈的末端,賺取低端的利潤。盡管國家拿出大筆資金扶持上游環(huán)節(jié)的拓荒者,比如CPU、操作系統(tǒng)、辦公軟件,但是花國家錢的,鮮有成功的先例。但是在新興的大數據處理領域,中外公司幾乎站在同一起跑線。有業(yè)內人士表示,單純考慮狹義的大數據處理技術(如Hadoop、MapReduce、模式識別、機器學習等),中外差距僅有5年左右。如果考慮數字資產規(guī)模以及利用的技術,中外差距更多體現為意識上的差距。
另一方面,中國人口和經濟規(guī)模,決定中國的數據資產規(guī)模,冠于全球??陀^上為大數據技術的發(fā)展,提供了演練場。第二點亟待政府、學界、產業(yè)界、資本市場四方通力合作,確保國家數據安全的前提下,最大程度的開放數據資產,促進數據關聯(lián)應用,釋放大數據的大價值。
工業(yè)和信息化部通信發(fā)展司副司長陳家春對此表示:“我國大數據產業(yè)同樣也面臨著人才匱乏、數據資源不夠豐富、數據開放程度較低、相關的法律法規(guī)不完善等問題。”事實上,我國目前對大數據的價值和應用,政府、學界、產業(yè)界和資本市場尚待達成一致的認知。各部門、各地方普遍存在“數據割據”和“數據孤島”的現象。
所以數據開放的意識和能力是最重要的一點。在過去幾十年中遠遠落后于時代發(fā)展的網絡公共數據服務近年來異軍突起,從零散、滯后、粗略和被動的狀態(tài)開始迅速走向集成,動態(tài),精細和主動的新階段。而在數據公開方面,引導潮流不是個人或企業(yè),因為他們受困于個人或企業(yè)的利益,代表公共利益并由公眾稅收維持的政府反而正在成為數據公開的潮流引領者和規(guī)則制定者。
歸根結底,除了技術上的欠缺,對大數據的深刻理解和認識,以及數據開放理念,是阻礙我國大數據技術在各行業(yè)落地的關鍵因素。聯(lián)系到我國現代化所面臨的種種問題以及教育、交通、醫(yī)療保健等各方面挑戰(zhàn),通過大數據這種創(chuàng)新方式來解決問題,創(chuàng)建新的產業(yè)群,實現“中國制造到中國創(chuàng)造”的改變,意義就更大。#p#
互聯(lián)網公司數據版圖
在21世紀的第一個十年里,我國互聯(lián)網行業(yè)取得了令人矚目的成績,形成了覆蓋數億網民、輻射各行各業(yè)等全產業(yè)鏈,在用戶行為積累和數據處理方面積攢了一些經驗,然而就整個產業(yè)而言,互聯(lián)網行業(yè)仍處于大數據時代的萌芽初期。在商業(yè)模式和經營水平對數據的依賴程度上,除了搜索和電商,整體上低于電信業(yè)、金融業(yè)、證券業(yè)、保險業(yè)、航空業(yè)、旅店業(yè)等傳統(tǒng)產業(yè)的水平。這是因為數據并不等于大數據,傳統(tǒng)的數據分析和數據統(tǒng)計手段也并不適用于大數據領域。
但另一方面,對比國際大數據企業(yè)的發(fā)展路徑和步伐,互聯(lián)網公司由于業(yè)務和行業(yè)特征,在數據分析技術和所以在數據的分析上作得相對領先一些,更有可能直接形成突破。國金證券在其發(fā)布的大數據系列報告中提出了大數據時代應用軟件互聯(lián)網化,行業(yè)應用垂直整合和數據成為核心資產等3個主要的趨勢,其中最為值得注意的就是在傳統(tǒng)操作系統(tǒng),數據庫平臺軟件同質化趨勢日趨明顯的背景下,未來越靠近最終用戶的企業(yè)將在產業(yè)鏈中擁有更大的發(fā)言權——這方面互聯(lián)網公司最占優(yōu)勢。
具體來看,國內這方面最有發(fā)言權的莫過百度、新浪、阿里、騰訊等于互聯(lián)網幾大巨頭。
百度擁有中國最大的消費者行為數據庫,覆蓋95%的中國網民,日均響應50億次搜索請求,搜索市場占比達80%,同時還構建了百度聯(lián)盟,60萬聯(lián)盟合作伙伴每天有50億次的日均行為產生,這些構成了巨大數據的基礎。但截至目前為止,百度沒有對數據分析服務商的收購,其主要數據產品都集中在搜索一條線上。推百度指數,并在百度指數的基礎上建立百度風云榜;百度數據中心,以數據分析研究機構的方式,通過廣大網民的搜索行為數據為各行業(yè)提供網絡搜索咨詢報告。除此之外,就是為廣告站長和開發(fā)組提供的百度(移動)統(tǒng)計以及相關的開發(fā)者服務工具。
而且在真正的大數據領域百度也有一定的危機。因為它的海量搜索數據雖然規(guī)模龐大,但結構簡單。在數據挖掘深度,搜索結果個人化,搜索結果與廣告之間的相關度上進展有限,只有改良,沒有突破。百度的貼吧、音樂、知道、文庫等產品相關度不錯,但在復雜數據上仍然需要加大投入,以期在大數據時代實現二次爆發(fā)。
另一個不容忽視的領域則是電商服務業(yè),甚至有種說法:“電商行業(yè)的現金收入源自數據”——亞馬遜也是憑借這一領域的深耕和布局來跟緊甚至引領大數據時代的——最具代表性的當然是阿里集團。
最直接的例子來自阿里平臺,尤其是曾經創(chuàng)下“巨大聲譽”的阿里詢盤指數。通常而言,買家在采購商品前,會比較多家供應商的產品,反映到阿里巴巴網站統(tǒng)計數據中,就是查詢點擊的數量和購買點擊的數量會保持一個相對的數值。統(tǒng)計歷史上所有買家、賣家的詢價和成交的數據,可以形成詢盤指數和成交指數。2008年初,馬云觀察到詢盤指數異乎尋常的下降,推測未來成交量的萎縮,并提前呼吁、幫助成千上萬的中小制造商準備過冬糧,從而贏得了崇高的聲譽。此外淘寶數據魔方則是淘寶平臺上的大數據應用方案。通過這一服務,商家可以了解淘寶平臺上的行業(yè)宏觀情況、自己品牌的市場狀況、消費者行為情況等,并可以據此作出經營決策。
騰訊則是中國互聯(lián)網另一個當之無愧的巨頭。財報數字顯示,騰訊擁有超過7.836億QQ活躍賬戶,4.69億微博用戶和超過1億的視頻用戶、5.976億QQ空間用戶,微信、手機管家等帶來的移動用戶也超過了3億。除卻海量用戶,騰訊“N個產品×N個平臺×N個終端×N個用戶關系”的龐大服務矩陣,帶來數據的非結構化、碎片化、海量化。正因為如此,以產品而著稱的騰訊在數據領域的布局主要集中在其產品上,而騰訊在用戶行為分析領域的能力和底蘊不容置疑。但說到具體的數據挖掘和數據共享服務,目前能夠對外開放或者深度加工打造出的單獨服務還不多。目前來看,對外的只有針對站長和移動應用開發(fā)者提供的騰訊分析和騰訊羅盤兩款應用分析工具。
此外,2011年凡客成立了數據中心,希望實現互聯(lián)網的系統(tǒng)化和數字化的管理,包括庫存、進貨周期、周轉、訂單等方面的數據研究,以及研究新產品的上架與新用戶增長的關系,每上線一個新品與它能夠帶來的用戶二次購買的關系等;新浪微博則成立數據部,在海量微博用戶和信息的基礎上開展了一系列數據挖掘和分析的研究和實驗,同時開放數據給第三方創(chuàng)業(yè)公司,初步形成了依托其上的一個小型社交媒體數據分析挖掘生態(tài);攜程網則將自己多年來在OTA服務領域積累的數據和用戶習慣深度挖掘出來,并在此基礎上形成了一套新型服務模式和服務體系;加上視頻行業(yè)的優(yōu)酷、下載工具領域的迅雷、安全信息領域的360甚至婚戀網站中的百合網、招聘網站中的前程無憂……在大數據時代爆發(fā)的背景下,無數互聯(lián)網企業(yè)開始重新審視自己的行業(yè)定位,將數據資源和數據價值提升到自己的核心戰(zhàn)略中,并衍生出一系列新型服務和產品,而這種趨勢還在繼續(xù)迅速爆發(fā)中。
綜合來看,大數據的出現既為網絡業(yè)帶來了機遇大于挑戰(zhàn)。數據量的增加為網絡公司提供了精確把握用戶群體和個體網絡行為模式的基礎,如果能夠充分利用,就可以探索個人化、個性化、精確化和智能化地進行廣告推送和服務推廣服務,創(chuàng)立比現有廣告和產品推廣形式性價比高數倍甚至數十倍的全新商業(yè)模式。同時,網絡公司也可以通過對大數據的把握,尋找更多更好地增加用戶粘性,開發(fā)新產品和新服務,降低運營成本的方法和途徑。
當然,不是任何公司都有這樣的能力和意愿來進行這樣的轉身——它們則會在數據產業(yè)鏈中漸漸被淘汰——新興崛起的創(chuàng)業(yè)公司同樣有巨大機會。#p#
IT軟硬件企業(yè)的新思路
另一個充滿遐想空間的情景是:如果我們把大數據生態(tài)下的產業(yè)鏈繼續(xù)展開,會發(fā)現圍繞大數據形成的信息產業(yè),將形成規(guī)模龐大的基礎產業(yè)。一是數據技術產業(yè),包括硬件方面的智能管道、物聯(lián)網、服務器、存儲、傳輸、智能移動設備等,軟件方面的語言、數據平臺、工具、結構與非結構數據庫、應用軟件等,服務方面的IDC、云計算、WEB應用等;二是數據采集業(yè),包括定位、支付、SNS、郵件等行業(yè);三是數據加工業(yè),包括數據挖掘、數據分析、數據咨詢等產業(yè);四是數據應用業(yè)。這條覆蓋了幾乎整個信息產業(yè)全部領域的生態(tài)鏈建設,對我國亟待信息化轉型的各行各業(yè)而言,也將具有直接的方向性意義,尤其是在基礎設施和觀念意識等方面。
事實上,目前政府和產業(yè)界積累了大量的數據資產,但是苦于缺乏行之有效的算法,來充分挖掘數據的價值。形象的說,好多行業(yè)是守著“金山要飯吃”。
而環(huán)顧全球范圍內大數據的發(fā)展趨勢和生態(tài)模式,一個最不容忽視的角色莫過于軟硬件廠商的重視、轉型和創(chuàng)造。軟件方面,無論是甲骨文、EMC、SAP等數據行業(yè)巨頭,還是Splunk、Cloudera以及Hadoop生態(tài)下的Hortonworks、MapR新興公司,都已經在大數據領域發(fā)現和創(chuàng)造巨大價值。硬件方面,同樣有IBM、惠普、思科等大型企業(yè)與一系列Hadoop生態(tài)下的創(chuàng)業(yè)公司參與其中,而在這方面,國內軟硬件廠商處于落后狀態(tài)。
究其原因,除了因為國內企業(yè)在數據庫、數據倉庫、商業(yè)智能等領域基礎薄弱,大數據的意識和重視程度甚至創(chuàng)新精神,都是值得注意之處。不過,仍有神州數碼、東軟、浪潮信息、用友、科大訊飛等IT軟硬件企業(yè)已經看到大數據的力量,開始在原有的業(yè)務和產品基礎上加大數據領域的研發(fā)和投入,并拿出了初步的產品和方案,在大數據探索和研發(fā)層面走出了寶貴一步。
而且在大數據落地應用方面,國內廠商也有自己的“微創(chuàng)新”。例如,浪潮基于對數據產業(yè)的認知與積累,推出云海大數據一體機解決方案,重點面向行業(yè)大數據應用,是一體化的數據處理的產品化方案,采用新型技術體系架構,整合軟硬件系統(tǒng),涵蓋數據存儲、數據處理、數據展現等全環(huán)節(jié)。
以未來的視角看,無論是政府、互聯(lián)網公司、IT企業(yè)還是行業(yè)用戶,只要我們以開放的心態(tài)、創(chuàng)新的勇氣擁抱“大數據”,大數據時代就一定有屬于中國的機會。