吳朱華:在我眼中的大數(shù)據(jù)時代
原創(chuàng)2013年4月26日-27日,由51CTO傳媒集團旗下WOT(World Of Tech)品牌主辦的2013大數(shù)據(jù)全球技術(shù)峰會在北京富力萬麗酒店召開。本次峰會將圍繞大數(shù)據(jù)基礎(chǔ)架構(gòu)與上層應(yīng)用的生態(tài)系統(tǒng),解決大規(guī)模數(shù)據(jù)引發(fā)的問題,探索大數(shù)據(jù)基礎(chǔ)的解決方案,激發(fā)數(shù)據(jù)挖掘帶來的競爭力,讓數(shù)據(jù)發(fā)出聲音。51CTO作為本次峰會的主辦方,將全程視頻、圖文直播報道這場數(shù)據(jù)的盛宴,更多內(nèi)容請點擊專題:2013大數(shù)據(jù)全球技術(shù)峰會。
來自麥肯錫報告,未來十年里數(shù)據(jù)和內(nèi)容將增長44倍,并且這些數(shù)據(jù)有無法估量的價值。
對于傳統(tǒng)行業(yè)來說,大數(shù)據(jù)的沖擊來自三個方面,數(shù)據(jù)終端數(shù)據(jù)量的增長,例如智能電網(wǎng)和物聯(lián)網(wǎng);數(shù)據(jù)維度的變化,例如消費行為與社交網(wǎng)絡(luò)的關(guān)聯(lián);商業(yè)模式的變化:例如從產(chǎn)品消費到信用營銷,從經(jīng)驗和直覺決策到數(shù)據(jù)智能決策,三個因素組織在一起,使大數(shù)據(jù)發(fā)生了幾何數(shù)的增長。
大數(shù)據(jù)階段
***階段:自身業(yè)務(wù)需求產(chǎn)生大量數(shù)據(jù),利用這些數(shù)據(jù)通過深入認(rèn)證,優(yōu)化相關(guān)業(yè)務(wù)。
第二階段:搜集與目標(biāo)業(yè)務(wù)直接或間接關(guān)聯(lián)的大量異質(zhì)數(shù)據(jù),建立復(fù)雜的分析和預(yù)測模型,產(chǎn)生針對目標(biāo)業(yè)務(wù)的輸出。這個階段國外比較普遍,但在國內(nèi)還依然很少。
第三階段:隨著整體數(shù)據(jù)相關(guān)的法律不斷補充,以及技術(shù)不斷成熟,形成一個完善的數(shù)據(jù)生態(tài),包括數(shù)據(jù)市場,數(shù)據(jù)運營商和數(shù)據(jù)商店等。
從技術(shù)角度而言,趨勢是更實時,越快越好,更全面數(shù)據(jù)分析需求,包括SQL、挖掘算法,以及以Deep Learning為代表的機器學(xué)習(xí)技術(shù)。
大數(shù)據(jù)實時分析的目的
實時決策能力;提高業(yè)務(wù)效率;快速智能發(fā)現(xiàn)新觀點和商業(yè)機會;提供業(yè)務(wù)產(chǎn)出;提升IT效率;
大數(shù)據(jù)實時分析所需的技術(shù)支撐
大數(shù)據(jù)秒級,甚至毫秒級的處理;上千人的并發(fā)訪問;支持SQL標(biāo)準(zhǔn),特別是OLAP相關(guān)的語句;數(shù)據(jù)安全和集群的穩(wěn)定型。
大數(shù)據(jù)實時分析的技術(shù)選型
Hadoop系列:Hive,Impala;
NoSQL系列:MongoDB,HBase;
傳統(tǒng)關(guān)系型數(shù)據(jù)庫:Oracle,DB2,MySQL;
傳統(tǒng)列式數(shù)據(jù)庫:Infobright,Monet DB。
在介紹一下YunTable
YunTable是在從分布式數(shù)據(jù)庫的基礎(chǔ)上發(fā)展而來,同時加入一些NoSQL的基因的新一代大數(shù)據(jù)實時分析數(shù)據(jù)庫,并且支持內(nèi)存計算,比較接近SAP HANA。
YunTable核心特性
大數(shù)據(jù),秒級內(nèi)存計算;采用廉價的x86硬件;自動線性動態(tài)擴展至數(shù)百臺集群;每秒GB級別吞吐量,PB級別存儲量;SQL92特性覆蓋,并提供多平臺的SQL驅(qū)動,還支持R。
以上是51CTO.com記者從一線為您帶來的精彩報道。后續(xù)我們還有更加精彩的獨家報道,敬請關(guān)注。