51CTO 2012云計(jì)算架構(gòu)師峰會(huì)王楓:大數(shù)據(jù)的新世界
原創(chuàng)【51CTO獨(dú)家報(bào)道】當(dāng)IT技術(shù)和互聯(lián)網(wǎng)的發(fā)展催生出新的業(yè)務(wù)模式,當(dāng)云計(jì)算作為一種新型的服務(wù)交付模式被越來(lái)越多的關(guān)注和意欲采用,驚喜、新奇、困惑、躊躇……這些情緒或許您正在擁有!
不必苦惱,眼下有解。51CTO傳媒緊跟時(shí)代發(fā)展的潮流,站在技術(shù)和模式變革的前沿,洞悉服務(wù)轉(zhuǎn)型模式及架構(gòu)搭建的困惑,于2012年10月25日~26日在北京工人體育場(chǎng)西北側(cè)會(huì)議中心(21看臺(tái)對(duì)面飪我行會(huì)所)舉辦的“2012云計(jì)算架構(gòu)師峰會(huì)”將為您搭建一個(gè)與工信部領(lǐng)導(dǎo)、業(yè)內(nèi)知名專家、學(xué)者及具有實(shí)戰(zhàn)經(jīng)驗(yàn)的資深架構(gòu)師溝通、交流和互動(dòng)的平臺(tái)。在這里,您得到的不僅僅是一場(chǎng)精神食糧的饕餮盛宴、***IT技術(shù)發(fā)展和實(shí)踐的經(jīng)驗(yàn)交流、國(guó)內(nèi)外***的技術(shù)動(dòng)態(tài)和研究成果,同時(shí)更是頭腦風(fēng)暴、思想火花的強(qiáng)烈碰撞。以下是51CTO.com帶來(lái)的***報(bào)道:
現(xiàn)在是IT界的亂世,亂世出英雄。微軟亞太研發(fā)集團(tuán)中國(guó)云計(jì)算創(chuàng)新中心總監(jiān)王楓先生認(rèn)為,隨著下一代IT趨勢(shì)作為互聯(lián)網(wǎng)新的IT技術(shù)的發(fā)展,大家現(xiàn)在確實(shí)進(jìn)入到IT的新階段,在這個(gè)階段里,最主要的就是三個(gè)主要領(lǐng)域,***個(gè)就是云計(jì)算,第二是物聯(lián)網(wǎng),第三就是大數(shù)據(jù)。
***,從云計(jì)算上來(lái)看它最主要的帶給IT、帶給人類的三個(gè)主要的優(yōu)勢(shì),一個(gè)是它的經(jīng)濟(jì)性,一個(gè)是它的快捷性,一個(gè)是它可以通過(guò)云計(jì)算來(lái)讓企業(yè)實(shí)現(xiàn)更多的創(chuàng)新。在這里,一個(gè)最主要的就是對(duì)資源的整合。大家聽到云計(jì)算里有一個(gè)最關(guān)鍵的詞,資源池,它等于把所有的資源數(shù)據(jù)通過(guò)云計(jì)算的技術(shù)、云計(jì)算的理念能夠整合起來(lái),在這里面數(shù)據(jù)是非常非常主要的。云計(jì)算咱們剛才聽到了不管是IBM的同仁,孫博士講到了各種各樣的應(yīng)用,其實(shí)所有的應(yīng)用,數(shù)據(jù)是其中一個(gè)主要的核心,不管你是基礎(chǔ)設(shè)施、不管你的平臺(tái)、不管你的應(yīng)用,沒(méi)有數(shù)據(jù),你就是一個(gè)空的架子。
第二,從物聯(lián)網(wǎng)角度來(lái)說(shuō),它實(shí)際上主要是對(duì)目標(biāo)的所有屬性進(jìn)行采集,對(duì)這些屬性進(jìn)行跟蹤、管理和分析,這些屬性是什么?就是數(shù)據(jù)。所以,在開場(chǎng)這一段我想說(shuō)的,所有的這一切都是數(shù)據(jù)在云計(jì)算和物聯(lián)網(wǎng)里面最主要的,也是下一代IT趨勢(shì)的一個(gè)最主要的核心。
第三,也是王楓先生今天主要的重點(diǎn)。是專注于大數(shù)據(jù),大概從幾個(gè)方面,一個(gè)是大數(shù)據(jù)的概念,什么是大數(shù)據(jù),為什么是大數(shù)據(jù),現(xiàn)在大數(shù)據(jù)的重要性。接下來(lái),從大數(shù)據(jù)的生命周期、主要的一些環(huán)節(jié)、主要有哪些技術(shù)去實(shí)現(xiàn)大數(shù)據(jù)給我們IT、給人類和企業(yè)所帶來(lái)的價(jià)值,微軟在這方面有哪些創(chuàng)新,我們?cè)趪?guó)內(nèi)外有哪些案例,大概從這幾個(gè)方面來(lái)介紹。
王楓先生認(rèn)為,現(xiàn)在為什么在這個(gè)時(shí)間段大家進(jìn)入了一個(gè)大數(shù)據(jù)的階段主要的原因是很多的設(shè)備,不管是無(wú)線設(shè)備、公共互聯(lián)網(wǎng),包括各種各樣社交網(wǎng)站、各種各樣互聯(lián)網(wǎng)的應(yīng)用帶來(lái)的數(shù)據(jù)膨脹,包括云計(jì)算、包括硬件各個(gè)方面。隨著這些技術(shù),隨著這些互聯(lián)網(wǎng)平臺(tái),隨著設(shè)備不斷的成熟、不斷的擴(kuò)大,由此而產(chǎn)生的數(shù)據(jù)就生長(zhǎng)到了一個(gè)非常大的程度。同時(shí),為什么大家說(shuō)大數(shù)據(jù)這個(gè)概念?實(shí)際上在10年前,20年前,也有很多數(shù)據(jù)的膨脹,為什么現(xiàn)在我們要提到大數(shù)據(jù)是IT趨勢(shì)里很重要的一個(gè)環(huán)節(jié)呢?因?yàn)橐龅綄?duì)于數(shù)據(jù)的處理能夠更有效,你還需要硬件,在計(jì)算、在存儲(chǔ)、在各個(gè)方面有足夠的就緒,同時(shí)它的成本能夠降低。
什么是大數(shù)據(jù)?王楓先生介紹說(shuō),從大和數(shù)據(jù)這兩個(gè)詞語(yǔ)里面大家可能有一個(gè)直觀體會(huì),***是數(shù)據(jù),第二是大,這個(gè)大代表什么意思?從幾個(gè)方面,***,所謂的大數(shù)據(jù),主要的原因是隨著IT的發(fā)展,隨著互聯(lián)網(wǎng)的成熟,隨著剛才所講的各種各樣數(shù)據(jù)源的成熟,在這個(gè)世界上現(xiàn)在產(chǎn)生了各種各樣的數(shù)據(jù),這些數(shù)據(jù)不光是它的數(shù)量的大小,同時(shí)是它的種類的繁多,不再像傳統(tǒng)那樣,很多結(jié)構(gòu)化的數(shù)據(jù),現(xiàn)在有各種各樣非結(jié)構(gòu)化的數(shù)據(jù),這些數(shù)據(jù)可以是視頻、可以是音樂(lè)、可以是文件、可以是各種版本的文件。這些東西隨著這些現(xiàn)有的技術(shù),滋生出來(lái)各種各樣的數(shù)據(jù),它就形成了一個(gè)大數(shù)據(jù)的“大”的概念,所以這個(gè)大不簡(jiǎn)簡(jiǎn)單單是尺寸的大小,表示了這個(gè)數(shù)據(jù)的復(fù)雜性。
隨著大數(shù)據(jù)的趨勢(shì)和大數(shù)據(jù)的現(xiàn)狀,確實(shí)也給企業(yè)帶來(lái)了很多問(wèn)題,包括一些挑戰(zhàn),大數(shù)據(jù)在那里,我也知道它的價(jià)值,那么我怎么去通過(guò)大數(shù)據(jù)來(lái)發(fā)掘出它對(duì)我企業(yè)能夠制定更好的方針和政策,如何去更好的處理實(shí)時(shí)的數(shù)據(jù),通過(guò)我剛才講的產(chǎn)業(yè)鏈,采集、存儲(chǔ)、處理、分析各個(gè)方面,***如何通過(guò)更好的工具去分析,我把這些數(shù)據(jù)可視化。這些都是擺在企業(yè)面前的一個(gè)挑戰(zhàn)和創(chuàng)新。
大數(shù)據(jù)確實(shí)是給企業(yè)、給世界、給IT,包括政府在內(nèi),提供了很多的機(jī)遇。其中之一,就是對(duì)于企業(yè)的決策,任何一個(gè)企業(yè)的決策,他通過(guò)什么去保證他能夠制定更好的方針和政策,我想這個(gè)東西不能只是拍拍腦袋,要根據(jù)一些真憑實(shí)據(jù),現(xiàn)在有這么好的數(shù)據(jù)資源,怎么更好的利用,這是很重要的。大家可以看到,將近50%以上,現(xiàn)在在世界的各個(gè)企業(yè)的***都知道怎么去應(yīng)用大數(shù)據(jù)來(lái)做企業(yè)規(guī)劃和戰(zhàn)略的制定。同時(shí),大數(shù)據(jù)是一個(gè)產(chǎn)業(yè)鏈,這個(gè)產(chǎn)業(yè)鏈不光是虛擬的概念,它同時(shí)也帶動(dòng)了不光是在軟件上,IT的服務(wù)、軟件的開發(fā),包括硬件,我剛才講了,大數(shù)據(jù)離不開硬件的基礎(chǔ)、計(jì)算、存儲(chǔ),也帶動(dòng)了整個(gè)IT的商業(yè)發(fā)展。
剛才講了一些概念,接下來(lái)我會(huì)從大數(shù)據(jù)的生命周期,我們微軟認(rèn)為最主要的三個(gè)階段,來(lái)給大家做一些具體的介紹。這三個(gè)生命周期,***,首先你要把這些數(shù)據(jù)采集起來(lái),通過(guò)什么樣的方式。第二,這些數(shù)據(jù)要存儲(chǔ),以什么樣的存儲(chǔ)技術(shù),能夠保證它的安全性,它的不間斷性、可持續(xù)性、擴(kuò)展性。在這個(gè)基礎(chǔ)上,當(dāng)你也了數(shù)據(jù)以后,如何去把這些數(shù)據(jù)做處理,去豐富、去滿足你企業(yè)所想要的要求。***,如何在這個(gè)基礎(chǔ)上,通過(guò)你已經(jīng)處理好的、已經(jīng)整合的、已經(jīng)清理干凈的數(shù)據(jù),來(lái)在上面做分析,來(lái)做格式化的展現(xiàn)。所以,這三個(gè)我想對(duì)于實(shí)現(xiàn)大數(shù)據(jù)的價(jià)值是非常非常重要的環(huán)節(jié)。
王楓先生又繼續(xù)說(shuō)到存儲(chǔ),大數(shù)據(jù)對(duì)存儲(chǔ)的要求是非常非常高的,我想從簡(jiǎn)單的技術(shù)層面來(lái)說(shuō),你能夠存多大的數(shù)據(jù)量,你數(shù)據(jù)的安全性、不可間斷性、可持久性、擴(kuò)展性,是這些數(shù)據(jù)存儲(chǔ)的基本技術(shù)。從另一點(diǎn)來(lái)說(shuō),大家又會(huì)面臨一個(gè)問(wèn)題,也就是說(shuō)現(xiàn)在大家說(shuō)到云計(jì)算,一般來(lái)說(shuō),在一個(gè)IT的應(yīng)用里,在數(shù)據(jù)存儲(chǔ)這塊無(wú)非有幾種方式,一種是傳統(tǒng)IT的方式,也就是說(shuō)每一個(gè)企業(yè)郵自己的數(shù)據(jù)中心,這個(gè)數(shù)據(jù)中心既可以是傳統(tǒng)的物理機(jī)的模式,沒(méi)有采用云計(jì)算的技術(shù),也可以是一個(gè)私有云,同時(shí)像徐博士也講了,微軟有自己的公有云,不光是微軟,還有業(yè)界的其他公司也有公有云的這種模式,我也可以通過(guò)公有云來(lái)存儲(chǔ)管理我的數(shù)據(jù)。這里面有什么區(qū)別呢?我想給大家總結(jié)一下,比較大的區(qū)別,因?yàn)閯偛判觳┦恳膊粩鄰?qiáng)調(diào)安全,我想對(duì)于公有云的模式,實(shí)際上安全包括網(wǎng)絡(luò)上的速度可能是一個(gè)比起私有云和你自己的數(shù)據(jù)中心來(lái)講,是一個(gè)你需要考慮的因素。因?yàn)槟阋坏┓旁诠性粕?,你一旦開放了,你一旦通過(guò)很多的網(wǎng)絡(luò),通過(guò)外網(wǎng)就會(huì)很必然的,特別是數(shù)據(jù)量很大,像大數(shù)據(jù)這么大的數(shù)據(jù)量,各種各樣復(fù)雜的數(shù)據(jù),雖然能夠幫你節(jié)省管理和運(yùn)營(yíng)的成本,你不需要自己管理運(yùn)營(yíng)數(shù)據(jù)中心,但是也有它的弊病。從另一點(diǎn)來(lái)說(shuō),如果是你企業(yè)自己內(nèi)部的一個(gè)內(nèi)網(wǎng)監(jiān)控下的私有云,或者傳統(tǒng)的數(shù)據(jù)中心來(lái)說(shuō),你可以通過(guò)你自己的控制,來(lái)保證它的安全,來(lái)提高你的效率,特別是數(shù)據(jù)中心的效率。
從存儲(chǔ)的角度,我想再回到核心的技術(shù),最主要的有兩點(diǎn),***,關(guān)系型的數(shù)據(jù)中心,第二,非關(guān)系型數(shù)據(jù)中心。比如說(shuō)微軟SQL Server已經(jīng)不簡(jiǎn)簡(jiǎn)單單針對(duì)結(jié)構(gòu)化的數(shù)據(jù),各種各樣的數(shù)據(jù)類型,SQL Server都有這個(gè)能力去處理存儲(chǔ),甚至可以自定義自己的數(shù)據(jù)類型,有些數(shù)據(jù)類型可以通過(guò)它提供的技術(shù)自定義,同時(shí)因?yàn)樗顷P(guān)系型數(shù)據(jù)庫(kù),對(duì)于剛才我講的大數(shù)據(jù)、復(fù)雜的數(shù)據(jù),可以利用各種各樣的技術(shù)進(jìn)行查詢、索引,比如剛才講的全文本的查詢、非結(jié)構(gòu)化的屬性的查詢,都可以通過(guò)它提供的各種各樣的技術(shù)來(lái)管理、存儲(chǔ),來(lái)更好的利用這些數(shù)據(jù)。
***,王楓先生再講了HADOOP,實(shí)際上HADOOP最主要的特性就是它提供了一種世界IT領(lǐng)先的技術(shù),去如何通過(guò)這種并行的技術(shù)處理各種各樣的數(shù)據(jù),通過(guò)HADOOP自己存儲(chǔ)的空間,或者說(shuō)跟微軟的存儲(chǔ)集成,但是最主要的它是***的數(shù)據(jù)處理技術(shù),一千個(gè)ZD的數(shù)據(jù)怎么去處理它,怎么樣利用現(xiàn)有的硬件資源去并行的處理,去達(dá)到智能性的處理,HADOOP無(wú)疑是現(xiàn)在非常領(lǐng)先的IT技術(shù)。從微軟的角度,我們利用大數(shù)據(jù)的平臺(tái)跟HADOOP的集成,更好的去為用戶提供這種靈活和方便的技術(shù)。
以上是51CTO.com記者從一線為您帶來(lái)的精彩報(bào)道。后續(xù)我們還有更加精彩的獨(dú)家報(bào)道,敬請(qǐng)關(guān)注。