2012地理信息開發(fā)者大會(huì)(WGDC2012)今日在北京國(guó)家會(huì)議中心拉開帷幕，本次大會(huì)以“新技術(shù)、新模式、新商業(yè)”為主題，是地理信息領(lǐng)域最具影響力的技術(shù)性盛會(huì)，其宗旨是不斷引領(lǐng)和促進(jìn)地理信息技術(shù)的創(chuàng)新與變革。EMC中國(guó)卓越研發(fā)集團(tuán)北京研發(fā)中心總經(jīng)理劉偉發(fā)表了題為《大數(shù)據(jù)=大機(jī)遇!》的演講，分享了在大數(shù)據(jù)來臨的時(shí)代，我們?nèi)绾巫龀龈玫膽?yīng)對(duì)。

EMC中國(guó)卓越研發(fā)集團(tuán)北京研發(fā)中心總經(jīng)理劉偉（3sNews 攝）
 

　　以下為文字實(shí)錄：

　　在我們無(wú)意識(shí)中，這個(gè)世界已經(jīng)變成了一個(gè)大數(shù)據(jù)的世界了。

　　我們經(jīng)常討論大數(shù)據(jù)，究竟什么是大數(shù)據(jù)?其實(shí)大跟小是一個(gè)相對(duì)的概念。我覺得有兩個(gè)原因，一個(gè)是我們跟歷史比有一個(gè)時(shí)間點(diǎn)，在過去，我們討論數(shù)據(jù)的時(shí)候，比如提到Total Data已經(jīng)是很了不起了，十年前有TB的數(shù)據(jù)已經(jīng)是非常大了。時(shí)過境遷，今天再談數(shù)據(jù)我們用的標(biāo)量單位是Z、T，所以時(shí)間緯度上看大數(shù)據(jù)絕對(duì)是數(shù)據(jù)量太大。還有一個(gè)緯度，從某種意義上來講，我們?cè)谟懻摯髷?shù)據(jù)的時(shí)候也是人們?cè)趯?duì)數(shù)據(jù)處理方面的一種無(wú)奈。這個(gè)“大”實(shí)際上是說，我們處理數(shù)據(jù)的能力小于數(shù)據(jù)量。換句話說，數(shù)據(jù)量太大。所以真正直到有一天，如果我們能夠通過技術(shù)的手段，通過一些新的解決方案，能夠隨心所欲駕馭大數(shù)據(jù)的時(shí)候，這個(gè)時(shí)候數(shù)據(jù)就變成了一種機(jī)會(huì)。所以今天我就想討論一下在今后十年整個(gè)數(shù)字世界會(huì)增長(zhǎng)44倍，也就是說從2010年的0.9ZB，要增加到十年后的35.2BZ。這個(gè)數(shù)據(jù)變化過程中，其實(shí)我們每一個(gè)人包括在座的各位都是參與到大數(shù)據(jù)產(chǎn)業(yè)當(dāng)中。各行各業(yè)，不管是企業(yè)、個(gè)人、政府、還是銀行，所有的行業(yè)都在這次大數(shù)據(jù)的變革當(dāng)中起著推波助瀾的作用。數(shù)據(jù)產(chǎn)生的過程中有大數(shù)據(jù)產(chǎn)生的大戶，比如說搞科技研究的，比如歐洲強(qiáng)離子衛(wèi)星每秒鐘撞出上億的數(shù)據(jù)單元。比如社交網(wǎng)絡(luò)、地球物理，都是數(shù)據(jù)產(chǎn)生的大戶。這些數(shù)據(jù)產(chǎn)生的大戶對(duì)大數(shù)據(jù)產(chǎn)生起到了很大的作用，而更重要的部分是我們個(gè)人，包括在座的各位。

　　隨著互聯(lián)網(wǎng)的發(fā)展，移動(dòng)社會(huì)的普遍應(yīng)用，包括Facebook的發(fā)展和電子商務(wù)、音頻、視頻、圖像廣泛的應(yīng)用，使得每一個(gè)個(gè)體都變成了巨大數(shù)據(jù)的創(chuàng)造者。這樣這個(gè)基數(shù)就變成了一個(gè)天文數(shù)字，而新產(chǎn)生的數(shù)據(jù)很大一部分是結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化的數(shù)據(jù)。回到地理信息系統(tǒng)，地理信息系統(tǒng)是在走入這個(gè)大數(shù)據(jù)行業(yè)里面的一個(gè)比較前列的行業(yè)。隨著技術(shù)的發(fā)展，在測(cè)繪領(lǐng)域，新的技術(shù)為我們提供了很多新的測(cè)繪方法，包括遙感技術(shù)、GPS技術(shù)、和測(cè)量技術(shù)等等，它能幫助我們收集更多數(shù)據(jù)這是好的方面。另一方面也無(wú)形中推動(dòng)了數(shù)據(jù)量的大發(fā)展。

　　而多媒體信息和傳統(tǒng)地理信息的結(jié)合也從某種意義上來講，讓地理信息的數(shù)據(jù)量有了一個(gè)跨越式的發(fā)展。比如說Google地圖，它06年的數(shù)據(jù)量是70TB，到了2010年已經(jīng)達(dá)到了50萬(wàn)TB，隨著新的移動(dòng)互聯(lián)網(wǎng)、手機(jī)設(shè)備和LBS的發(fā)展，新的地理信息相關(guān)數(shù)據(jù)衍生出很多新的數(shù)據(jù)種類和增加了很多數(shù)據(jù)量。

　　我們看一下傳統(tǒng)上地理信息系統(tǒng)怎么管理和處理這些數(shù)據(jù)?傳統(tǒng)的地理信息系統(tǒng)相對(duì)處理數(shù)據(jù)的種類和類型比較單一、比較簡(jiǎn)單。主要是矢量數(shù)據(jù)，就是點(diǎn)、線、面體以及跟矢量數(shù)據(jù)相關(guān)的一些屬性信息。空間數(shù)據(jù)是利用文件系統(tǒng)來管理，我們用關(guān)系數(shù)據(jù)庫(kù)來關(guān)系這種屬性數(shù)據(jù)。所以文件系統(tǒng)加上關(guān)系數(shù)據(jù)庫(kù)的系統(tǒng)就變成了一個(gè)很典型的地理信息的數(shù)據(jù)管理系統(tǒng)。這個(gè)系統(tǒng)里有一個(gè)很明顯的問題，就是因?yàn)閿?shù)據(jù)是在不同的地方管理，所以造成了在計(jì)算效率和數(shù)據(jù)管理，包括保持?jǐn)?shù)據(jù)一致性的時(shí)候都有一些困難。所以后來有很多空間數(shù)據(jù)苦來同時(shí)管理空間數(shù)據(jù)和屬性數(shù)據(jù)。

　　剛才我也談到了，地理信息發(fā)生了很大的變化，不管是從數(shù)據(jù)量還是數(shù)據(jù)的種類都跟以前不可同日而語(yǔ)。原來簡(jiǎn)單空間數(shù)據(jù)管理已經(jīng)不太適用了。我們覺得將來的方式對(duì)于矢量數(shù)據(jù)應(yīng)該考慮大規(guī)模并行的空間數(shù)據(jù)庫(kù)來進(jìn)行管理。面對(duì)這種大的數(shù)據(jù)量和多種類的數(shù)據(jù)，對(duì)于地理信息來講要解決兩方面的問題。一個(gè)是信息存儲(chǔ)問題。因?yàn)橛羞@樣的數(shù)據(jù)量，我們信息存儲(chǔ)的平臺(tái)一定要具有這樣的特點(diǎn)，第一容量要大，第二擴(kuò)展性要好，第三就是要能夠兼容異構(gòu)的數(shù)據(jù)，能夠同時(shí)的管理結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)。數(shù)據(jù)的管理還有一個(gè)很重要的方面就是怎么分析和處理這個(gè)數(shù)據(jù)?這么大的數(shù)據(jù)，傳統(tǒng)的分析方法有限，所以處理數(shù)據(jù)的時(shí)候有幾個(gè)關(guān)鍵的地方：

第一，一定是分布式的處理方式，通過這個(gè)方式以達(dá)到更高的處理效果。第二，一定要想辦法讓我們的分析、讓我們的計(jì)算更加的靠近數(shù)據(jù)。這么高的數(shù)據(jù)分析系統(tǒng)有沒有?我們說“可以有”。這是EMC的一個(gè)存儲(chǔ)系統(tǒng)，這是業(yè)界無(wú)論是從可靠性還是性能都是最高的。我們看一下它的容量，單一的文件系統(tǒng)可以達(dá)到15PB。而這樣大的文件系統(tǒng)里面橫向的可擴(kuò)展性能夠保證性能即便是這樣的大的數(shù)據(jù)，IO也可以達(dá)到1.5兆。

　　下面簡(jiǎn)單說一下分析，有了數(shù)據(jù)很好，有了數(shù)據(jù)可以有很多工作可以做，更重要的是怎么從大量數(shù)據(jù)中挖掘出來信息。傳統(tǒng)的方法都是做結(jié)構(gòu)化的數(shù)據(jù)，數(shù)據(jù)量比較小，是TB量級(jí)的那時(shí)候是縱向擴(kuò)展，接下來大數(shù)據(jù)時(shí)代，一方面數(shù)據(jù)既有結(jié)構(gòu)化的，也有非結(jié)構(gòu)化的。所以我們將來的分析平臺(tái)一定是能兼容結(jié)構(gòu)化和非結(jié)構(gòu)化。同時(shí)在分析能量上也要分析到PB量的數(shù)據(jù)。再有一個(gè)分析的形態(tài)一定是可擴(kuò)展的，因?yàn)閿?shù)據(jù)量不管是大它還是與時(shí)俱進(jìn)的。怎么樣讓數(shù)據(jù)動(dòng)態(tài)適應(yīng)數(shù)據(jù)的增長(zhǎng)，一定要讓系統(tǒng)里有一個(gè)可擴(kuò)展的空間和能力。

　　舉一個(gè)例子，EMC分析平臺(tái)，它有兩個(gè)核心引擎，一個(gè)是Greenplum，它是一個(gè)大規(guī)模的并行數(shù)據(jù)庫(kù)，它有幾個(gè)很重要的特點(diǎn)，一個(gè)是容量大，可以處理PB級(jí)數(shù)據(jù)，另外一個(gè)就是可擴(kuò)展性，我們叫做無(wú)共享體系架構(gòu)。這個(gè)體系架構(gòu)可以部署在一個(gè)很多節(jié)點(diǎn)構(gòu)成的數(shù)據(jù)量，如果我們處理數(shù)據(jù)量需要擴(kuò)大，性能需要提高，可以通過增加節(jié)點(diǎn)完成工作。數(shù)據(jù)加載速度可以達(dá)到10/秒，因?yàn)樗前阉械牟樵兎植嫉讲煌墓?jié)點(diǎn)進(jìn)行。這個(gè)系統(tǒng)所有的負(fù)載均衡都是由系統(tǒng)自動(dòng)完成的。

　　還有一點(diǎn)GPDB是支持地理空間數(shù)據(jù)的數(shù)據(jù)庫(kù)。它通過支持PostGIS可以支持空間計(jì)算。剛才我們強(qiáng)調(diào)了大數(shù)據(jù)一定要有大數(shù)據(jù)的分析頭腦，GPDB有內(nèi)置的分析強(qiáng)大功能，通過SQL的一些調(diào)用，可以調(diào)到很多分析的函數(shù)，包括像SVM這些都是在系統(tǒng)里有支持的。

　　再有一點(diǎn)就是支持全文搜索。這種全文搜索集成了Soir，它可以實(shí)現(xiàn)自由文本的全文檢索。同時(shí)并行的體系架構(gòu)，在全文搜索中是完全被簡(jiǎn)化的，搜索的效率非常高。剛才講的這些都是結(jié)構(gòu)化的數(shù)據(jù)里面用什么樣的方式進(jìn)行分析。對(duì)于非結(jié)構(gòu)化的數(shù)據(jù)，大數(shù)據(jù)處理現(xiàn)在最好的方式就是Greenplum HD。它在標(biāo)準(zhǔn)的基礎(chǔ)上做了很多改進(jìn)，特別是性能和可靠性上的改進(jìn)。比如說增加了數(shù)字節(jié)點(diǎn)內(nèi)容，可以增加反應(yīng)速度和避免一些單節(jié)點(diǎn)的問題造成系統(tǒng)的問題。同時(shí)增加了一些競(jìng)像的配套反應(yīng)，這些都是根據(jù)系統(tǒng)可靠性采用的一些方式。

　　總的來說Greenplum這個(gè)平臺(tái)是一個(gè)大數(shù)據(jù)完整的分析解決方案，涵蓋了所有的數(shù)據(jù)，不管是結(jié)構(gòu)化數(shù)據(jù)還是非結(jié)構(gòu)化數(shù)據(jù)，加上分布式結(jié)構(gòu)體系架構(gòu)，可以在分析大數(shù)據(jù)過程中實(shí)現(xiàn)高容量高效率。

　　剛才前面幾位嘉賓都講了地理信息行業(yè)在經(jīng)歷一個(gè)很大的轉(zhuǎn)變，這個(gè)轉(zhuǎn)變其中有一個(gè)方面就是我們要面對(duì)的數(shù)據(jù)是大數(shù)據(jù)，這對(duì)我們所有人來說是一個(gè)機(jī)會(huì)。在以數(shù)據(jù)為中心的時(shí)代，數(shù)據(jù)非常重要，擁有分析數(shù)據(jù)、駕馭數(shù)據(jù)的能力更重要。大數(shù)據(jù)管理這方面是EMC公司非常有興趣的，也是我們的專業(yè)行項(xiàng)，所以我們非常希望有機(jī)會(huì)跟在座開發(fā)者一起合作，共同推動(dòng)這次由大數(shù)據(jù)帶來的信息技術(shù)的這場(chǎng)變革。

　　時(shí)間的關(guān)系我就先講這么多，如果有沒講清楚的大家下來可以再討論，如果對(duì)我剛才提到的一些產(chǎn)品有興趣，我們門口有展臺(tái)，那邊有專業(yè)技術(shù)人員可以給大家進(jìn)行詳細(xì)的演示。

　　謝謝大家的時(shí)間，也預(yù)祝這次地理信息開發(fā)者大會(huì)圓滿成功，謝謝!