【51CTO專稿】“棱鏡門”的爆發(fā),讓愛德華•斯諾登從默默無聞成為頭版頭條，也為蓬勃發(fā)展的大數(shù)據(jù)產(chǎn)業(yè)籠罩上了一層奇特的光暈。在這場眾說紛紜羅生門下，大數(shù)據(jù)話題被推到了風口浪尖，國內(nèi)的大數(shù)據(jù)市場也因此變得愈加火熱。51CTO記者特別采訪到南大通用數(shù)據(jù)技術有限公司的首席技術官武新，和我們分享了大數(shù)據(jù)的過去、現(xiàn)在、將來和南大通用目前在數(shù)據(jù)分析、數(shù)據(jù)挖掘等方向的開發(fā)現(xiàn)狀和未來目標。

[[86404]]

 武新,南大通用公司高級副總裁兼CTO，法國奧爾良大學博士。國家“千人計劃”專家。畢業(yè)于法國奧爾良大學，有20年的從業(yè)經(jīng)驗，在著名的甲骨文（ORACLE）任職12年，是最早獲得甲骨文 公司Oracle Certified DBA的數(shù)據(jù)庫管理專家。武新于2010年獲得中組部實施的國家“千人計劃”榮譽，是工信部認可的數(shù)據(jù)庫專家。2008年7月，武新回到國內(nèi)，任南大通用高級副總裁兼CTO，是南大通用GBase 8a 分析型數(shù)據(jù)庫及其配套工具總設計師。

“大數(shù)據(jù)”概念價值提升，帶熱數(shù)據(jù)產(chǎn)業(yè)鏈

數(shù)據(jù)本身是什么，我們并不陌生。IT經(jīng)濟社會出現(xiàn)之后，數(shù)據(jù)成了大家火熱關注的問題。從行業(yè)角度看，在互聯(lián)網(wǎng)高速發(fā)展的十幾年中，數(shù)據(jù)處理技術日新月異，加上移動互聯(lián)和物聯(lián)網(wǎng)技術和商業(yè)模式的新機遇，加速了數(shù)據(jù)的產(chǎn)生速度，數(shù)據(jù)存儲量開始爆炸式增長。“大數(shù)據(jù)”概念應運而生。

然而“大數(shù)據(jù)”概念出現(xiàn)之前，數(shù)據(jù)分析、數(shù)據(jù)處理等數(shù)據(jù)庫領域技術在不溫不火中持續(xù)發(fā)展。也出現(xiàn)了數(shù)據(jù)倉庫、BI等新技術概念。但從媒體角度看卻沒有獲得關注焦點。直到“大數(shù)據(jù)”概念出現(xiàn)，將整個數(shù)據(jù)領域推至最高點，成為全球關注的熱點概念。

對于這一現(xiàn)象，武新表示：互聯(lián)網(wǎng)的出現(xiàn)，從技術角度和商業(yè)模式上顛覆了傳統(tǒng)行業(yè)的經(jīng)營狀況，我們每個人的生活方式，也在互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)的推動下發(fā)生根本變化。除去概念炒作的影響外，可以說“大數(shù)據(jù)”概念提升了數(shù)據(jù)本身的價值。數(shù)據(jù)本身沒有模型，或者說沒有一個量化的方法。因此，我們無法給出一個明確的價格；但是，在大數(shù)據(jù)的推動下，企業(yè)對數(shù)據(jù)的重視程度進一步提升，讓我們看到了數(shù)據(jù)的價值體現(xiàn)和資源地位。

除此之外，數(shù)據(jù)倉庫、BI等早早出現(xiàn)的技術，在“大數(shù)據(jù)”的帶動下在應用上更加活躍。接下來的大數(shù)據(jù)時代，是人類信息社會的收官階段。之前的計算機時代和互聯(lián)網(wǎng)時代，都是為大數(shù)據(jù)時代做鋪墊和準備的。計算機時代的核心是計算能力，極大提高了人們對數(shù)據(jù)的處理能力；互聯(lián)網(wǎng)時代解決了信息移動和連接的問題；而大數(shù)據(jù)時代，可將世界萬事萬物通通數(shù)據(jù)化，讓人們在數(shù)據(jù)利用中優(yōu)化現(xiàn)實操作和行為，令全球系統(tǒng)的運行更為高效。

所以說“大數(shù)據(jù)”的出現(xiàn)，不僅開啟了數(shù)據(jù)領域的極速發(fā)展。對該領域的開發(fā)者而言，也迎來了最佳發(fā)展階段。

多方面因素，促使數(shù)據(jù)分析使用門檻降低

行業(yè)里面有這樣一種說法：“大數(shù)據(jù)分析是有錢人的游戲”。

關于這一說法，武新談了自己的觀點：“如果時間倒退5年，這個觀點是成立的。在過去，我們?nèi)プ鰯?shù)據(jù)倉庫，做BI，確實需要很大的投資，不僅是在軟件和硬件的大量投入；在高端人才的招攬上，也要投入大量的資金和精力。但是，隨著互聯(lián)網(wǎng)行業(yè)的推動，數(shù)據(jù)生產(chǎn)速度加快，數(shù)據(jù)分析和數(shù)據(jù)處理技術也日益完善，大數(shù)據(jù)分析的門檻慢慢降低。究其原因，主要有三點。

1. 云計算的出現(xiàn)
2. 互聯(lián)網(wǎng)技術的飛速發(fā)展，開源力量凸顯
3. 大批高技能人才涌現(xiàn)

基于以上原因，大數(shù)據(jù)分析所需投入資源下降，國內(nèi)各大行業(yè)公司普遍使用大數(shù)據(jù)分析技術。然而，隨之而來的問題就是，大數(shù)據(jù)市場的競爭狀態(tài)加據(jù)，單位生存空間變窄。如何定位自我位置，抓取獨特身份，顯得尤為重要，也成了數(shù)據(jù)庫公司的思考難題。”

錯位競爭，特色產(chǎn)品面對專用市場

“錯位競爭”，特色產(chǎn)品面對專用市場，是南大通用的整體戰(zhàn)略定位。

武新解釋說：“南大通用創(chuàng)立之初，董事長崔維力先生提出了這樣的戰(zhàn)略方式。我們看到，在傳統(tǒng)數(shù)據(jù)庫市場IBM、微軟等幾家大型公司占據(jù)了幾乎整個市場份額，在行存儲技術領域做到了極致，技術市場達到了飽和狀態(tài)。因此，在這種情況下，我們很難在傳統(tǒng)市場里分得一杯羹。但是在新興的數(shù)據(jù)分析領域，我們可以與國際巨頭站在同一個起跑線，，我們的產(chǎn)品可以在市場上比他們表現(xiàn)的還要好。這就是所謂的 ‘錯位競爭’，做專用數(shù)據(jù)庫，發(fā)力細分市場。”

做為專業(yè)數(shù)據(jù)庫產(chǎn)品，在存儲方式上，南大通用采用列存儲模式。在數(shù)據(jù)上，更快捷的進行聚合、增組、關聯(lián)；更加便于進行大規(guī)模的數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計。對IO的要求也大大下降，擁有較高的數(shù)據(jù)壓縮比，適合做B型運算。在架構上，不同于傳統(tǒng)數(shù)據(jù)庫的垂直架構，而是像Hadoop一樣的橫向擴展，相對于傳統(tǒng)數(shù)據(jù)來說在計算能力有明顯的優(yōu)勢。

在過去20年，幾乎一種數(shù)據(jù)庫平臺，就能滿足所有應用類型。但是，隨著數(shù)據(jù)類型的細分，這樣的數(shù)據(jù)處理模式漸漸無法滿足用戶需求，產(chǎn)生越來越多瓶頸。演變到現(xiàn)在，數(shù)據(jù)處理和應用形成了朝細分市場發(fā)展的模式，再次肯定了南大通用戰(zhàn)略方針的正確性。所謂細分，就是對某一類數(shù)據(jù)或某一類應用，做專門的處理技術。精通特定領域的數(shù)據(jù)分析，特色產(chǎn)品面對專用市場 ，根據(jù)不同需求，做不同產(chǎn)品。

#p#

專用數(shù)據(jù)庫產(chǎn)品：分析數(shù)據(jù)庫GBase 8a

GBase 8a，是南大通用投入最大的一款分析數(shù)據(jù)庫產(chǎn)品。GBase 8a采用了列存、智能查詢、高效壓縮、雙向并行、自適應優(yōu)化等多項新技術，打破了以往提高性能只能靠增加數(shù)據(jù)庫的容量，建很多索引的常規(guī)，使得GBase 8a既有高性能又有很高的數(shù)據(jù)壓縮比。

武新指出：“經(jīng)過用戶實際測試，在典型分析型應用中表現(xiàn)出：1、高性價比：幾乎不用調(diào)優(yōu)就可以達到高性能，不需要考慮如何建索引，如何分區(qū)等問題。占有磁盤空間大大降低,節(jié)省大量存 儲設備費用,是傳統(tǒng)數(shù)據(jù)庫的1/5甚至更高，使用通用、中低端的存儲設備和服務器就可以達到很高的性能;2、高性能: 與國際傳統(tǒng)數(shù)據(jù)庫相比在批量聚集、統(tǒng)計性能;即席查詢性能、模糊查詢性能等方面都有幾倍到幾十倍的提高;3、高可用性：安裝、調(diào)優(yōu)、維護、擴展非常簡單， 好用。”

添加非結(jié)構性數(shù)據(jù)處理技術，幫助用戶解決Hadoop平臺問題

經(jīng)過幾十年信息化發(fā)展，傳統(tǒng)行業(yè)用戶積累了大量數(shù)據(jù)。其中結(jié)構化數(shù)據(jù)占大多數(shù)。ERP等各種系統(tǒng)產(chǎn)生的數(shù)據(jù)，也基本上都是結(jié)構化數(shù)據(jù)類型。然而最近幾年，我們不難發(fā)現(xiàn)，半結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)數(shù)量迅猛增長，尤其是半結(jié)構化數(shù)據(jù)的數(shù)量。

對此，武新認為：“今天的大數(shù)據(jù)概念里，從數(shù)據(jù)特征看，半結(jié)構化數(shù)據(jù)和非結(jié)構化數(shù)據(jù)的比重占到90%以上。半結(jié)構化數(shù)據(jù)，有類似文檔這樣的東西；非結(jié)構化數(shù)據(jù)以視頻為主。針對這一類數(shù)據(jù)的處理，基于Hadoop的平臺更為擅長。目前，我們Gbase 8a集群，已經(jīng)將全文檢索—一種半結(jié)構化數(shù)據(jù)處理技術，加入到其中去；在一步一步的朝處理半結(jié)構化、非結(jié)構化數(shù)據(jù)的方向發(fā)展。我們的目標，要做一個面向企業(yè)和行業(yè)，全數(shù)據(jù)處理產(chǎn)品和平臺。未來我們的研發(fā)目標，將把非結(jié)構化數(shù)據(jù)的處理，做為首要任務。盡可能多的跟開源進行對接。因為在這個領域，開源已經(jīng)有了很多非常優(yōu)秀的內(nèi)容。對接之后，以這兩種技術的優(yōu)勢，為用戶提供一個平臺，全面處理各種類型數(shù)據(jù)。”

Hadoop 分布式計算平臺以其在處理海量數(shù)據(jù)中的高可靠性、高擴展性等諸多優(yōu)點，得到了大家的廣泛認可和共識。Hadoop作為一個云計算平臺，它的出現(xiàn)，解決了單個PC機計算能力薄弱的問題，可以同時在幾百、幾千個PC機上提供強大的計算能力。在企業(yè)中，作為一種ETL工具，在處理海量數(shù)據(jù)上，有著非常明顯的優(yōu)勢。傳統(tǒng)的數(shù)據(jù)庫無法做到。在復雜的數(shù)據(jù)模型挖掘、預測模型的計算上，也占有霸主地位。但是，不可否認的是，在使用過程中，依然存在某些問題。這也是南大通在結(jié)合這樣一個產(chǎn)品的同時，亟需解決的問題之一。

南大通用的的很多用戶已經(jīng)開始嘗試使用Hadoop技術進行數(shù)據(jù)處理和進行一些項目實驗。武新表示： “面對這樣一個優(yōu)秀的平臺，我們所要做的有兩點：第一，努力將Hadoop平臺企業(yè)化。Hadoop企業(yè)化，就是要把Hadoop平臺變成一款真正的產(chǎn)品，更加方便的供用戶使用；未來幾年或許能實現(xiàn)，但就目前而言還沒有達到這樣的成熟度。第二，解決技術更新和用戶想要穩(wěn)定環(huán)境之間的矛盾，為用戶的穩(wěn)定使用提供服務。”

堅持通用數(shù)據(jù)庫發(fā)展，開始新技術應用實踐

目前為止，國內(nèi)行業(yè)大數(shù)據(jù)市場中，政府的金融、電信等行業(yè)的整個IT架構，還是建立在基于小型機的傳統(tǒng)架構基礎上；核心業(yè)務，依舊采用傳統(tǒng)數(shù)據(jù)庫模式。隨著非結(jié)構和半結(jié)構數(shù)據(jù)的大規(guī)模增長，這一兩年開始，一部分架構開始嘗試基于分布式計算模型，例如Hadoop、MPP等技術的嘗試。對于這一變化趨勢，武新認為：“Hadopp、MPP等分布式計算模型在處理某些業(yè)務上的明顯優(yōu)勢，促使金融、電信領域愿意去嘗試這項技術。除此之外，在數(shù)據(jù)量上，無論是金融、電信還是政府部門，都在進行從TB到PB的級別遷升；數(shù)據(jù)量級上將迎來一個新的里程碑，所以對數(shù)據(jù)處理技術上的要求，也促使了他們投入分布式計算模型的應用的步伐。”

對于未來的國內(nèi)數(shù)據(jù)庫市場發(fā)展，雖然微軟、IBM等公司占據(jù)了整個市場，但在通用數(shù)據(jù)庫產(chǎn)品上，仍然要堅持去投入。武新覺得：“經(jīng)過幾十年的技術積累，國內(nèi)數(shù)據(jù)分析領域在數(shù)據(jù)倉庫、BI等技術上有了絕對性的建設。目前要做的，是思考如何進行行業(yè)轉(zhuǎn)型？新一代數(shù)據(jù)倉庫怎么做？新一代BI是什么樣子的？在BI方面，南大通用也將進行投入，做一款動態(tài)BI產(chǎn)品，實現(xiàn)人機交互模式，這也是未來大數(shù)據(jù)發(fā)展的方向，對傳統(tǒng)BI也將起到良好的推進作用。”

因此，國產(chǎn)數(shù)據(jù)庫在繼續(xù)投入通用數(shù)據(jù)庫市場的同時，努力開發(fā)下一代新型技術，在新的數(shù)據(jù)分析領域開辟自己的領地，在激烈的數(shù)據(jù)庫市場中切割出自己的細分市場，是提升自我市場競爭力和改進自身現(xiàn)狀的最佳選擇。