大數(shù)據(jù)已經(jīng)滲透到各行各業(yè)之中，麥肯錫稱：“數(shù)據(jù)，已經(jīng)滲透到當(dāng)今每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，成為重要的生產(chǎn)因素。隨著數(shù)據(jù)量的不斷增大、以及對數(shù)據(jù)存儲檢索要求的不斷提高，數(shù)據(jù)庫技術(shù)也同大數(shù)據(jù)一樣被推到風(fēng)口浪尖。51CTO專訪巨杉數(shù)據(jù)庫CTO王濤為您解讀大數(shù)據(jù)時(shí)代，數(shù)據(jù)處理和技術(shù)選型的方法。

記者：介紹一下您之前的工作經(jīng)歷，以及巨杉數(shù)據(jù)庫的情況？

嘉賓：最初我在IBM做DB2關(guān)系型數(shù)據(jù)庫，但是到了2011、2012年的時(shí)候，大數(shù)據(jù)行業(yè)不斷興起，我們發(fā)現(xiàn)IBMDB2的數(shù)據(jù)庫不符合未來的趨勢，于是我們就在北美做了一個(gè)數(shù)據(jù)庫引擎，也就是NoSQL。后來，把它帶到國內(nèi)，將其產(chǎn)品化。在2012年巨杉數(shù)據(jù)庫成立，2013年推出***個(gè)版本，很快就有了***個(gè)客戶，后來我們的客戶遍及政府、金融、電信等行業(yè)。到2014年我們完成了Pre-A輪和A輪兩輪融資。

記者：剛才您也提到對政府、電信、金融等行業(yè)的支持，現(xiàn)在應(yīng)用這個(gè)數(shù)據(jù)庫自主研究數(shù)據(jù)庫的效果和情況怎么樣？

嘉賓：首先NoSQL是一個(gè)穩(wěn)打類的數(shù)據(jù)庫，我們不是世界上***家，在國外Hadoop跟我們比較相似，我們也在跟很多接口上跟Hadoop兼容。

MonggoDB在國外的市場份額非常大，之前有老外做了測評在功能、性能上Hadoop在某些場景下是非常有優(yōu)勢的。

Monggodb有一個(gè)特點(diǎn)就是功能非常多，但有很多不實(shí)用的東西存在，而我們有具有后發(fā)優(yōu)勢—看清楚市場需求，進(jìn)而推出產(chǎn)品，然后更新。同時(shí)我們同mongdb的***不同是，SQL方面我們會更多的關(guān)注企業(yè)級的市場，

記者：剛才你也提到Hadoop這種存儲方式，各種存儲方式都有優(yōu)缺點(diǎn)，對于處理大數(shù)據(jù)的處理以及與Hadoop Spark技術(shù)的結(jié)合關(guān)于這種技術(shù)選型，對開發(fā)者有什么建議？

嘉賓：現(xiàn)在Oracle的東西已經(jīng)不在討論的范疇之中，基本上都在說MySQL。雖然MySQL現(xiàn)在很多人都在用，但是這種MySQL對于應(yīng)用的開發(fā)和運(yùn)維是非常不友好的。第二就是在性能方面，當(dāng)用戶做一些大的關(guān)聯(lián)的時(shí)候，極有可能會產(chǎn)生數(shù)據(jù)風(fēng)暴，里面很多數(shù)據(jù)進(jìn)行交換，這是非常可怕的，處理不好會出現(xiàn)非常嚴(yán)重的問題。

于是就有人提出用NoSQL這種新一代的數(shù)據(jù)結(jié)構(gòu)。NoSQL現(xiàn)在用的比較多的三大分支是KV、寬表、文檔。KV的用法很多，一般是用作緩存，Redismemcached等等。我想要說的是真正做數(shù)據(jù)化存儲的兩大類；一個(gè)是寬表類，另一個(gè)是文檔類。

寬表類的優(yōu)勢體現(xiàn)在列存儲上，但并不是傳統(tǒng)意義上的列存儲，有點(diǎn)像列簇，舉個(gè)例子來說，比如有一萬個(gè)字段，一條記錄，把它集中十份，每份有一千個(gè)字段，這一千個(gè)字段所代表的是邏輯上比較相近的東西，我可以把每一千個(gè)字段獨(dú)立的分布在機(jī)器上、當(dāng)我需要查找的時(shí)候，只要拿出其中一部分就可以了，但是大家很少會用到這么多東西。

而文檔類的數(shù)據(jù)庫在我看來是最接近關(guān)系型數(shù)據(jù)庫的一種，雖然Hadoop的功能做的很豐富、但是大家都默認(rèn)它是文檔類的工作。

現(xiàn)在很多文檔有一個(gè)行存儲，而且一般支持隨機(jī)索引，例如我們可以在A字段做索引，過幾天再做B字段的索引，這樣沃恩可以在很多個(gè)字段上做隨機(jī)查找，就不像寬表那樣只能在鍵值段做索引。例如在電信的應(yīng)用場景里，我查找主叫號碼和被叫號碼，我就可以使用文檔型數(shù)據(jù)庫建立索引查找。

記者：企業(yè)現(xiàn)在數(shù)據(jù)量越來越大，對數(shù)據(jù)庫的擴(kuò)容要求也很高，SQL在這個(gè)方面或者說巨杉數(shù)據(jù)庫在這個(gè)方面優(yōu)勢在哪兒，或者說怎么處理這個(gè)擴(kuò)容的問題？

嘉賓：如果說到擴(kuò)容，那么傳統(tǒng)的DB2是大家最熟悉的了。之前在IBM的時(shí)候有一個(gè)客戶是256節(jié)點(diǎn)，需要增加64個(gè)，于是IBM派人做了一個(gè)月才做完

現(xiàn)在做非關(guān)系型數(shù)據(jù)庫會使用到各種機(jī)制，當(dāng)我需要插入新的功能節(jié)點(diǎn)的時(shí)候，我只需要去移動(dòng)最少量的數(shù)據(jù)，而其他還是穩(wěn)定的存儲，這基本上就可以做到輕易擴(kuò)容。

記者：剛才你也提到關(guān)系型數(shù)據(jù)庫，SQL對于關(guān)系型數(shù)據(jù)庫，相對傳統(tǒng)一些的數(shù)據(jù)庫，它倆會是什么關(guān)系，會是什么樣的方式存在？是取代還是？

嘉賓：我認(rèn)為兩者的關(guān)系既不是并存也不是取代而是融合，畢竟SQL有它自身的價(jià)值和應(yīng)用范圍，SQL***性存儲的能力還是非常好的。所以SQL不會被淘汰，而是一個(gè)強(qiáng)結(jié)構(gòu)化的變化。在傳統(tǒng)金融業(yè)務(wù)上沒有道理需要用NoSQL取代SQL，因?yàn)镾QL數(shù)據(jù)結(jié)構(gòu)是非常嚴(yán)謹(jǐn)?shù)摹?/p>

反觀這種嚴(yán)謹(jǐn)性所帶來的應(yīng)用開發(fā)延遲所導(dǎo)致的不夠敏捷，在互聯(lián)網(wǎng)業(yè)務(wù)上的弊端也就暴露無疑了，其實(shí)這也是NoSQL的地位所在。

這兩者在將來會是有一個(gè)互相融合的趨勢，NoSQL自身不會有接口。我認(rèn)為所謂非結(jié)構(gòu)化存儲或者半結(jié)構(gòu)化存儲，相當(dāng)于結(jié)構(gòu)化存儲里面的某一個(gè)部分。從某種意義上來講，使用非結(jié)構(gòu)化存儲也可以滿足很多結(jié)構(gòu)化存儲的需求。在上層完善的時(shí)，完全可以把SQL引入。我們也看到了在很多地方在嘗試引用NoSQL的概念，，兩者之間越來越像，可能某一天就融合了。

記者：現(xiàn)在這種對于大數(shù)據(jù)庫Hadoop、spark，傳統(tǒng)的那些數(shù)據(jù)庫，對處理方式的支持上有什么弊端，遇到了什么問題？無論是Hadoop還是Spark,NoSQL對于它們的支持優(yōu)勢在哪？

嘉賓：Hadoop它講究的是彈性擴(kuò)張，水平擴(kuò)張，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫剛***的問題就是擴(kuò)張不容易，甚至ORACLE這種完全是無法擴(kuò)張的，這樣的話就是你的上層擴(kuò)張了一百臺機(jī)器，底下很多東西東西，沒有一個(gè)本質(zhì)上的提升。所以不管上面怎么擴(kuò)，底下還是那樣一個(gè)瓶頸。 而最NoSQL本身是分布式的，Hadoop、spark也都是分布式的，我們做的conect這個(gè)接口可以讓Hadoop用本地的方式訪問本地的NoSQL的數(shù)據(jù)，這樣的結(jié)合就很緊密。