八種主流NoSQL數(shù)據(jù)庫系統(tǒng)對比
雖然SQL數(shù)據(jù)庫是非常有用的工具,但經(jīng)歷了15年的一支獨秀之后壟斷即將被打破。這只是時間問題:被迫使用關(guān)系數(shù)據(jù)庫,但最終發(fā)現(xiàn)不能適應需求的情況不勝枚舉。
但是NoSQL數(shù)據(jù)庫之間的不同,遠超過兩 SQL數(shù)據(jù)庫之間的差別。這意味著軟件架構(gòu)師更應該在項目開始時就選擇好一個適合的 NoSQL數(shù)據(jù)庫。針對這種情況,這里對 Cassandra、 Mongodb、CouchDB、Redis、 Riak、 Membase、Neo4j和HBase進行了比較:
(編注1:NoSQL:是一項全新的數(shù)據(jù)庫革命性運動,NoSQL的擁護者們提倡運用非關(guān)系型的數(shù)據(jù)存儲?,F(xiàn)今的計算機體系結(jié)構(gòu)在數(shù)據(jù)存儲方面要求具 備龐大的水平擴 展性,而NoSQL致力于改變這一現(xiàn)狀。目前Google的 BigTable 和Amazon 的Dynamo使用的就是NoSQL型數(shù)據(jù)庫。 參見NoSQL詞條。)
1. CouchDB
- 所用語言: Erlang
- 特點:DB一致性,易于使用
- 使用許可: Apache
- 協(xié)議: HTTP/REST
- 雙向數(shù)據(jù)復制
- 持續(xù)進行或臨時處理
- 處理時帶沖突檢查
- 因此,采用的是master-master復制(見編注2)
- MVCC - 寫操作不阻塞讀操作
- 可保存文件之前的版本
- Crash-only(可靠的)設(shè)計
- 需要不時地進行數(shù)據(jù)壓縮
- 視圖:嵌入式 映射/減少
- 格式化視圖:列表顯示
- 支持進行服務器端文檔驗證
- 支持認證
- 根據(jù)變化實時更新
- 支持附件處理
- 因此,CouchApps(獨立的 js應用程序)
- 需要 jQuery程序庫
***應用場景:適用于數(shù)據(jù)變化較少,執(zhí)行預定義查詢,進行數(shù)據(jù)統(tǒng)計的應用程序。適用于需要提供數(shù)據(jù)版本支持的應用程序。
例如: CRM、CMS系統(tǒng)。 master-master復制對于多站點部署是非常有用的。
(編注2:master-master復制:是一種數(shù)據(jù)庫同步方法,允許數(shù)據(jù)在一組計算機之間共享數(shù)據(jù),并且可以通過小組中任意成員在組內(nèi)進行數(shù)據(jù)更新。)
2. Redis
- 所用語言:C/C++
- 特點:運行異???/li>
- 使用許可: BSD
- 協(xié)議:類 Telnet
- 有硬盤存儲支持的內(nèi)存數(shù)據(jù)庫,
- 但自2.0版本以后可以將數(shù)據(jù)交換到硬盤(注意, 2.4以后版本不支持該特性!)
- Master-slave復制(見編注3)
- 雖然采用簡單數(shù)據(jù)或以鍵值索引的哈希表,但也支持復雜操作,例如 ZREVRANGEBYSCORE。
- INCR & co (適合計算極限值或統(tǒng)計數(shù)據(jù))
- 支持 sets(同時也支持 union/diff/inter)
- 支持列表(同時也支持隊列;阻塞式 pop操作)
- 支持哈希表(帶有多個域的對象)
- 支持排序 sets(高得分表,適用于范圍查詢)
- Redis支持事務
- 支持將數(shù)據(jù)設(shè)置成過期數(shù)據(jù)(類似快速緩沖區(qū)設(shè)計)
- Pub/Sub允許用戶實現(xiàn)消息機制
***應用場景:適用于數(shù)據(jù)變化快且數(shù)據(jù)庫大小可遇見(適合內(nèi)存容量)的應用程序。
例如:股票價格、數(shù)據(jù)分析、實時數(shù)據(jù)搜集、實時通訊。
(編注3:Master-slave復制:如果同一時刻只有一臺服務器處理所有的復制請求,這被稱為 Master-slave復制,通常應用在需要提供高可用性的服務器集群。)
#p#
3. MongoDB
- 所用語言:C++
- 特點:保留了SQL一些友好的特性(查詢,索引)。
- 使用許可: AGPL(發(fā)起者: Apache)
- 協(xié)議: Custom, binary( BSON)
- Master/slave復制(支持自動錯誤恢復,使用 sets 復制)
- 內(nèi)建分片機制
- 支持 javascript表達式查詢
- 可在服務器端執(zhí)行任意的 javascript函數(shù)
- update-in-place支持比CouchDB更好
- 在數(shù)據(jù)存儲時采用內(nèi)存到文件映射
- 對性能的關(guān)注超過對功能的要求
- 建議***打開日志功能(參數(shù) --journal)
- 在32位操作系統(tǒng)上,數(shù)據(jù)庫大小限制在約2.5Gb
- 空數(shù)據(jù)庫大約占 192Mb
- 采用 GridFS存儲大數(shù)據(jù)或元數(shù)據(jù)(不是真正的文件系統(tǒng))
***應用場景:適用于需要動態(tài)查詢支持;需要使用索引而不是 map/reduce功能;需要對大數(shù)據(jù)庫有性能要求;需要使用 CouchDB但因為數(shù)據(jù)改變太頻繁而占滿內(nèi)存的應用程序。
例如:你本打算采用 MySQL或 PostgreSQL,但因為它們本身自帶的預定義欄讓你望而卻步。
4. Riak
所用語言:Erlang和C,以及一些Javascript
- 特點:具備容錯能力
- 使用許可: Apache
- 協(xié)議: HTTP/REST或者 custom binary
- 可調(diào)節(jié)的分發(fā)及復制(N, R, W)
- 用 JavaScript or Erlang在操作前或操作后進行驗證和安全支持。
- 使用JavaScript或Erlang進行 Map/reduce
- 連接及連接遍歷:可作為圖形數(shù)據(jù)庫使用
- 索引:輸入元數(shù)據(jù)進行搜索(1.0版本即將支持)
- 大數(shù)據(jù)對象支持( Luwak)
- 提供“開源”和“企業(yè)”兩個版本
- 全文本搜索,索引,通過 Riak搜索服務器查詢( beta版)
- 支持Masterless多站點復制及商業(yè)許可的 SNMP監(jiān)控
***應用場景:適用于想使用類似 Cassandra(類似Dynamo)數(shù)據(jù)庫但無法處理 bloat及復雜性的情況。適用于你打算做多站點復制,但又需要對單個站點的擴展性,可用性及出錯處理有要求的情況。
例如:銷售數(shù)據(jù)搜集,工廠控制系統(tǒng);對宕機時間有嚴格要求;可以作為易于更新的 web服務器使用。
#p#
5. Membase
- 所用語言: Erlang和C
- 特點:兼容 Memcache,但同時兼具持久化和支持集群
- 使用許可: Apache 2.0
- 協(xié)議:分布式緩存及擴展
- 非常快速(200k+/秒),通過鍵值索引數(shù)據(jù)
- 可持久化存儲到硬盤
- 所有節(jié)點都是唯一的( master-master復制)
- 在內(nèi)存中同樣支持類似分布式緩存的緩存單元
- 寫數(shù)據(jù)時通過去除重復數(shù)據(jù)來減少 IO
- 提供非常好的集群管理 web界面
- 更新軟件時軟無需停止數(shù)據(jù)庫服務
- 支持連接池和多路復用的連接代理
***應用場景:適用于需要低延遲數(shù)據(jù)訪問,高并發(fā)支持以及高可用性的應用程序
例如:低延遲數(shù)據(jù)訪問比如以廣告為目標的應用,高并發(fā)的 web 應用比如網(wǎng)絡游戲(例如 Zynga)
6. Neo4j
- 所用語言: Java
- 特點:基于關(guān)系的圖形數(shù)據(jù)庫
- 使用許可: GPL,其中一些特性使用 AGPL/商業(yè)許可
- 協(xié)議: HTTP/REST(或嵌入在 Java中)
- 可獨立使用或嵌入到 Java應用程序
- 圖形的節(jié)點和邊都可以帶有元數(shù)據(jù)
- 很好的自帶web管理功能
- 使用多種算法支持路徑搜索
- 使用鍵值和關(guān)系進行索引
- 為讀操作進行優(yōu)化
- 支持事務(用 Java api)
- 使用 Gremlin圖形遍歷語言
- 支持 Groovy腳本
- 支持在線備份,高級監(jiān)控及高可靠性支持使用 AGPL/商業(yè)許可
***應用場景:適用于圖形一類數(shù)據(jù)。這是 Neo4j與其他nosql數(shù)據(jù)庫的最顯著區(qū)別
例如:社會關(guān)系,公共交通網(wǎng)絡,地圖及網(wǎng)絡拓譜
#p#
7. Cassandra
- 所用語言: Java
- 特點:對大型表格和 Dynamo支持得***
- 使用許可: Apache
- 協(xié)議: Custom, binary (節(jié)約型)
- 可調(diào)節(jié)的分發(fā)及復制(N, R, W)
- 支持以某個范圍的鍵值通過列查詢
- 類似大表格的功能:列,某個特性的列集合
- 寫操作比讀操作更快
- 基于 Apache分布式平臺盡可能地 Map/reduce
- 我承認對 Cassandra有偏見,一部分是因為它本身的臃腫和復雜性,也因為 Java的問題(配置,出現(xiàn)異常,等等)
***應用場景:當使用寫操作多過讀操作(記錄日志)如果每個系統(tǒng)組建都必須用 Java編寫(沒有人因為選用 Apache的軟件被解雇)
例如:銀行業(yè),金融業(yè)(雖然對于金融交易不是必須的,但這些產(chǎn)業(yè)對數(shù)據(jù)庫的要求會比它們更大)寫比讀更快,所以一個自然的特性就是實時數(shù)據(jù)分析
8. HBase
(配合 ghshephard使用)
- 所用語言: Java
- 特點:支持數(shù)十億行X上百萬列
- 使用許可: Apache
- 協(xié)議:HTTP/REST (支持 Thrift,見編注4)
- 在 BigTable之后建模
- 采用分布式架構(gòu) Map/reduce
- 對實時查詢進行優(yōu)化
- 高性能 Thrift網(wǎng)關(guān)
- 通過在server端掃描及過濾實現(xiàn)對查詢操作預判
- 支持 XML, Protobuf, 和binary的HTTP
- Cascading, hive, and pig source and sink modules
- 基于 Jruby( JIRB)的shell
- 對配置改變和較小的升級都會重新回滾
- 不會出現(xiàn)單點故障
- 堪比MySQL的隨機訪問性能
***應用場景:適用于偏好BigTable:)并且需要對大數(shù)據(jù)進行隨機、實時訪問的場合。
例如: Facebook消息數(shù)據(jù)庫(更多通用的用例即將出現(xiàn))
編注4:Thrift 是一種接口定義語言,為多種其他語言提供定義和創(chuàng)建服務,由Facebook開發(fā)并開源。
當然,所有的系統(tǒng)都不只具有上面列出的這些特性。這里我僅僅根據(jù)自己的觀點列出一些我認為的重要特性。與此同時,技術(shù)進步是飛速的,所以上述的內(nèi)容肯定需要不斷更新。我會盡我所能地更新這個列表。
【編輯推薦】