谷歌這個牛逼的開源數(shù)據(jù)庫,我居然等到它上Github熱榜才發(fā)現(xiàn)
今天要和大家分享一個谷歌開源多年,但依舊扛打,最近還登上Github熱榜的kv數(shù)據(jù)庫——LevelDB。
Leveldb是一個google實現(xiàn)的非常高效的kv數(shù)據(jù)庫,創(chuàng)建者是大名鼎鼎的 Jeff Dean 和 Sanjay Ghemawat,目前的版本1.2能夠支持billion級別的數(shù)據(jù)量了。在這個數(shù)量級別下還有著非常高的性能,主要歸功于它的良好的設(shè)計。
LevelDB 是單進程的服務(wù),性能非常之高,在一臺4個Q6600的CPU機器上,每秒鐘寫數(shù)據(jù)超過40w,而隨機讀的性能每秒鐘超過10w。具有以下功能特性:
- key和value可以是字符串或者字節(jié)流
- 數(shù)據(jù)按key排列,有序存儲
- 調(diào)用方可以重載排序方法,以實現(xiàn)自定義排序
- 基本操作只有3種:Put(key, value)、Get(key)、Delete(key)
- 提供原子批量修改接口
- 支持數(shù)據(jù)快照
- 支持向前和向后的迭代器
- 支持數(shù)據(jù)自動壓縮,使用的是snappy壓縮算法
- 和操作系統(tǒng)之間的外部交互是通過虛接口(virtual interface)來進行,這樣用戶就能定制化這些交互了
levelDB特牛,但是,再好的工具也有它的局限性,LevelDB 的局限性也很明顯:
- 這不是一個 SQL 數(shù)據(jù)庫,它沒有關(guān)系數(shù)據(jù)模型,不支持 SQL 查詢,也不支持索引。
- 同時只能有一個進程(可能是具有多線程的進程)訪問一個特定的數(shù)據(jù)庫。
- 該程序庫沒有內(nèi)置的 client-server 支持,有需要的用戶必須自己封裝。
LevelDB的使用方法
打開數(shù)據(jù)庫
leveldb數(shù)據(jù)庫的名稱與文件系統(tǒng)目錄相對應(yīng)。數(shù)據(jù)庫的所有內(nèi)容都存儲在此目錄中。以下示例顯示了如何打開數(shù)據(jù)庫:
- #include <cassert>
- #include "leveldb/db.h"
- leveldb::DB* db;
- leveldb::Options options;
- options.create_if_missing = true;
- leveldb::Status status = leveldb::DB::Open(options, "/tmp/testdb", &db);
- assert(status.ok());
- ...
如果要在數(shù)據(jù)庫已經(jīng)存在的情況下引發(fā)錯誤,請在leveldb::DB::Open調(diào)用之前添加以下行:
- options.error_if_exists = true;
關(guān)閉數(shù)據(jù)庫
完成數(shù)據(jù)庫操作后,只需刪除數(shù)據(jù)庫對象。例子:
- ... open the db as described above ...
- ... do something with db ...
- delete db;
讀寫
數(shù)據(jù)庫提供了Put,Delete和Get方法來修改/查詢數(shù)據(jù)庫。如下:
- std::string value;
- leveldb::Status s = db->Get(leveldb::ReadOptions(), key1, &value);
- if (s.ok()) s = db->Put(leveldb::WriteOptions(), key2, value);
- if (s.ok()) s = db->Delete(leveldb::WriteOptions(), key1);
并發(fā)
一個數(shù)據(jù)庫同時只能被一個進程打開。leveldb 會從操作系統(tǒng)獲取一把鎖來防止多進程同時打開同一個數(shù)據(jù)庫。在單個進程中,同一個 leveldb::DB 對象可以被多個并發(fā)線程安全地使用,也就是說,不同的線程可以在不需要任何外部同步原語的情況下,寫入、獲取迭代器或者調(diào)用 Get(leveldb 實現(xiàn)會確保所需的同步)。但是其它對象,比如 Iterator 或者 WriteBatch 需要外部自己提供同步保證,如果兩個線程共享此類對象,需要使用自己的鎖進行互斥訪問。具體見對應(yīng)的頭文件。
目前,leveldb已經(jīng)在Github上標星 24.2K,累計標星 5.3K(Github地址:https://github.com/google/leveldb)。