五分鐘快速實現leveldb中數據的高可靠
眾所周知，leveldb是Google的Sanjay Ghemawat和Jeff Dean兩位大神編寫的一個高性能KV引擎，使用起來非常方便。然而，開源版本的leveldb將所有數據存放在了本地磁盤，如果本地磁盤發(fā)生故障，可能導致部分甚至全部數據丟失(例如MANIFEST丟失)，這對于使用者來說無疑會帶來災難性的后果。在這時，數據的高可靠便成為了一個至關重要的問題，本篇博文將帶你五分鐘快速實現leveldb中數據存儲的高可靠。
百度開源的分布式文件系統BFS(開源地址:https://github.com/baidu/bfs)提供了mount工具，可以將整個分布式文件系統直接掛載到本地目錄，從而可以像操作本地文件一樣來操作分布式文件系統中的文件，我們可以利用分布式文件系統本身提供的數據高可靠特性來保證leveldb中數據的安全。
1. 首先下載BFS源碼
- git clone git@github.com:baidu/bfs.git
2. 然后編譯所需要的二進制文件
- cd bfs; make && make bfs_mount
編譯完成后，會在當前目錄下生成啟動BFS所需要的nameserver、chunkserver二進制，以及掛載工具bfs_mount
3. 啟動BFS集群(本地模擬分布式環(huán)境)
- cd sandbox; ./depoly.sh; ./start_bfs.sh
執(zhí)行成功后，會在本地啟動一個包含一個Nameserver，4個Chunkserver的小集群，其中Nameserver占用的端口為8827
4. 將BFS集群掛載到本地
- cd ../; mkdir bfs_dir; nohup ./bfs_mount -d ./bfs_dir -c localhost:8827 -p / 1>fuse_mount.log 2>&1 &
其中，-d表示輸出debug日志，./bfs_dir表示將BFS掛載到本地的bfs_dir目錄下，-c localhost:8827指明了BFS集群的地址，上一步中的start_bfs.sh會在本地的8827端口啟動BFS的Nameserver，-p /指定將BFS的根目錄進行掛載
至此，與BFS所做的相關準備工作已經全部完成~
接下來，可以將自己程序中l(wèi)eveldb的數據寫到BFS中，如果有不熟悉leveldb的同學，可以參考下面的使用示例：
- #include <stdio.h>
- #include <leveldb/db.h>
- int main()
- {
- leveldb::DB* db_;
- leveldb::Options options;
- options.create_if_missing = true;
- leveldb::Status s = leveldb::DB::Open(options, "./bfs_dir/ldb_data/", &db_);
- if (!s.ok()) {
- printf("Open db fail\n");
- return -1;
- }
- std::string test_key("hello"), test_value("world");
- s = db_->Put(leveldb::WriteOptions(), test_key, test_value);
- if (!s.ok()) {
- printf("Write db fail\n");
- return -1;
- }
- return 0;
- }
到這里是不是有點小激動?即使本地磁盤掛掉，BFS自動會進行副本恢復，保證數據不丟失。
更重要的是，只要在其它機器上同樣掛載BFS相應目錄，便可以不需要任何代價的，在另外的機器上對同樣一個leveldb進行操作。(鑒于同一個leveldb同一時刻只允許被一個進程打開，前提需要此機器已經正確的將自己打開的leveldb關閉)這樣，就相當于數據毫無代價的從一臺機器『遷移』到了另外一臺機器，是不是很炫酷?可能有些同學發(fā)現了什么：對，其實BigTable的模型正是如此~ 如果有希望繼續(xù)深入了解的同學，可以移步百度開源的，目前已經存儲了萬億級別網頁數據的分布式數據庫Tera(開源地址:http://github.com/baidu/tera)，正是通過類似的原理，在保證數據安全的情況下，可以實現快速的負載均衡，分裂合并等特性。
