自拍偷在线精品自拍偷,亚洲欧美中文日韩v在线观看不卡

教你玩轉(zhuǎn)MyRocks/RocksDB—STATISTICS與后臺線程篇

作者：騰訊云數(shù)據(jù)庫內(nèi)核團隊
數(shù)據(jù)庫 MySQL 開發(fā)工具
本文將介紹SHOW ENGINE ROCKSDB STATUS中關于STATISTICS統(tǒng)計值與后臺線程的實現(xiàn)原理。在了解實現(xiàn)原理的基礎上，便可以較容易地通過擴展功能使它更好地為我們服務。

[[219775]]

0. Intro

在facebook的MySQL版本(以下稱為MyRocks)中，RocksDB是可選的存儲引擎。相比于InnoDB引擎，RocksDB的一個重要的優(yōu)勢是它使用更少的磁盤空間。在生產(chǎn)系統(tǒng)中，特別是用戶數(shù)在億級以上的互聯(lián)網(wǎng)應用，磁盤空間是其中比較大的成本之一，而能夠使用更少的磁盤空間的RocksDB無疑是具有吸引力的。然而在生產(chǎn)系統(tǒng)中使用新的存儲引擎自然有它的潛在風險，除了通過外部的各種benchmark工具測試得到各種性能數(shù)據(jù)，全方位的內(nèi)部指標可以幫助我們真正了解數(shù)據(jù)庫內(nèi)部正在發(fā)生的事情，對于性能調(diào)優(yōu)和開發(fā)都具有指導意義。而MyRocks通過SHOW ENGINE ROCKSDB STATUS和多個INFORMATION_SCHEMA表等方式提供了較為全面的內(nèi)部指標。

本文將介紹SHOW ENGINE ROCKSDB STATUS中關于STATISTICS統(tǒng)計值與后臺線程的實現(xiàn)原理。在了解實現(xiàn)原理的基礎上，便可以較容易地通過擴展功能使它更好地為我們服務。

調(diào)用SHOW ENGINE ROCKSDB STATUS指令會返回多行數(shù)據(jù)，其中包括：

  • STATISTICS：RocksDB引擎所有線程的所有操作的各類count/time的累加，比如rocksdb.block.cache.hit和rocksdb.db.write.micros。
  • BG_THREADS: 后臺線程的狀態(tài)。
  • DBSTATS: 數(shù)據(jù)庫操作的統(tǒng)計。
  • CF_COMPACTION: 各個Column family進行compaction的相關指標統(tǒng)計。
  • MEMORY_STATS: 內(nèi)存使用情況。

調(diào)用SHOW ENGINE ROCKSDB STATUS會返回若干行數(shù)據(jù)，然而這些數(shù)據(jù)并非事先存儲于某個表格中，而是通過調(diào)用位于rocksdb/ha_rocksdb.cc文件中的rocksdb_show_status函數(shù)將內(nèi)存中對應的數(shù)值進行規(guī)整返回給用戶。

1. STATISTICS

根據(jù)RocksDB官方相關文檔介紹STATISTICS，開啟STATISTICS會增加增加5%-10%額外開銷。

STATISTICS統(tǒng)計值記錄著RocksDB引擎所有線程的所有操作的各類count/time的累加。RocksDB引擎在它的各類操作如Put/Get/Delete中的代碼都設立了很多埋點。

以函數(shù)GetEntryFromCache為例，它的作用是返回可用的block cache。特別地，可以看到statistics是GetEntryFromCache和block_cache->Lookup的一個參數(shù)。沒錯，就是靠著statistics這個參數(shù)它到處收集數(shù)據(jù)。

當有可用的block cache時，調(diào)用了三次RecordTick為其中三個統(tǒng)計值增加計數(shù)；沒有可用的block cache，同樣也為BLOCK_CACHE_MISS和block_cache_miss_ticker增加計數(shù)。

 

  1. Cache::Handle* GetEntryFromCache(Cache* block_cache, const Slice& key,  
  2.                                  Tickers block_cache_miss_ticker,  
  3.                                  Tickers block_cache_hit_ticker,  
  4.                                  Statistics* statistics) {  
  5.   auto cache_handle = block_cache->Lookup(key, statistics);  
  6.   if (cache_handle != nullptr) {  
  7.     PERF_COUNTER_ADD(block_cache_hit_count, 1);  
  8.     // overall cache hit  
  9.     RecordTick(statistics, BLOCK_CACHE_HIT);  
  10.     // total bytes read from cache  
  11.     RecordTick(statistics, BLOCK_CACHE_BYTES_READ,  
  12.                block_cache->GetUsage(cache_handle));  
  13.     // block-type specific cache hit  
  14.     RecordTick(statistics, block_cache_hit_ticker);  
  15.   } else {  
  16.     // overall cache miss  
  17.     RecordTick(statistics, BLOCK_CACHE_MISS);  
  18.     // block-type specific cache miss  
  19.     RecordTick(statistics, block_cache_miss_ticker);  
  20.   }  
  21.   return cache_handle;  
  22. }  

1.1 RocksDB的STATISTICS接口

使用STATISTICS的方法也很簡單。

它的頭文件位于： 

  1. include/rocksdb/statistics.h  
  2. monitoring/statistics.h  

使用方法： 

  1. Options options;  
  2. options.statistics = rocksdb::CreateDBStatistics();  

可選統(tǒng)計級別：

  • kExceptDetailedTimers: 除去mutex等待和壓縮的計時
  • kExceptTimeForMutex: 除去mutex等待的計時
  • kAll: 所有

數(shù)據(jù)統(tǒng)計類型分成兩種:

  • ticker：計數(shù)，類型是64位無符號整型。用于度量counters (e.g. “rocksdb.block.cache.hit”), cumulative bytes (e.g. “rocksdb.bytes.written”) 或者 time (e.g. “rocksdb.l0.slowdown.micros”)。
  • histogram：統(tǒng)計數(shù)據(jù)的統(tǒng)計分布，包括***值、最小值、平均值、中位數(shù)、標準差。

統(tǒng)計函數(shù)的接口：

  • MeasureTime：函數(shù)名有歧義。實際上是把value記錄到histogram中。
  • RecordTick：累加ticker。

獲取結(jié)果的接口:

  • Statistics::getTickerCount：指定ticker type獲得count。
  • Statistics::histogramData：指定Histograms type，返回一個HistogramData結(jié)構體，成員是統(tǒng)計值，包括***值、最小值、平均值、中位數(shù)、標準差。
  • Statistics::getHistogramString：指定Histograms type，返回直方圖可讀的字符串。
  • Statistics::ToString()：返回可讀的字符串，包括所有的ticker和histogram。

1.2 RocksDB的STATISTICS實現(xiàn)

RocksDB實現(xiàn)了StatisticsImpl類，繼承了Statistics的接口。

  • 主要接口：
  • getTickerCount
  • histogramData
  • getHistogramString
  • getAndResetTickerCount
  • recordTick
  • measureTime
  • ToString

成員變量：

  • TickerInfo tickers_[INTERNAL_TICKER_ENUM_MAX];
  • HistogramInfo histograms_[INTERNAL_HISTOGRAM_ENUM_MAX];

這里的TickerInfo和HistogramInfo類型的數(shù)據(jù)結(jié)構是相似的：一個線程局部的counter或者time；加上一個非線程局部的統(tǒng)計值用來累加counter或者time。

TickerInfo類型包含兩個參數(shù)：

ThreadLocalPtr類型(真實類型ThreadTickerInfo)的thread_value，包含：

  • 整型類型的value
  • 指向merged_sum的指針
  • 整型類型的merged_sum
  • HistogreamInfo類型包含兩個參數(shù)：

ThreadLocalPtr類型(真實類型ThreadHistogramInfo)的thread_value，包含：

  • HistogramImpl類型的value
  • 指向merged_hist的指針
  • 指向merge_lock的指針
  • HistogramImpl類型的merged_hist
  • Mutex類型的merge_lock

事實上，STATISTICS相關實現(xiàn)是比較巧妙的，也是使用STATISTICS僅增加5%-10%的關鍵。為了避免線程間共享數(shù)據(jù)導致CPU的cache頻繁失效，merged_sum和merged_hist初始化時都是空的，而且當且僅當線程退出時，才調(diào)用mergeThreadValue函數(shù)將TickerInfo和HistogreamInfo中的線程局部變量累加到merged_sum和merged_hist。

1.3 MyRocks的使用

MyRocks使用了RocksDB提供的接口進行數(shù)據(jù)統(tǒng)計。通過聲明了變量rocksdb_stats，并且隨著RocksDB引擎啟動時通過rocksdb_init_func函數(shù)進行初始化。 

  1. rocksdb_stats = rocksdb::CreateDBStatistics();  
  2. rocksdb_db_options->statistics = rocksdb_stats;  

除了使用所有RocksDB引擎層的統(tǒng)計，MyRocks還通過定義了 

  1. commit_latency_stats = new rocksdb::HistogramImpl(); 

在rocksdb_commit_by_xid和rocksdb_commit兩個函數(shù)中通過計時的方式，統(tǒng)計了每一次commit所花費的時間。 

  1. rocksdb::StopWatchNano timer(rocksdb::Env::Default(), true);  
  2. ...  
  3. commit_latency_stats->Add(timer.ElapsedNanos() / 1000);  

在rocksdb_show_status函數(shù)中，輸出Statistics統(tǒng)計的過程如下：

如果定義rocksdb_stats，則調(diào)用rocksdb_stats->ToString()將統(tǒng)計值轉(zhuǎn)化為可讀的字符串;

commit_latency_stats是直方圖的類型，輸出對應的50%, 95%, 99%, 100%四個位點的對應的值。

假如定義了is-write-stopped或者actual-delayed-write-rate等Property變量，同樣會將它們輸出。

2 后臺線程

通過調(diào)用SHOW ENGINE ROCKSDB STATUS可以得到與BG_THREADS相關結(jié)果，它的輸出結(jié)果類似于： 

  1. Type: BG_THREADS  
  2. Name: 140173379593984  
  3. Status:  
  4. thread_type: Low Pri##  
  5. cf_name: default  
  6. operation_type: Compaction  
  7. operation_stage: CompactionJob::ProcessKeyValueCompaction  
  8. elapsed_time_ms: 6172.244 ms  
  9. BaseInputLevel: 0  
  10. BytesRead: 992806363  
  11. BytesWritten: 992071408  
  12. IsDeletion: 0  
  13. IsManual: 0  
  14. IsTrivialMove: 0  
  15. JobID: 1936  
  16. OutputLevel: 5  
  17. TotalInputBytes: 1586832446  
  18. state_type:  

可以看到較多的信息量：這個線程正在進行Compaction，處于CompactionJob::ProcessKeyValueCompaction階段，已經(jīng)耗時6172.244 ms，讀取的字節(jié)數(shù)為992806363，寫出的字節(jié)數(shù)為992071408。然而并不包括可能感興趣的正在進行Compaction的源文件和目標文件等信息。正如文章開頭提到的，了解實現(xiàn)原理能夠使我們更好地進行擴展。

2.1 thread status的接口與實現(xiàn)

MyRocks中的SHOW ENGINE ROCKSDB STATUS指令展示BG_THREAD的機制使用了RocksDB中關于thread status的接口。

它的頭文件位于： 

  1. include/rocksdb/env.h  
  2. include/rocksdb/thread_status.h  
  3. util/thread_operation.h  
  4. monitoring/thread_status_updater.h  
  5. monitoring/thread_status_util.h  

關鍵類：

  • ThreadStatusUpdater：存儲了各自后臺線程的狀態(tài)和所有后臺線程狀態(tài)的指針。
  • ThreadStatusUtil：該類只有靜態(tài)變量和靜態(tài)方法，推薦通過該類的方法去更新ThreadStatusUpdater中的狀態(tài)。

使用方法：

  • 將該線程的統(tǒng)計加入ThreadStatusUpdater：調(diào)用ThreadStatusUtil::RegisterThread
  • 將該線程的統(tǒng)計從ThreadStatusUpdater刪除：調(diào)用ThreadStatusUtil::UnregisterThread
  • 其他修改thread status的函數(shù)：見monitoring/thread_status_util.h

通過調(diào)用env的GetThreadList()函數(shù)可以獲得當前后臺線程的狀態(tài)，狀態(tài)的狀態(tài)值存放于一個vector中。將其中的內(nèi)容展現(xiàn)出來，類似于下圖：

從代碼中可以看到，實現(xiàn)thread status的目的展示flush和compaction的運行狀態(tài)。當然，我們也可以將用戶線程的狀態(tài)存儲到thread status，通過調(diào)用SHOW ENGINE ROCKSDB STATUS指令展示。

特別地，可以看到compaction特有的狀態(tài)值有： 

  1. enum CompactionPropertyType : int {  
  2.     COMPACTION_JOB_ID = 0,  
  3.     COMPACTION_INPUT_OUTPUT_LEVEL,  
  4.     COMPACTION_PROP_FLAGS,  
  5.     COMPACTION_TOTAL_INPUT_BYTES,  
  6.     COMPACTION_BYTES_READ,  
  7.     COMPACTION_BYTES_WRITTEN,  
  8.     NUM_COMPACTION_PROPERTIES  
  9.   };  

flush特有的狀態(tài)值有： 

  1. enum FlushPropertyType : int {  
  2.    FLUSH_JOB_ID = 0,  
  3.    FLUSH_BYTES_MEMTABLES,  
  4.    FLUSH_BYTES_WRITTEN,  
  5.    NUM_FLUSH_PROPERTIES  
  6.  };  

2.2 MyRocks/RocksDB的使用

在RocksDB的線程池實現(xiàn)中，每一個啟動的后臺線程都會通過調(diào)用ThreadStatusUtil::RegisterThread加入被觀測的后臺線程的集合中。 

  1. ThreadPoolImpl::Impl::StartBGThreads-->BGThreadWrapper-->ThreadStatusUtil::RegisterThread 

在rocksdb_show_status函數(shù)中，輸出BG_THREAD的過程如下：

  • 通過調(diào)用GetThreadList(&thread_list)獲得所有后臺線程的ThreadStatus的集合。
  • 通過遍歷ThreadStatus的集合將每一個后臺線程的狀態(tài)依次輸出。

3. 小結(jié) 

本文章介紹了SHOW ENGINE ROCKSDB STATUS指令中關于STATISTICS與BG_THREAD的相關內(nèi)容。 

 

責任編輯：龐桂玉 來源： 騰訊云數(shù)據(jù)庫內(nèi)核專欄
MySQLMyRocksRocksDB
相關推薦

2011-08-10 15:58:12

WPS符號欄

2024-04-09 12:08:51

Next組件Next.js

2018-05-12 16:26:17

互聯(lián)網(wǎng)VPC子網(wǎng)

2021-05-18 14:42:55

PythonMySQL

2013-09-10 10:20:12

數(shù)據(jù)大數(shù)據(jù)大數(shù)據(jù)應用

2015-03-23 12:33:28

2013-03-13 09:56:10

2014-06-13 16:52:11

2012-04-17 14:33:00

牛排New iPad

2011-01-28 15:47:15

webOS 2.1

2021-12-10 08:39:50

SQLPLUS Oracle 數(shù)據(jù)庫

2011-06-09 11:39:04

噴墨打印機技巧

2014-08-19 09:10:45

云IT運維

2016-11-17 16:58:01

華為 手機

2015-07-22 16:44:51

HTML5優(yōu)化

2017-10-11 15:17:42

sklearn機器學習pandas

2015-02-11 11:27:13

網(wǎng)絡釣魚網(wǎng)絡犯罪賽門鐵克

2017-07-21 11:45:12

Windows 10Windows聚焦功能

2022-09-29 00:30:03

元宇宙科技營銷

2015-10-15 17:05:21

移站通
點贊
收藏

51CTO技術棧公眾號