[[397701]]

本文轉載自微信公眾號「新鈦云服」，作者祝祥。轉載本文請聯(lián)系新鈦云服公眾號。

什么是Bcache?

HDD一般具有較大的容量，并且可以實現(xiàn)良好的順序讀和寫操作，但是在隨機寫和讀時非常慢，因此它們的IOPS級別較低;SSD具有非常好的整體性能，尤其是較高的IOPS，因此隨機寫入和讀取要比HDD更好，但是它們的容量卻很小。

Bcache是Linux內(nèi)核塊設備層cache，支持多塊HDD使用同一塊SSD作為緩存盤。它讓SSD作為HDD的緩存成為了可能。因此采用SSD作為緩存，HDD作為數(shù)據(jù)存儲盤，既解決了SSD容量太小，又解決了HDD運行速度太慢的問題。

圖片如今，一些SSD的順序讀寫性能也比單個HDD盤要好，但無法與某些SAS的RAID進行比較。盡管如此，SSD在隨機IO中表現(xiàn)仍然會更好。有一個可配置選項允許bcache也可以緩存順序的讀寫。

將來，將有可能在緩存設備上使用raid機制，以提高可靠性和性能。另外也可以通過與lvm的結合，提高容量與擴展性。

Bcache緩存模式

“writeback”：

• 最高性能的緩存模式。
• 寫入設備的數(shù)據(jù)首先寫入ssd，然后異步復制到后端設備，在SSD上復制結束時，寫入就被視為完成。為了安全起見，此處的機制始終確保在將數(shù)據(jù)完全寫入后端設備(臟頁)之前，不認為任何數(shù)據(jù)是安全的，因此，如果在SSD上仍存在數(shù)據(jù)時斷電，則在下次啟動時，數(shù)據(jù)將被推回支撐設備。這是使bcache能夠和軟件Linux Raid與具有BBU的硬件Raid設備一樣安全。

“writethrough”：

• 安全緩存模式。
• 寫入設備的數(shù)據(jù)將同時復制到ssd和HDD上，在HDD寫入結束時，寫入才被視為完成。因此，這往往比“writeback”更為安全，但缺乏一些性能。

“writearound”：

• 只讀緩存模式。
• 寫入設備的數(shù)據(jù)直接進入HDD，而根本不寫入SSD，因此不會對寫有任何性能提升。第一次讀取此數(shù)據(jù)時，將從HDD中讀取該數(shù)據(jù)。這樣做的好處是有更多空間用于緩存讀取，并減少了SSD的磨損。

“none” ：

• 停用緩存功能(但/dev/bcache設備仍然可用)

所有這些caching_modes都可以在運行時進行修改。通過以下的命令可以知道當前的緩存模式：

sudo cat /sys/block/bcache0/bcache/cache_mode  
writethrough [writeback] writearound none 

更改cache_mode：

sudo su - -c 'echo writethrough > /sys/block/bcache0/bcache/cache_mode'  
sudo cat /sys/block/bcache0/bcache/cache_mode  
[writethrough] writeback writearound none 

使用Bcache

Bcache可以在普通設備上使用，也可以在設備分區(qū)上使用。在本文中，我們將僅使用普通設備。

bcache需要的配置：

• Bcache是從Linux-3.10開始正式并入內(nèi)核主線的，因此，要使用Bcache，需要將內(nèi)核升級到3.10及以上版本才行。(本文使用ubuntu 20.04)
• 固態(tài)硬盤
• 普通hdd硬盤

如果您使用的是Ubuntu 20.04，則可以如下進行測試。

系統(tǒng)更新，軟件包安裝：

sudo apt-get update 
sudo apt-get upgrade 
sudo apt-get install bcache-tools 

確認每塊磁盤的用途：

• 系統(tǒng)將位于/dev/sda
• hdd硬盤(稱為后端設備)將為/dev/sdb
• ssd(稱為緩存設備)將為/dev/sdc。

在配置緩存之前，我們需要清理磁盤上的所有數(shù)據(jù)。

我們使用dd命令將磁盤的前4kB置0：

sudo dd if=/dev/zero if=/dev/sdb bs=512 count=8 
sudo dd if=/dev/zero if=/dev/sdc bs=512 count=8 
wipefs -a /dev/sdb 
wipefs -a /dev/sdc 

現(xiàn)在您可以創(chuàng)建bcache了：

make-bcache -C /dev/sdc -B /dev/sdb 

您還可以設置一些配置標志，即：

make-bcache -C /dev/sdc -B /dev/sdb --discard --writeback 

參數(shù)說明：

• -C用于您的緩存設備(ssd)
• -B用于您的后端設備(hdd)
• --discard用于在ssd上使用TRIM，默認情況下未激活。
• --writeback使用緩存模式寫回，默認情況下它設置為直寫。

如果操作系統(tǒng)在寫入新數(shù)據(jù)之前就擦除了未使用的空間，而不是在寫入時同時進行擦除，則可以提高文件保存性能。這種做法就是 TRIM。TRIM 命令本質上允許你的操作系統(tǒng)告訴驅動器哪些區(qū)域的數(shù)據(jù)不再使用，以便擦除它們，加快驅動器將來的寫入，可以 SSD 的用戶提供更佳的體驗。

在 Linux 中，fstrim 提供此功能，它可以為寫入新數(shù)據(jù)而準備驅動器，并延長驅動器的使用壽命。由于在我使用的 Linux 發(fā)行版上 SSD 的 trim 不是自動的，所以必須去調(diào)度該操作，否則 SSD 的性能會隨著時間的推移而降低。

現(xiàn)在，您能夠列出您的設備：

ls /dev/bcache* 
/dev/bcache0 

在此設備上創(chuàng)建新文件系統(tǒng)：

sudo mkfs.ext4 /dev/bcache0 

警告! 您無法在/dev/bcache0上創(chuàng)建新分區(qū)，如果您需要在兩個ssd和sata設備中同時做多個bcache設備，則需要先對普通磁盤進行分區(qū)，并使用分區(qū)作為后端和緩存設備來創(chuàng)建bcache設備。

現(xiàn)在您可以掛載bcache設備：

sudo mkdir /media/bcache 
sudo mount /dev/bcache0 /media/bcache 

您還必須將其添加到fstab中：

sudo su - -c “/dev/bcache0 /media/bcache ext4 rw 0 0 >> /etc/fstab” 

警告! 如果您有多個bcache設備，則需要使用UUID。您可以通過執(zhí)行以下操作來檢索bcache UUID：

blkid /dev/bcacheX 

然后在/etc/fstab中用UUID=YOUR_UUID_GIVEN_BEFORE替換/dev /bcacheX。確保在下一次重啟服務器之前，該配置已經(jīng)配置完成

一些簡單的性能測試

我創(chuàng)建了一個Ubuntu 20.04虛擬機，該虛擬機僅使用openssh服務。此虛擬機在啟動時設置為tar-gz根文件系統(tǒng)，然后自動關閉電源。

啟動的虛擬機vm的數(shù)量與當前CPU邏輯核數(shù)一樣多(12個)。他們在具有8GB內(nèi)存的主機系統(tǒng)上消耗了6GB內(nèi)存，而每個vm上的文件系統(tǒng)大小約為1.4GB，因此通常系統(tǒng)緩存效果不會顯得太重要(除非激活了共享頁面)。

測試分為兩個部分：

• 將基礎鏡像復制n份，并同時啟動n個vm，直到它們都關閉電源。
• 同時啟動n個虛擬機，直到它們?nèi)繑嚯姟?/li>

當測試檢查鏡像是否已經(jīng)存在時，第一次運行的時間要長于下一個。

使用的啟動命令：

kvm -m 512 -nographics -drive if=virtio,file=${BASE}${BASE_IMAGE} -net nic -net user -k fr --kernel $BASE/vmlinuz --initrd $BASE/initrd --append "root=/dev/vda1 nomodeset" 

結果為(僅兩次運行，可能需要更多運行才能得出平均值)：

HDD only：

12個vms在硬盤上啟動：real 42m34.324s user 18m33.683s sys 4m20.040s

12個vms重新啟動硬盤：real 36m20.788s user 17m49.306s sys 3m23.770s

SSD only：

12個vm在ssd上啟動：real 6m22.430s user 20m39.627s sys 3m11.735s

12個vms重新啟動(ssd)：real 3m35.279s user 19m21.430s sys 2m5.923s

Bcache writearound模式：

12個vms啟動：real 43m58.575s user 19m29.924s sys 4m39.586s

12個vms重啟：real 4m16.057s user 18m57.197s sys 2m8.818s

Bcache writethrough模式：

12個vms啟動：real 33m33.490s user 17m54.543s sys 3m56.084s

12個vms重啟：real 7m7.148s user 18m7.827s sys 2m26.736s

Bcache writeback模式：

12個vms啟動：real 21m37.536s user 17m4.371s sys 3m11.529s

12個vms重啟：real 3m58.942s user 18m30.382s sys 2m2.761s

恢復先前配置的bcache設備

加載模塊：

sudo modprobe bcache 

在每次啟動時加載模塊：

sudo su - -c ‘echo bcache >> /etc/modules’ 

可選驗證每個設備角色：

sudo bcache-super-show -f /dev/sdb 
sudo bcache-super-show -f /dev/sdc 

重新注冊bcache設備：

sudo su - - c ‘echo /dev/sdb > /sys/fs/bcache/register’ 
sudo su - - c ‘echo /dev/sdc > /sys/fs/bcache/register’ 

現(xiàn)在您必須能夠安裝它：

sudo mount /dev/bcacheX /media/bcache 

刪除bcache

測試之后，您可能想要恢復資源，這是刪除bcache設備所需的操作：

Backup：

首先，您可能需要備份數(shù)據(jù)，因為您將刪除所有內(nèi)容。

Umount：

如果您的設備已安裝，則現(xiàn)在更安全地進行安裝。

sudo umount -v /dev/bcache0 

Stopping the bcache：

sudo su - -c "echo 1 >/sys/fs/bcache/......../unregister" 
sudo su - -c "echo 1 >/sys/block/bcache0/bcache/stop" 
sudo wipefs -a /dev/sdX_caching 
sudo wipefs -a /dev/sdY_backing 

ceph 中的Bcache

目前，在Ceph中使用SSD的主要方法有兩種：緩存分層和OSD緩存。眾所周知，Ceph的緩存分層機制尚未成熟，策略更加復雜，IO路徑更長。在某些IO場景中，它甚至可能導致性能下降，升級的粒度越大，也會帶來更多的負面影響。因此，在使用SSD時，我們選擇加速OSD所在的塊設備。在Linux內(nèi)核塊層，SSD用于加速HDD塊設備。當前，更成熟的解決方案是：閃存，enhancedIO，dm-cache，bcache等。

在這些開放源代碼解決方案中，前三個高速緩存塊索引算法都相對相似，均基于哈希索引，并且主存儲數(shù)據(jù)塊到高速緩存塊使用組關聯(lián)映射方法。Bcache與其他方法之間的最大區(qū)別是，它使用相對標準的B +樹作為索引，并且命中率將大大提高。同時，它在架構設計中考慮了SSD本身的某些特性，在充分發(fā)揮SSD的性能的同時，還保護了SSD的壽命，即它與SSD閃存介質具有良好的親和力。

Bcache的內(nèi)部實現(xiàn)相對復雜，并且代碼復雜度遠高于flashcache/enhancedIO等，并且已經(jīng)集成到內(nèi)核的主線中。在高版本內(nèi)核(4.8及更高版本)上，它仍然相對穩(wěn)定和可靠，但是在Ceph For OSD加速中，仍有一些問題需要解決：

功能問題：

SSD和HDD不支持熱插拔

從緩存池中卸載HDD時，需要等待所有臟數(shù)據(jù)被刷新，這需要很長時間

當硬盤損壞時，無法刪除SSD中相應的臟數(shù)據(jù)，從而浪費空間

系統(tǒng)重啟后無法恢復精簡閃存卷

性能問題：

當上層中的大量隨機寫入IO充滿了緩存空間時，您必須等待所有臟數(shù)據(jù)被刷新，然后才能繼續(xù)為寫入IO提供緩存

當GC線程運行時，它將導致業(yè)務IO的波動

Bcache元數(shù)據(jù)緩存會占用大量內(nèi)存。當系統(tǒng)內(nèi)存不足時，無法緩存大量的元數(shù)據(jù)。需要從SSD讀取它并影響性能

使用方式：

當使用bcache加速ceph OSD時，我們采用以下的方式：

為每個SSD創(chuàng)建一個緩存池，將相同數(shù)量的HDD附加到每個緩存池

從每個緩存池創(chuàng)建一個精簡閃存卷，以將每個OSD的OMAP目錄分離到其中

日記可以獨立放置到SSD中，也可以從緩沖池中創(chuàng)建多個精簡卷來寫入日記

通過大量的測試和分析，我們使bcache在ceph的生產(chǎn)環(huán)境中能夠穩(wěn)定運行，這不僅可以最大化SSD的性能，而且可以延長SSD的使用壽命，節(jié)省用戶投資，并為客戶提供更多成本有效的混合存儲解決方案。

參考文章：

https://wiki.ubuntu.com/ServerTeam/Bcache

https://titanwolf.org/Network/Articles/Article?AID=4fc8cd53-c4a2-450b-a01f-e92240850241#gsc.tab=0

https://gist.github.com/mikulely/e2931b7cce388dbff006622a3eef7b42