眾所周知，分布式存儲是將服務器本地的磁盤資源通過網(wǎng)絡組織起來，構(gòu)建一個統(tǒng)一的存儲資源池。在分布式存儲系統(tǒng)中，如何利用好磁盤資源及網(wǎng)絡資源對于整個分布式系統(tǒng)的性能發(fā)揮至關(guān)重要。

[[239292]]

　　在基于Ceph架構(gòu)的分布式存儲集群中，針對每個物理磁盤，都會啟動一個獨立的進程OSD(object storage daemon)來處理通過網(wǎng)絡轉(zhuǎn)發(fā)過來的IO請求及數(shù)據(jù)最終的持久化。其中，ObjectStore模塊位于OSD的***層，是專門用于管理硬盤上數(shù)據(jù)的專用存儲后端，是IO路徑的“***一公里”。

　　Ceph架構(gòu)當前的應對方法與難點

　　一直以來，Ceph默認的ObjectStore后端都是FileStore，它依賴于標準的本地文件系統(tǒng)，將底層對象直接保存為文件系統(tǒng)中的一個個文件，而且FileJournal的引入直接導致寫入放大，這些都造成了性能缺陷，同時，由于本地文件系統(tǒng)這一層較為厚重的“屏障”，割裂了Ceph OSD與底層硬盤硬件，使存儲感知硬件的能力大大降低。

　　BlueStore的出現(xiàn)在一定程度上解決了FileStore的上述問題，它直接管理硬盤設(shè)備，去除FileJournal，解決了寫放大問題，自行管理硬盤的每一塊空間，store元數(shù)據(jù)以kv的形式保存在RocksDB數(shù)據(jù)庫中。但是BlueStore自身仍然存在空間管理碎片化問題，尤其是使用大容量盤時，長時間運行后對于大范圍的隨機IO響應較慢，導致嚴重的性能瓶頸。

　　全自主研發(fā)，杉巖首推高性能引擎SandStone AgileStore

　　因此，開篇提及的“***一公里”至關(guān)重要，如果處理不好，很容易成為整個系統(tǒng)的性能短板。杉巖分布式統(tǒng)一存儲平臺(SandStone USP)中的ObjectStore支持多種后端，可以通過插件的方式進行選擇管理，目前兼容Ceph的FileStore、BlueStore。

　　經(jīng)過一年的開發(fā)，SandStone USP v3.1版本重磅出爐，杉巖數(shù)據(jù)在此版本上推出高性能的ObjectStore，即SandStone AgileStore，數(shù)據(jù)端到端的處理性能相比使用FileStore的SandStone USP v2.0版本提高40%以上，同時可靠性大大增強，為IO路徑的“***一公里”帶來極速體驗。

　　究其優(yōu)勢，主要展現(xiàn)在如下三方面：

　　1、性能提升

　　SandStone AgileStore解決了FileStore與BlueStore存在的問題，采用更加先進的空間管理方式，數(shù)據(jù)和元數(shù)據(jù)可全部自行管理，不依賴XFS或RocksDB等第三方組件，提高數(shù)據(jù)和元數(shù)據(jù)的寫入性能，輕松應對大容量盤長時間隨機IO帶來的空間碎片問題。

　　2、硬件感知

　　傳統(tǒng)磁盤長時間工作后經(jīng)常會報告一些SCSI硬件錯誤(如：Unrecovered read error)，而這些錯誤不會體現(xiàn)在SMART信息中，用戶無法通過硬盤健康檢查等Routine程序檢測到。而SandStone AgileStore可直接管理裸盤硬件，同時運用杉巖申請的獨家專利技術(shù)(一種基于SCSI設(shè)備的容錯方法及系統(tǒng)，專利號：CN105975358A)對這些錯誤進行高效的處理，可直接在IO路徑上及時發(fā)現(xiàn)并修復硬盤錯誤，增強磁盤的可靠性。

　　3、應用感知

　　SandStone AgileCache是杉巖自主研發(fā)的SSD高速緩存，在系統(tǒng)軟件棧上位于SandStone AgileStore的下方，通過AgileStore與AgileCache的聯(lián)動，SandStone USP v3.1可以感知邏輯卷的優(yōu)先級，將用戶卷劃分為高、中、低三個優(yōu)先級，實現(xiàn)高優(yōu)先級的卷全部緩存在SSD中，中優(yōu)先級的卷只有部分熱點數(shù)據(jù)緩存在SSD，較冷的數(shù)據(jù)全部保存在HDD中，通過應用優(yōu)先級感知實現(xiàn)IO智能化管理。

　　SandStone AgileStore對企業(yè)用戶的價值

　　基于SandStone AgileStore推出的杉巖統(tǒng)一存儲平臺(SandStone USP) v3.1版本，整體性能對比上個版本提升40%以上，同時支持更豐富的高級企業(yè)級存儲特性，如：自動精簡配置、ROW無損快照、數(shù)據(jù)壓縮等等，對下感知硬件、對上感知應用，在性能大幅提升的同時，可靠性和智能化對比原生Ceph都有明顯提高，是真正可商用的高性能企業(yè)級分布式存儲產(chǎn)品。

　　當下，隨著大容量HDD和SSD的普及，使用2U12盤位的服務器滿配12TB的硬盤，只需要7臺服務器就可以達到1PB的裸容量，單節(jié)點容量密度的增加對每個OSD的處理能力提出了嚴峻挑戰(zhàn)，SandStone USP v3.1版本依靠獨有的SandStone AgileStore 和 SandStone AgileCache 技術(shù)，能夠幫助用戶從容應對此種場景，在不增加CPU及內(nèi)存資源額外消耗的前提下，輕松應對容量密集型集群的“***一公里”問題，無懼業(yè)務長時間以各種變化的IO模型運行帶來的問題，節(jié)省用戶硬件投資成本，保障核心應用體驗。