混合云存儲方案的趨勢

公有云存儲

• Unlimited Capacity。公有云的存儲服務(wù)具有易擴展的特性，用戶可以非常方便的根據(jù)其存儲容量需求，對其已有的存儲服務(wù)的容量進行擴展，因此從用戶角度來說，公有云的存儲服務(wù) 具有***容量的特點。
• Low Cost。公有云的存儲服務(wù)采用的是即用即付的模式，而且支持按照實際使用容量進行計費;同時也沒有對存儲基礎(chǔ)設(shè)施的要求，所以具有低成本的優(yōu)勢。
• Performance not Well。通過公網(wǎng)對存儲服務(wù)進行訪問的網(wǎng)絡(luò)開銷，云服務(wù)商所采用的通用共享的硬件資源，以及通過虛擬化技術(shù)提供的服務(wù)，使得對于公有云存儲服務(wù)來說，其訪問性能并不是很高。
• Security and controllability not Well。如前面說的，在公有云中，所有的硬件、軟件和其他支持性基礎(chǔ)架構(gòu)都是云服務(wù)商所擁有和管理的，并且所有組織和租戶都是共享相同的硬件、存儲設(shè)備和網(wǎng)絡(luò)設(shè)備， 因此，從數(shù)據(jù)的安全性和可控制性角度來說，公有云的存儲服務(wù)并不是一個理想的選擇。

私有云存儲

• High Performance。私有網(wǎng)絡(luò)甚至是專線網(wǎng)絡(luò)所帶來的較小的網(wǎng)絡(luò)開銷，以及軟、硬件資源選擇上極大的靈活性，使得對于私有云存儲服務(wù)來說，可以提供一個優(yōu)于公有云的訪問性能。
• High Security and Controllability。對于私有云存儲服務(wù)來說，因為其軟、硬件資源不與其他組織和租戶共享，而且可以完全將服務(wù)架設(shè)在私有網(wǎng)絡(luò)中，所以可實現(xiàn)更高的控制性和安全性級別。
• Limited Capacity。對于私有云存儲服務(wù)來說，因為其所有資源都是自擁有的，也都需要自維護，包括對存儲集群進行擴容，所以從容量角度來說，為存儲集群進行擴容，顯性和隱性成本都很高， 因此，從用戶角度出發(fā)，私有云存儲服務(wù)并不是***容量的。
• High Cost。如前面說的，在私有云存儲服務(wù)中，所有的軟、硬件資源成本，存儲集群的運維成本，包括數(shù)據(jù)中心的搭建、運營，私有網(wǎng)絡(luò)甚至是專線網(wǎng)絡(luò)的搭建，集群的維護等等，這些都是 需要被納入到私有云存儲服務(wù)的成本中的。除此之外，不像公有云存儲可以按需分配容量，需要多少用多少，在私有云存儲中，為了滿足以后的一個可預(yù)期的***容量需求，以及 避免頻繁擴容所帶來的高昂的運維成本，在集群搭建時，往往都會以一個規(guī)劃容量進行搭建，這實際上就導(dǎo)致了整個存儲集群的使用容量會長期處于一個不飽和狀態(tài)，即部分存儲 資源會長期出于一個空閑狀態(tài)。

以上兩方面，就導(dǎo)致了私有云存儲相較于公有云存儲成本較高的問題。

混合云存儲

• 混合云存儲，即是將私有云存儲與公有云存儲打通，使得兩者相結(jié)合，共同對外提供存儲服務(wù)，可以說是私有云存儲和公有云存儲所有優(yōu)點的集大成者。
• High Performance 。 活動數(shù)據(jù)存儲在私有云存儲中，歸檔數(shù)據(jù)存儲到公有云存儲中。首先從性能角度來說，通過將活動數(shù)據(jù)、會被頻繁訪問到的數(shù)據(jù)存儲在私有云存儲中，可以保證混合云存儲可以提供一個較高的訪問性能;
• High Security and Controllability。因為混合云存儲中的私有云部分的軟、硬件資源都是自擁有和獨享的，所以將重要、敏感的數(shù)據(jù)信息保存在私有云存儲中，可以實現(xiàn)更高的可控制性和安全性;
• Unlimited Capacity。因為與公有云存儲的互通，借由公有云存儲***容量的特性，混合云存儲也具備了***容量的特性;
• Relatively Low Cost?？梢赃x擇將一些歸檔數(shù)據(jù)、不常訪問的數(shù)據(jù)以及訪問性能要求不高的數(shù)據(jù)存儲到公有云存儲中，在節(jié)省了私有云存儲部分的成本的同時，還能擁有公有云存儲按需分配的 成本優(yōu)勢，因此混合云存儲相較于私有云存儲，也具有低成本的優(yōu)勢。

現(xiàn)有解決方案的局限性

混合云存儲相較于公有云存儲和私有云存儲會更加全面，更加完善。Ceph 的對象存儲針對混合云的場景，也相應(yīng)的提供了解決方案，即云同步Cloud Sync 功能。Ceph RGW 的 Cloud Sync 功能是基于 RGW Multisite 機制實現(xiàn)的，先看下RGW Multisite 機制。

RGW Multisite

Ceph RGW 的 Multisite 機制用于實現(xiàn)多個 Ceph 對象存儲集群間數(shù)據(jù)同步，其涉及到的核心概念包括：

• zone: 對應(yīng)于一個獨立的集群，由一組 RGW 對外提供服務(wù)。
• zonegroup: 顧名思義，每個 zonegroup 可以對應(yīng)多個 zone，zone 之間同步數(shù)據(jù)和元數(shù)據(jù);
• realm: 每個 realm 都是獨立的命名空間，可以包含多個 zonegroup，zonegroup 之間同步元數(shù)據(jù);

Multisite 的工作機制如下：

因為 Multisite 是一個 zone 層面的功能處理機制，所以默認(rèn)情況下，是 zone 級的數(shù)據(jù)同步，即配置了 Multisite 之后，整個 zone 當(dāng)中的數(shù)據(jù)都會被進行同步處理。

整個 zone 層面的數(shù)據(jù)同步，操作粒度過于粗糙，在很多場景下都是非常不適用的。當(dāng)前，Ceph RGW 還支持通過 bucket sync enable/disable 來啟用/禁用 存儲桶級的數(shù)據(jù)同步，操作粒度更細(xì)，靈活度也更高。

RGW Cloud Sync

基于 RGW multisite 實現(xiàn)了 Cloud Sync，支持將 Ceph 中的對象數(shù)據(jù)同步到支持 S3 接口的公有云存儲中，默認(rèn)為 zone 級的數(shù)據(jù)同步。由上面的介紹可知，RGW 的 Multisite 機制是用于實現(xiàn)多個 Ceph 對象存儲集群之間、多數(shù)據(jù)中心之間數(shù)據(jù)同步的。而 zone 本身是一個抽象 的概念，那么從一個抽象程度更高的角度來看，它不單單可以代表一個 Ceph 對象存儲集群。

RGW Cloud Sync 功能正是基于這樣的思想所實現(xiàn)的。在 Cloud Sync 框架中，slave zone 不再僅僅對應(yīng)一個 Ceph 對象存儲集群，而是一個抽象程度更高的概念，即可以代表任何一個集群，而這個集群可以是 Ceph 對象存儲集群，當(dāng)然，也可以是 AWS 的 S3。 Cloud Sync 功能正是將支持 S3 接口的存儲集群，抽象為 slave zone 的概念，然后通過 Multisite 機制，實現(xiàn)將 Ceph 中的對象數(shù)據(jù)同步到外部對象存儲中。

可以通過 bucket sync enable/disable 啟用/禁用存儲桶級的數(shù)據(jù)同步。

Cloud Sync 的局限性

在使用 Ceph 對象存儲時， RGW 的 Cloud Sync 功能實際上是基本可以滿足混合云存儲的應(yīng)用場景的，但就當(dāng)前 RGW Cloud Sync 功能的實現(xiàn)來說，還存在如下的局限性：

• 支持的同步粒度最細(xì)為存儲桶級，在某些應(yīng)用場景下，存儲桶級的同步粒度是不夠靈活的;
• 時間控制，RGW Multisite 的數(shù)據(jù)同步處理是通過 RGW 自身的協(xié)程庫實現(xiàn)的，整個處理過程是異步完成的，且數(shù)據(jù)同步處理的起始時間無法人為控制，所以這個數(shù)據(jù)同步處理的時間控制不夠靈活，一些時間敏感的場景并不適用。

基于Ceph的分級混合云存儲方案UMStor

有了上面這諸多局限性，我們開始考慮能否實現(xiàn)一種管理粒度更細(xì)、時間可控性更好的機制，來提供一種更為靈活的數(shù)據(jù)管理和遷移方案。通過對象數(shù)據(jù)存儲分級、對象生命周期管理、自動生成遷移等系列實踐，我們開發(fā)了一款基于Ceph的分級混合云存儲解決方案UMStor。

解決方案一：對象數(shù)據(jù)存儲分級

首先，我會介紹我們?nèi)绾卧?Ceph 對象存儲中實現(xiàn) Storage Class，對對象數(shù)據(jù)進行存儲分級。

對存儲系統(tǒng)分級

為什么要對存儲系統(tǒng)進行分級?我覺得可以從如下三方面進行考慮。

存儲介質(zhì)

首先，在存儲集群當(dāng)中，出于對訪問性能、成本等因素的考慮，我們可能會同時引入 SSD 和 HDD。在這種情況下，如果不進行存儲分級，就可能會導(dǎo)致 某些對訪問性能要求不高的數(shù)據(jù)，或是歸檔數(shù)據(jù)，被存儲在 SSD 中，而某些對訪問性能要求較高的數(shù)據(jù)則被存儲在了 HDD 中，這無疑會影響數(shù)據(jù)的訪問 性能，同時也提高了數(shù)據(jù)的存儲成本。

存儲策略

• 3副本
• 2副本
• Erasure Code

那有的數(shù)據(jù)對可靠性要求很高，我們才會將其以三副本的形式進行存儲?？赡苡械臄?shù)據(jù)，我們對它的可靠性要求沒那么高，那我們可以考慮將其以兩副本的形式進行存儲，節(jié)省存儲空間。

存儲提供商

• UCloud
• AWS S3

所以說，對存儲系統(tǒng)進行存儲分級，實際上是非常必要的。

RGW 數(shù)據(jù)存放規(guī)則

本身在 RGW 中，是存在 placement rule概念的，即數(shù)據(jù)的存放規(guī)則?？梢栽?placement rule 中定義存儲桶索引數(shù)據(jù)存放的存儲池 index pool， 對象數(shù)據(jù)存放的存儲池 data pool，以及通過 Multipart 上傳大文件時臨時數(shù)據(jù)存放的存儲池 data extra pool。

因為 placement rule 是針對所使用的存儲池進行定義，而存儲池是位于 zone 之下的概念，所以在 RGW 中將 placement rule 作為一個 zone 級別的配置， 其作用影響的粒度為存儲桶級，即可以指定存儲桶所使用的 placement rule ，那所有上傳到該存儲桶中的對象數(shù)據(jù)都會按照該存儲桶的 placement rule 定義的存放規(guī)則進行存放。用戶可以通過為不同的存儲桶配置不同的 placement rule 來實現(xiàn)將不同存儲桶中的對象數(shù)據(jù)存放在不同的存儲介質(zhì)中或是使用不同的存儲策略。

然而，存儲桶級的數(shù)據(jù)存放規(guī)則，顯然不夠靈活，無法滿足某些應(yīng)用場景的需求。

對象數(shù)據(jù)存儲策略

Storage Class 這一概念，本身是 AWS S3 中的一個重要的特性。在 S3 中，每個對象都具有 “storage-class” 這一屬性，用于定義該對象數(shù)據(jù)的存儲策略。 在 S3 中 Storage Class 特性支持如下幾個預(yù)定義的存儲策略：

• STANDARD針對頻繁訪問數(shù)據(jù);
• STANDARD_IA用于不頻繁訪問但在需要時也要求快速訪問的數(shù)據(jù);
• ONEZONE_IA用于不頻繁訪問但在需要時也要求快速訪問的數(shù)據(jù)。 其他 Amazon 對象存儲類將數(shù)據(jù)存儲在至少三個可用區(qū) (AZ) 中，而 S3 One Zone-IA 將數(shù)據(jù)存儲在單個可用區(qū)中;
• REDUCED_REDUNDANCY主要是針對一些對存儲可靠性要求不高的數(shù)據(jù)，通過減少數(shù)據(jù)存儲的副本數(shù)，來降低存儲成本;
• GLACIER。

結(jié)合上面介紹的分布式存儲系統(tǒng)對存儲分級的需求，以及當(dāng)前 RGW 中所支持的 data placement rule 的機制，我們在 Ceph 對象存儲中引入了 object storage class 的概念。

• 首先，我們對存儲池的概念進行了更高程度的抽象，不僅可以按照當(dāng)前 Ceph 對象存儲支持，同時：
• 可以按照不同的存儲介質(zhì)來劃分存儲池 (HDD/SSD);
• 可以按照不同的存儲策略(數(shù)據(jù)冗余策略)來劃分存儲池 (2x Replication/ 3x Replication/ Erasure Code);
• 可以把外部存儲 (包括外部公有云存儲、私有云存儲) 抽象為存儲池;

• 將 RGW zone 的 placement rule 的作用范圍進行了細(xì)粒度化的處理，使其作用到對象級別，實現(xiàn)了對象級別的存儲分級, 即使是同一個存儲桶中，不同的對象數(shù)據(jù)也可以保存在不同的存儲池中。

解決方案二：對象生命周期管理

在實現(xiàn)了對象級別的 Storage Class 功能之后，我們開始考慮，如何實現(xiàn)數(shù)據(jù)遷移時間的可控性。 這也就是下面我們要介紹的內(nèi)容。

AWS S3 對象生命周期管理

對象生命周期管理也是 AWS S3 中一個非常重要的特性，通過為存儲桶設(shè)置生命周期管理規(guī)則，可以對存儲桶中特定的對象集進行生命周期 管理。 當(dāng)前，AWS S3 的對象生命周期管理支持;

• 遷移處理，即支持在經(jīng)過指定的時間間隔后，或是到達某一特定時間點時，將存儲桶中的特定對象集由當(dāng)前的 storage class 存儲類別遷移到另外 一個指定的 storage class 存儲類別中;
• 過期刪除處理，即支持在經(jīng)過指定的時間間隔后，或是到達某一特定時間點時，將存儲桶中的特定對象集進行清除。

RGW 對象生命周期管理

當(dāng)前，Ceph RGW 對象存儲實際上也支持 LC 對象生命周期管理。但是，因為 RGW 本身并不支持 object storage class / placement rule，因此其對象生命周期管理目前只支持 Expiration actions 過期刪除處理。

實現(xiàn)完整的對象生命周期管理

基于上面實現(xiàn)的 Object Storage Class，在 RGW 現(xiàn)有 LC 實現(xiàn)的基礎(chǔ)上，我們對 RGW LC 的處理邏輯進行了擴展，實現(xiàn)了 LC 遷移功能，支持通過對象生命周期管理，將對象數(shù)據(jù)遷移到其他存儲類別 storage class 中，例如支持從 SSD 遷移到 HDD，從 3 副本池遷移到 2 副本池，從副 本池遷移到糾刪碼池，從 Ceph 集群中遷移到外部 Ufile 公有云存儲等等，從而實現(xiàn)了完整的對象生命周期管理。

• 支持標(biāo)準(zhǔn)的 AWS S3 Object Lifecycle Management 的相關(guān)接口。
• 由上面的介紹，我們實現(xiàn)的 Storage Class 功能是支持將外部存儲指定為一個存儲類別的，因此，支持通過配置存儲桶的 LC 規(guī)則，將該存儲桶中的某一特定對象集遷移到外部存儲中，如 UFile、S3 等等。

相較于 RGW 的 Cloud Sync 功能，通過配置 LC 遷移規(guī)則將 Ceph 集群中的對象數(shù)據(jù)遷移到外部云存儲具有如下優(yōu)點：

1. 操作的粒度更細(xì)，可以直接以對象為單位，對數(shù)據(jù)進行操作;
2. 時間可控，可以通過在 LC 規(guī)則當(dāng)中對操作生效的時間進行配置指定，人為控制數(shù)據(jù)遷移的時間，時間可控性更強;

至此，我們已經(jīng)在 Ceph 對象存儲的基礎(chǔ)上，實現(xiàn)了一套完整的、全粒度支持的數(shù)據(jù)遷移處理機制，從 zone 級、到 bucket 級、再到 object 級、基本可以覆蓋所有應(yīng)用場景的常見需求。

解決方案三：自動生成遷移策略

存儲桶日志

存儲桶日志是用于記錄追蹤對某一特定存儲桶的操作和訪問的功能特性。存儲桶日志的每條日志記錄都記錄了一次對相應(yīng)存儲桶的操作訪問請求的細(xì)節(jié)，例如請求的發(fā)起者、存儲桶名字、請求時間、請求的操作、返回的狀態(tài)碼等等。

自動生成遷移策略

根據(jù)存儲桶日志中的操作記錄、以及可配置的標(biāo)尺參數(shù)，對存儲桶中的對象數(shù)據(jù)的熱度進行分析，并按照分析結(jié)果自動生成遷移策略，對對象數(shù)據(jù)進行管理。

一張圖來概要介紹下處理流程：

• 從 target bucket 中讀取存儲桶日志;
• 對日記記錄進行過濾、分析，得到用戶配置的規(guī)則中所標(biāo)定的對象數(shù)據(jù)的訪問熱度;
• 生成相應(yīng)的生命周期管理規(guī)則;
• 將生成的生命周期管理規(guī)則配置到相應(yīng)的存儲桶上。

未來

基于Ceph對象存儲的分級混合云存儲方案能夠很好的滿足使用者的需求，但是在支持?jǐn)?shù)據(jù)雙向同步、代理讀寫等功能上還要繼續(xù)完善。