EBS監(jiān)控現(xiàn)狀

塊存儲(chǔ)是阿里云為云服務(wù)器ECS提供的塊設(shè)備產(chǎn)品，具有高性能和低時(shí)延的特點(diǎn)。臨近雙十一，在大促的時(shí)候，磁盤IO往往是運(yùn)維的重點(diǎn)，如果磁盤被打爆了，那么關(guān)鍵的業(yè)務(wù)可能會(huì)停滯甚至崩潰。EBS監(jiān)控目前存在幾個(gè)問題

1.塊存儲(chǔ)提供的原生監(jiān)控僅限制在單實(shí)例級(jí)別，只能查看單個(gè)云盤的性能監(jiān)控，缺少對(duì)全局云盤狀態(tài)的監(jiān)控，如果云盤數(shù)量很多，那么云盤狀態(tài)的監(jiān)控就非常麻煩

2.通過SLS Logtail, Telegraf或者云監(jiān)控agent等，可以實(shí)現(xiàn)對(duì)單個(gè)ECS實(shí)例所有云盤的狀態(tài)的監(jiān)控。但是這些監(jiān)控方式都是侵入式的，agent的安裝、監(jiān)控大盤的維護(hù)、云盤實(shí)例監(jiān)控精細(xì)化控制、以及跨ECS實(shí)例的監(jiān)控，對(duì)于用戶來(lái)說(shuō)，都有很大的學(xué)習(xí)成本和代價(jià)

3.分析維度單一，以上場(chǎng)景下，對(duì)云盤的監(jiān)控和分析還是基于云盤id的，而云盤資產(chǎn)本身的屬性也包含很多信息。比如用戶想看到一個(gè)自己所有云盤資產(chǎn)的大圖、各個(gè)地域的云盤分布、各個(gè)云盤類型的比例等信息，都是很難做到的。

正是考慮到用戶對(duì)EBS監(jiān)控的使用有如上的痛點(diǎn)，SLS團(tuán)隊(duì)聯(lián)合EBS團(tuán)隊(duì)發(fā)布了EBS Lens(Lens, 透鏡的意思，取名為L(zhǎng)ens意味著洞察云產(chǎn)品細(xì)微的變化)，針對(duì)塊存儲(chǔ)提供數(shù)據(jù)分析、資源監(jiān)控的功能，可以幫助用戶獲取云上塊存儲(chǔ)資源信息與性能監(jiān)控?cái)?shù)據(jù)、提升云上塊存儲(chǔ)資源的管理效率、高效分析業(yè)務(wù)波動(dòng)與資源性能消耗情況。

EBS Lens產(chǎn)品特點(diǎn)

自動(dòng)化數(shù)據(jù)采集

EBS Lens開啟后，SLS會(huì)自動(dòng)從用戶的EBS資產(chǎn)中拉取云盤列表。進(jìn)入APP后首先展示的就是接入管理頁(yè)面，在這個(gè)頁(yè)面，可以看到EBS云盤全局的一個(gè)管理視圖，包含以下信息：

展示當(dāng)前接入的云盤總量、數(shù)據(jù)采集的云盤數(shù)量、云盤的地域和目標(biāo)存儲(chǔ)庫(kù)的數(shù)量。
展示EBS實(shí)例信息。例如，實(shí)例ID、標(biāo)簽、云盤種類、云盤類型、可用區(qū)信息、采集狀態(tài)、采集操作等信息。如果用戶在開啟EBS Lens之后，對(duì)EBS云盤有新建、更新和刪除操作的話，SLS會(huì)自動(dòng)更新這里的云盤列表

采集配置

EBS云盤資產(chǎn)同步過來(lái)之后，需要用戶開啟云盤資產(chǎn)的監(jiān)控?cái)?shù)據(jù)采集。在這里，我們提供兩種采集方式，一種是供用戶進(jìn)行精細(xì)化管理的手動(dòng)采集，還有一種是在EBS云盤數(shù)量過多的情況下，方便用戶全局管理的自動(dòng)化采集。

手動(dòng)采集

支持對(duì)單個(gè)實(shí)例的采集狀態(tài)進(jìn)行管理

考慮到EBS實(shí)例數(shù)量會(huì)比較多，這里支持在單個(gè)分頁(yè)下面進(jìn)行批量開啟/批量關(guān)閉操作

自動(dòng)化采集

當(dāng)用戶云盤有幾百甚至上千個(gè)的時(shí)候，手動(dòng)采集的管理方式顯然不能滿足需求，因此我們還提供了一個(gè)自動(dòng)化采集的功能。自動(dòng)化采集提供了圖形化的配置界面:

可以使用地域、實(shí)例ID、付費(fèi)類型、磁盤類型、標(biāo)簽等屬性設(shè)置采集條件。
標(biāo)準(zhǔn)模式下各個(gè)條件之間為且關(guān)系。高級(jí)模式下，您可以靈活組合與嵌套條件。
配置保存之后，自動(dòng)化采集立刻開啟。所有滿足條件的云盤，都會(huì)自動(dòng)打開日志采集，從而省去了手動(dòng)操作的步驟，另外當(dāng)實(shí)例有所增減的時(shí)候，自動(dòng)化采集也能夠感知實(shí)例的變化，進(jìn)行相應(yīng)的調(diào)整。

存儲(chǔ)庫(kù)信息展示

開啟云盤監(jiān)控?cái)?shù)據(jù)采集之后，SLS會(huì)從EBS云盤上拉取監(jiān)控?cái)?shù)據(jù)，然后投遞到用戶配置的目標(biāo)存儲(chǔ)庫(kù)里，以時(shí)序數(shù)據(jù)的形式進(jìn)行存儲(chǔ)，在目標(biāo)存儲(chǔ)庫(kù)這個(gè)tab里，支持的功能有:

支持查看存儲(chǔ)目標(biāo)庫(kù)的地域、數(shù)據(jù)保存時(shí)間
支持?jǐn)?shù)據(jù)保存時(shí)間的調(diào)整

點(diǎn)擊目標(biāo)庫(kù)，可以進(jìn)入SLS的project頁(yè)面，查看原始監(jiān)控?cái)?shù)據(jù)
EBS云盤資產(chǎn)同步、日志采集開啟之后，EBS Lens就有了EBS云盤資產(chǎn)和云盤的監(jiān)控?cái)?shù)據(jù)了，基于這兩個(gè)數(shù)據(jù)，EBS Lens做了兩個(gè)監(jiān)控大盤，資源概覽和性能分析頁(yè)面。

多維度數(shù)據(jù)聚合與豐富的數(shù)據(jù)指標(biāo)類型

資源概覽頁(yè)面，提供一個(gè)全局的資產(chǎn)大盤，默認(rèn)按照用戶維度，提供用戶賬號(hào)下所有云盤的統(tǒng)計(jì)信息，包括：

• 云盤總數(shù)量
• 云盤總?cè)萘?/li>
• 云盤實(shí)例所屬地域個(gè)數(shù)
• 云盤實(shí)例所屬可用區(qū)個(gè)數(shù)
• 啟用快照云盤占比
• 加密云盤占比
• TOP10容量的區(qū)域
• TOP10容量的可用區(qū)
• 云盤類型容量分布
• 付費(fèi)類型容量分布

除了賬號(hào)的維度外，還支持對(duì)地域、付費(fèi)類型、磁盤類型進(jìn)行篩選，充分滿足用戶的各種統(tǒng)計(jì)需求

高精度的數(shù)據(jù)監(jiān)控粒度

性能分析頁(yè)面提供了一個(gè)全局的云盤監(jiān)控大盤，默認(rèn)會(huì)統(tǒng)計(jì)用戶賬號(hào)下所有磁盤關(guān)鍵指標(biāo)的監(jiān)控，包括
吞吐量
總的吞吐量變化曲線
讀/寫吞吐存儲(chǔ)TOP100的實(shí)例，以及吞吐變化曲線
IOPS
總的IOPS變化曲線
讀寫IOPS TOP100的實(shí)例，以及IOPS變化曲線
性能分析頁(yè)面還支持對(duì)地域、付費(fèi)類型、云盤類型、云盤id進(jìn)行篩選，滿足用戶精細(xì)化監(jiān)控的需求
云盤監(jiān)控粒度為10s，監(jiān)控延遲為10s內(nèi)，對(duì)于抖動(dòng)類場(chǎng)景可以有效進(jìn)行監(jiān)控

使用場(chǎng)景

EBS Lens有這么便捷的管理方式以及豐富、多維度的監(jiān)控指標(biāo)，下面我們列舉了幾個(gè)常用的場(chǎng)景，來(lái)詳細(xì)說(shuō)明下EBS Lens的功能：

監(jiān)控場(chǎng)景

下面我們模擬日常常見的磁盤IO異常的場(chǎng)景，展示下EBS Lens的在監(jiān)控場(chǎng)景下的應(yīng)用。

環(huán)境準(zhǔn)備

首先我們創(chuàng)建一個(gè)云盤，或者使用已有的云盤，掛載到ECS實(shí)例上。掛載云盤的操作參見：https://help.aliyun.com/document_detail/25446.html?spm=a2c6h.13066369.0.0.57b1e42fgsiBLE&source=5176.11533457&userCode=ffsbbyn0&type=copy，注意云盤掛載到ECS實(shí)例后，必須創(chuàng)建分區(qū)和文件系統(tǒng)，使云盤變?yōu)榭捎谩?br /> 將賬號(hào)下所有云盤通過自動(dòng)化采集配置，打開監(jiān)控?cái)?shù)據(jù)采集

3.打開性能分析頁(yè)面，確認(rèn)云盤監(jiān)控?cái)?shù)據(jù)已接入進(jìn)來(lái)

異常模擬

我們進(jìn)入ECS實(shí)例中，使用dd來(lái)模擬一個(gè)對(duì)磁盤的異常寫入的操作：

EBS Lens監(jiān)控結(jié)果

在EBS Lens性能分析頁(yè)面，從大盤里，我們發(fā)現(xiàn)有一塊磁盤的吞吐量和IOPS迅速提升到TOP1。為了查看磁盤的詳細(xì)指標(biāo)，我們?cè)谶^濾框內(nèi)輸入磁盤id，可以看到這個(gè)磁盤在選定時(shí)間范圍內(nèi)吞吐量和IOPS的變化。而該實(shí)例id，正是我們模擬的寫入異常的磁盤。在線上，如果出現(xiàn)類似的問題，那么接下來(lái)我們就該去進(jìn)行詳細(xì)的問題定位，比如異常的服務(wù)日志打印、不合理的數(shù)據(jù)落盤等。通過調(diào)整時(shí)間范圍，對(duì)于設(shè)置ttl范圍內(nèi)的數(shù)據(jù)，EBS Lens都支持在該頁(yè)面進(jìn)行展示，對(duì)于故障的復(fù)盤和分析也是有非常大的幫助的。

配合SLS的告警功能https://help.aliyun.com/document_detail/207608.html，用戶完全可以自動(dòng)化的監(jiān)控云盤的性能，準(zhǔn)確定位異常云盤。

服務(wù)壓測(cè)和性能調(diào)優(yōu)

除了監(jiān)控場(chǎng)景，EBS Lens在服務(wù)壓測(cè)和性能調(diào)優(yōu)的場(chǎng)景，同樣有非常大的作用。所有關(guān)于性能方面的測(cè)試，最關(guān)鍵的基礎(chǔ)設(shè)施就是監(jiān)控指標(biāo)。EBS Lens性能分析大盤就可以提供云盤實(shí)時(shí)的性能指標(biāo)，這可以有效的幫助用戶快速定位云盤是否存在性能瓶頸。我們模擬一個(gè)簡(jiǎn)單的寫入場(chǎng)景：大量級(jí)的數(shù)據(jù)要以最快的速度寫到磁盤上。

環(huán)境準(zhǔn)備

1.我們采用跟上面環(huán)境一樣的ECS環(huán)境，在這個(gè)場(chǎng)景下我們指定一個(gè)固定的云盤做測(cè)試

2.在EBS Lens的頁(yè)面打開該云盤的監(jiān)控?cái)?shù)據(jù)采集

場(chǎng)景模擬

第一版本，這里使用FIO模擬性能比較差的一個(gè)隨機(jī)寫的實(shí)現(xiàn)場(chǎng)景：

fio -filename=/mnt/test1 -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

通過EBS Lens的監(jiān)控，我們發(fā)現(xiàn)云盤的吞吐和IO比較低，遠(yuǎn)遠(yuǎn)沒有達(dá)到云盤的性能上限，分別為15MB/s，900。參考?jí)K存儲(chǔ)性能指標(biāo)文檔：參考https://help.aliyun.com/document_detail/25382.html

因此我們?cè)賹?duì)寫入腳本進(jìn)行優(yōu)化，把隨機(jī)寫的實(shí)現(xiàn)改成了比較好的順序?qū)懙膶?shí)現(xiàn)：

fio -filename=/mnt/test2 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

通過EBS Lens的監(jiān)控，吞吐達(dá)到了47MB/s，而IOPS達(dá)到了3000左右。

通過塊存儲(chǔ)性能指標(biāo)文檔我們得知，SSD云盤的性能因數(shù)據(jù)塊大小而異，數(shù)據(jù)塊越小，吞吐量越小，IOPS越高。因此為了提高吞吐量，我們考慮提高單次寫入的數(shù)據(jù)塊大小：

fio -filename=/mnt/test2 -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=64k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=mytest

通過EBS Lens的監(jiān)控，吞吐達(dá)到了143MB/s，而IOPS下降到了2300左右。由此可以看到有了EBS Lens之后，對(duì)于磁盤IO的性能測(cè)試和調(diào)優(yōu)，是多么的方便。

附錄

說(shuō)明

EBS Lens目前處于公測(cè)期灰度開放中，如果有興趣要試用，可以通過工單聯(lián)系我們https://selfservice.console.aliyun.com/ticket/category/sls/recommend/3868，試用過程中有任何問題也可以直接聯(lián)系到我們
EBS Lens公測(cè)期相關(guān)功能全部免費(fèi)，公測(cè)期結(jié)束前會(huì)提前進(jìn)行公示，公測(cè)結(jié)束后，費(fèi)用計(jì)算可以參考https://help.aliyun.com/document_detail/31694.html

參考文檔

EBS Lens幫助文檔：https://help.aliyun.com/document_detail/338394.html
EBS Lens前端入口：https://sls.console.aliyun.com/lognext/profile