阿里云云監(jiān)控實(shí)時數(shù)據(jù)對接自建Prometheus
原創(chuàng)
部分客戶在云下已有完善的企業(yè)IT管理系統(tǒng)，希望能夠?qū)⒃粕蠑?shù)據(jù)實(shí)時導(dǎo)出到線下進(jìn)行統(tǒng)一監(jiān)控。基于該場景，云監(jiān)控推出了監(jiān)控數(shù)據(jù)實(shí)時導(dǎo)出工具。該工具可以在客戶的線下運(yùn)行，根據(jù)配置實(shí)時獲取云監(jiān)控的監(jiān)控數(shù)據(jù)，并持續(xù)寫入本地Prometheus。
方案優(yōu)勢
- 支持云監(jiān)控里的所有云服務(wù)。
- 更快更實(shí)時的基于企業(yè)云監(jiān)控的實(shí)時數(shù)據(jù)導(dǎo)出功能流式導(dǎo)出監(jiān)控數(shù)據(jù)，無需擔(dān)心數(shù)據(jù)丟失的異常情況，更不用擔(dān)心API調(diào)用次數(shù)限制和流控問題。
- 本地化部署，操作簡單。
- 導(dǎo)出的監(jiān)控數(shù)據(jù)維度更豐富，自動補(bǔ)全實(shí)例IP地址、實(shí)例名稱、地域、資源組、標(biāo)簽等信息，使數(shù)據(jù)可以更方便的通過PromQL進(jìn)行多維度的統(tǒng)計分析。
背景信息
開通企業(yè)云監(jiān)控不會產(chǎn)生任何費(fèi)用，后續(xù)將按照實(shí)際使用量進(jìn)行計費(fèi)。關(guān)于實(shí)時數(shù)據(jù)導(dǎo)出的計費(fèi)標(biāo)準(zhǔn)，請參見實(shí)時數(shù)據(jù)導(dǎo)出。
前提條件
請確保您已開通企業(yè)云監(jiān)控。具體操作，請參見開通企業(yè)云監(jiān)控。 Prometheus必須與云監(jiān)控網(wǎng)絡(luò)互通。
1.服務(wù)解壓
[root@prometheus opt]# unzip exporter_local-2023_04_23_18-24-53.zip
[root@prometheus opt]# mv exporter_local-2023_04_23_18-24-53 alyun_exporter2.修改配置文件
[root@prometheus opt]# vim /opt/alyun_exporter/configs/product.yml
# 服務(wù)端接入點(diǎn)，配置文件位置、日志等級等
serverconf:
service_endpoint: cms-export.cn-shanghai.aliyuncs.com # export服務(wù)地址（公網(wǎng)地址）
page_size: 300 # 查詢數(shù)據(jù)的分頁大小
log_dest: 1 # 1 stdout; 2 file
log_dir: # 日志文件位置
log_level: Warning # 日志等級
http_proxy: # http代理
https_proxy: # https代理
no_proxy: # noproxy代理
no_meta: true # 是否補(bǔ)充meta信息的功能
no_savepoint: true # 是否記錄進(jìn)度
no_tag_prefix: true # 是否為標(biāo)簽增加'tag_'前綴
# 遠(yuǎn)端 Prometheus 的寫入地址和鑒權(quán)
remote_prom:
endpoint: http://172.30.71.5:9090/api/v1/write # Prometheus服務(wù)地址（本地自建,需開啟遠(yuǎn)程寫入）
basic_auth:
username: name # basic auth 的 username
password: bb # basic auth 的 password
# 用戶賬號的信息，tag，desc等信息的查詢
credential:
user_id: 14554***** # 用戶的 userid
access_key: L*****o9 # 用戶的 ak
access_secret: O*****S # 用戶的 sk
# 配置用戶想要寫入數(shù)據(jù)的label，如果不需要可以直接刪除這一項(xiàng)配置
#datatag:
# - {key: customKey1, val: val1}
# - {key: customKey2, val: val2}
# 配置需要導(dǎo)出的產(chǎn)品類型和指標(biāo)
products:
- namespace: acs_rds_dashboard ##名字是固定死的
metric_info:
- metric_list: [ConnectionUsage,CpuUsage,DataDelay,DiskUsage,IOPSUsage,MemoryUsage,MySQL_ActiveSessions,MySQL_ComDelete,MySQL_ComInsert,MySQL_ComInsertSelect,MySQL_ComReplace,MySQL_ComReplaceSelect,MySQL_ComSelect,MySQL_ComUpdate,MySQL_DataDiskSize,MySQL_IbufDirtyRatio,MySQL_IbufReadHit,MySQL_IbufRequestR,MySQL_IbufRequestW,MySQL_IbufUseRatio,MySQL_InnoDBDataRead,MySQL_InnoDBDataWritten,MySQL_InnoDBLogFsync,MySQL_InnoDBLogWriteRequests,MySQL_InnoDBLogWrites,MySQL_InnoDBRowDelete,MySQL_InnoDBRowInsert,MySQL_InnoDBRowRead,MySQL_InnoDBRowUpdate,MySQL_InstanceDiskSize,MySQL_LogDiskSize,MySQL_NetworkInNew,MySQL_NetworkOutNew,MySQL_OtherDiskSize,MySQL_ProxyCpuUsage,MySQL_QPS,MySQL_SlaveIORunning,MySQL_SlaveSQLRunning,MySQL_SlowQueries,MySQL_TPS,MySQL_TempDiskTableCreates,MySQL_ThreadsConnected,MySQL_TmpDiskSize,MySQL_ibufPoolReads]
period: 60
- namespace: acs_mongodb ##名字是固定死的
metric_info:
- metric_list: [ShardingCPUUtilization,ShardingConnectionAmount,ShardingConnectionUtilization,ShardingDataDiskAmount,ShardingDataDiskAmountOriginal,ShardingDiskUtilization,ShardingIOPSUtilization,ShardingInstanceDiskAmount,ShardingIntranetIn,ShardingIntranetOut,ShardingLogDiskAmount,ShardingMemoryUtilization,ShardingNumberRequests,ShardingOpCommand,ShardingOpDelete,ShardingOpGetmore,ShardingOpInsert,ShardingOpQuery,ShardingOpUpdate,ShardingQPS,ShardingReplicationLag]
period: 603.啟動
[root@prometheus-20230428 alyun_exporter]# ./exporter_local &4.在prometheus獲取指標(biāo)
AliyunMongodb_ShardingConnectionAmount
AliyunRds_MySQL_IbufDirtyRatio
注意指標(biāo)前綴：
企業(yè)云監(jiān)控服務(wù)，在設(shè)計之初就帶上了 Aliyun+{產(chǎn)品名稱} + "_" 這樣的前綴，比如：
- ecs的指標(biāo)會增加前綴 AliyunEcs_
- slb的指標(biāo)會增加前綴 AliyunSlb_
- eip的指標(biāo)會增加前綴 AliyunVpceip_
- fc的指標(biāo)會增加前綴 AliyunFc_
#配置需要導(dǎo)出的產(chǎn)品類型和指標(biāo)
5.Prometheus頁面展現(xiàn)
由于該組件是將云監(jiān)控數(shù)據(jù)寫入到Prometheus，Prometheus是無需做任何配置，只需開啟遠(yuǎn)程寫入即可，Prometheus里面不會主動顯示監(jiān)控的相關(guān)實(shí)例，可以被動進(jìn)行實(shí)例查詢。
如下：
6.Grafana 頁面展現(xiàn)
有組件安裝包以及Grafana阿里云模版需求的可以關(guān)注我公眾號，私聊我。
作者簡介
吳守陽，51CTO社區(qū)編輯，擁有8年DBA工作經(jīng)驗(yàn)，熟練管理MySQL、Redis、MongoDB等開源數(shù)據(jù)庫。精通性能優(yōu)化、備份恢復(fù)和高可用性架構(gòu)設(shè)計。善于故障排除和自動化運(yùn)維，保障系統(tǒng)穩(wěn)定可靠。具備良好的團(tuán)隊合作和溝通能力，致力于為企業(yè)提供高效可靠的數(shù)據(jù)庫解決方案。
