常見的監(jiān)控方法

Prometheus和Grafana是兩個(gè)流行的開源監(jiān)控工具，它們經(jīng)常一起使用來實(shí)現(xiàn)系統(tǒng)和應(yīng)用程序的監(jiān)控、可視化和告警。

Prometheus

Prometheus 是一個(gè)開源的系統(tǒng)監(jiān)控和警報(bào)工具包。它最初由SoundCloud開發(fā)，用于監(jiān)控其容器化架構(gòu)中的服務(wù)。Prometheus提供了多維數(shù)據(jù)模型和強(qiáng)大的查詢語言，可以輕松收集和存儲(chǔ)時(shí)間序列數(shù)據(jù)，并支持靈活的數(shù)據(jù)查詢和分析。其主要特點(diǎn)包括

多維數(shù)據(jù)模型

Prometheus使用標(biāo)簽（labels）來標(biāo)識(shí)時(shí)間序列數(shù)據(jù)，允許用戶根據(jù)多個(gè)維度進(jìn)行查詢和聚合。

靈活的查詢語言

PromQL是Prometheus的查詢語言，支持豐富的操作符和函數(shù)，可以實(shí)現(xiàn)復(fù)雜的數(shù)據(jù)查詢和分析。

時(shí)序數(shù)據(jù)存儲(chǔ)

Prometheus使用本地存儲(chǔ)引擎存儲(chǔ)時(shí)間序列數(shù)據(jù)，支持快速高效的數(shù)據(jù)查詢和檢索。

自動(dòng)發(fā)現(xiàn)和服務(wù)發(fā)現(xiàn)

Prometheus支持自動(dòng)發(fā)現(xiàn)和服務(wù)發(fā)現(xiàn)功能，可以動(dòng)態(tài)地監(jiān)控和管理多個(gè)目標(biāo)實(shí)例。

警報(bào)和通知

Prometheus可以設(shè)置警報(bào)規(guī)則，并通過電子郵件、Slack等方式發(fā)送警報(bào)通知。

Grafana

Grafana 是一個(gè)開源的數(shù)據(jù)可視化和分析平臺(tái)，最初由Torkel ?degaard開發(fā)。它提供了豐富的數(shù)據(jù)可視化功能，支持多種數(shù)據(jù)源，并且具有靈活的儀表板配置和高度可定制化的圖表。Grafana的主要特點(diǎn)包括

多數(shù)據(jù)源支持

Grafana支持多種數(shù)據(jù)源，包括Prometheus、InfluxDB、Elasticsearch、MySQL等，可以輕松整合不同數(shù)據(jù)源的監(jiān)控?cái)?shù)據(jù)。

豐富的可視化選項(xiàng)

Grafana提供了多種圖表類型和可視化選項(xiàng)，包括折線圖、柱狀圖、儀表盤等，用戶可以根據(jù)需求自定義圖表展示方式。

靈活的儀表板配置

Grafana允許用戶自定義儀表板布局和組件配置，可以根據(jù)實(shí)際需求設(shè)計(jì)和定制監(jiān)控儀表板。

告警和通知

Grafana可以集成多種告警通知方式，如電子郵件、Slack、Webhook等，幫助用戶及時(shí)發(fā)現(xiàn)和處理異常情況。

Prometheus與Grafana的配合使用

Prometheus和Grafana通常一起使用，形成強(qiáng)大的監(jiān)控和可視化解決方案。Prometheus負(fù)責(zé)數(shù)據(jù)的收集、存儲(chǔ)和查詢，而Grafana則負(fù)責(zé)將收集到的數(shù)據(jù)進(jìn)行可視化展示和分析。通過這種配合使用，用戶可以實(shí)現(xiàn)對系統(tǒng)和應(yīng)用程序的全面監(jiān)控和實(shí)時(shí)分析，幫助快速發(fā)現(xiàn)和解決潛在問題，提高系統(tǒng)的穩(wěn)定性和可靠性。

使用Prometheus

要將監(jiān)控指標(biāo)提供給Prometheus，我們需要實(shí)現(xiàn)以下接口或遵循以下約定

Prometheus HTTP Server接口

我們需要在我們的應(yīng)用程序中實(shí)現(xiàn)一個(gè)HTTP Server，用于提供監(jiān)控指標(biāo)的HTTP接口。這個(gè)接口通常位于/metrics路徑下，Prometheus將定期向該接口發(fā)送HTTP請求來獲取監(jiān)控指標(biāo)數(shù)據(jù)。

Exposition格式

我們的HTTP接口需要按照Prometheus的Exposition格式輸出監(jiān)控指標(biāo)數(shù)據(jù)。Exposition格式是一種簡單的文本格式，包含了監(jiān)控指標(biāo)的名稱、標(biāo)簽和值。我們可以輸出以下幾種類型的監(jiān)控指標(biāo)

Counter（計(jì)數(shù)器）

用于累計(jì)某個(gè)事件發(fā)生的次數(shù)，例如請求數(shù)、錯(cuò)誤數(shù)等。

Gauge（儀表盤）

表示當(dāng)前的某個(gè)值，可以隨時(shí)增減，例如內(nèi)存使用量、并發(fā)連接數(shù)等。

Histogram（直方圖）

用于表示數(shù)據(jù)的分布情況，例如請求響應(yīng)時(shí)間的分布。

Summary（摘要）

類似于直方圖，但是摘要會(huì)對數(shù)據(jù)進(jìn)行匯總和統(tǒng)計(jì)，例如請求響應(yīng)時(shí)間的摘要統(tǒng)計(jì)信息。

Prometheus指標(biāo)命名規(guī)范

我們的監(jiān)控指標(biāo)名稱需要遵循Prometheus的命名規(guī)范，通常使用小寫字母和下劃線，并且具有語義明確的名稱。例如http_requests_total、memory_usage_bytes等。

標(biāo)簽（Labels）

為了更好地區(qū)分和過濾監(jiān)控指標(biāo)，我們可以為每個(gè)監(jiān)控指標(biāo)添加標(biāo)簽（Labels）。標(biāo)簽通常用于表示監(jiān)控指標(biāo)的附加信息，例如主機(jī)名、應(yīng)用程序名稱等。標(biāo)簽的格式為key=value。

定時(shí)更新

我們的HTTP接口應(yīng)該能夠定時(shí)更新監(jiān)控指標(biāo)的值，并且保證在Prometheus發(fā)送請求時(shí)返回最新的數(shù)據(jù)。通常，Prometheus會(huì)定期拉取監(jiān)控指標(biāo)數(shù)據(jù)，因此我們需要確保我們的接口能夠及時(shí)提供最新的監(jiān)控指標(biāo)值。

通過實(shí)現(xiàn)以上接口和遵循約定，我們就可以將我們的監(jiān)控指標(biāo)暴露給Prometheus，并讓Prometheus能夠定期獲取和存儲(chǔ)這些指標(biāo)數(shù)據(jù)，從而實(shí)現(xiàn)對我們的應(yīng)用程序的全面監(jiān)控。

Prometheus提供了哪些exporter

https://prometheus.io/docs/instrumenting/exporters/

官方提供了特別多的exporter，幾乎涵蓋了所以的，我們不需要自己寫即可實(shí)現(xiàn)。

大數(shù)據(jù)基座各集群監(jiān)控方法

日志采集

監(jiān)控方法

Filebeat/Metricbeat/Winlogbeat監(jiān)控

• 使用Elasticsearch和Kibana搭建監(jiān)控平臺(tái)，通過Beats提供的監(jiān)控?cái)?shù)據(jù)模塊實(shí)時(shí)監(jiān)控Filebeat、Metricbeat和Winlogbeat的運(yùn)行狀態(tài)、采集情況和性能指標(biāo)。
• 設(shè)置警報(bào)規(guī)則，及時(shí)發(fā)現(xiàn)和處理異常情況，如采集失敗、數(shù)據(jù)延遲等。
• 定期分析和統(tǒng)計(jì)采集數(shù)據(jù)，優(yōu)化配置，提升采集效率和性能。

Kafka集群

監(jiān)控方法

Kafka指標(biāo)監(jiān)控

• 使用Kafka自帶的JMX監(jiān)控功能，收集Kafka集群的各項(xiàng)指標(biāo)，如吞吐量、延遲、存儲(chǔ)使用情況等。
• 使用Kafka Manager或其他第三方監(jiān)控工具，實(shí)時(shí)查看Kafka集群的健康狀態(tài)和性能指標(biāo)，并進(jìn)行報(bào)警和故障處理。

歸一化集群

分布式實(shí)現(xiàn)方案

Fluent Bit二次開發(fā)

• 在Fluent Bit基礎(chǔ)上進(jìn)行二次開發(fā)，實(shí)現(xiàn)分布式部署和數(shù)據(jù)處理能力。
• 使用Fluent Bit提供的插件機(jī)制，開發(fā)自定義插件實(shí)現(xiàn)數(shù)據(jù)歸一化處理。

監(jiān)控方法

集群狀態(tài)監(jiān)控

• 使用Prometheus和Grafana搭建監(jiān)控平臺(tái)，監(jiān)控Fluent Bit集群的運(yùn)行狀態(tài)、資源利用率和負(fù)載情況。
• 收集Fluent Bit的日志和指標(biāo)數(shù)據(jù)，實(shí)時(shí)查看歸一化任務(wù)的運(yùn)行情況和性能指標(biāo)。

富化集群

分布式實(shí)現(xiàn)方案

自研Go語言規(guī)則引擎

• 基于Go語言開發(fā)規(guī)則引擎，實(shí)現(xiàn)分布式部署和規(guī)則匹配能力。
• 使用消息隊(duì)列或分布式中間件進(jìn)行任務(wù)調(diào)度和結(jié)果傳遞，實(shí)現(xiàn)富化任務(wù)的并行處理。

監(jiān)控方法

集群狀態(tài)監(jiān)控

• 使用Prometheus和Grafana等監(jiān)控工具監(jiān)控富化集群的運(yùn)行狀態(tài)、資源利用率和任務(wù)執(zhí)行情況。
• 收集富化任務(wù)的日志和指標(biāo)數(shù)據(jù)，實(shí)時(shí)查看任務(wù)的運(yùn)行情況、執(zhí)行時(shí)長和處理數(shù)據(jù)量。

Hadoop集群

監(jiān)控方法

Hadoop集群監(jiān)控

• 使用Ambari、Cloudera Manager或其他Hadoop管理工具監(jiān)控Hadoop集群的整體健康狀況、節(jié)點(diǎn)狀態(tài)和資源利用率。
• 使用Ganglia或自定義腳本收集Hadoop集群的指標(biāo)數(shù)據(jù)，如HDFS存儲(chǔ)使用量、MapReduce作業(yè)運(yùn)行情況等。

Hive/Spark任務(wù)監(jiān)控

• 使用Spark History Server或Spark監(jiān)控模塊監(jiān)控Spark應(yīng)用程序的運(yùn)行情況和性能指標(biāo)，如作業(yè)完成時(shí)間、任務(wù)執(zhí)行時(shí)長等。
• 使用Hive Web UI或自定義腳本監(jiān)控Hive查詢的執(zhí)行情況、查詢延遲和資源消耗情況。

Oozie調(diào)度

監(jiān)控方法

Oozie作業(yè)監(jiān)控

• 使用Oozie Web控制臺(tái)監(jiān)控工作流和作業(yè)的運(yùn)行狀態(tài)、執(zhí)行歷史和日志信息。
• 使用Oozie命令行工具或API查詢作業(yè)的狀態(tài)，實(shí)時(shí)查看調(diào)度情況并進(jìn)行調(diào)度管理。

Flink任務(wù)集群

監(jiān)控方法

Flink集群監(jiān)控

• 使用Flink自帶的Web UI監(jiān)控Flink任務(wù)集群的運(yùn)行狀態(tài)、作業(yè)圖和任務(wù)指標(biāo)。
• 配置Flink的Metrics系統(tǒng)，將指標(biāo)數(shù)據(jù)發(fā)送至監(jiān)控系統(tǒng)（如Prometheus），實(shí)時(shí)查看任務(wù)的吞吐量、延遲和狀態(tài)。

以上監(jiān)控方法可以幫助我們實(shí)現(xiàn)對大數(shù)據(jù)基座各集群的實(shí)時(shí)監(jiān)控和性能分析，確保系統(tǒng)的穩(wěn)定性和可靠性。

最終方案

我們可以采取在構(gòu)建模塊的時(shí)候集成Prometheus的exporter，這樣可以為進(jìn)一步做好集群監(jiān)控搭好基礎(chǔ)。