隨著企業(yè)規(guī)模的擴大和信息化程度的提升，日志系統(tǒng)在運維和故障排查中的作用愈加重要。一個高效的日志系統(tǒng)不僅可以幫助開發(fā)者和運維人員快速定位問題，還能對系統(tǒng)性能、用戶行為等方面的數(shù)據(jù)進行深入分析，從而提升業(yè)務優(yōu)化和決策支持能力。傳統(tǒng)的日志系統(tǒng)架構，如 ELK（Elasticsearch、Logstash、Kibana），已經在大量生產環(huán)境中得到了廣泛的驗證。然而，隨著容器化和微服務架構的流行，尤其是在 Kubernetes (k8s) 環(huán)境中，對日志系統(tǒng)的需求也在不斷演變。

這使得新的日志解決方案應運而生，例如 EFK（Elasticsearch、Fluent Bit、Kibana）和 PLG（Promtail、Loki、Grafana）架構，它們分別針對不同的使用場景和需求，提供了更加靈活、低成本、高效的日志收集、存儲、和可視化方案。尤其是 PLG 架構，憑借其與 Prometheus 的緊密集成和對時間序列數(shù)據(jù)的優(yōu)秀處理能力，成為了在云原生環(huán)境中逐漸流行的選擇。

本文將深入探討 ELK、EFK 和 PLG 三大日志系統(tǒng)的架構設計、技術特點及其在實際應用中的優(yōu)勢和不足，并通過對比分析幫助讀者更好地理解每種日志系統(tǒng)的適用場景和最佳實踐。

ELK 日志系統(tǒng)

經典的 ELK 架構，現(xiàn)在稱為 Elastic Stack，由 Elasticsearch、Logstash、Kibana 和 Beats 組成：

• Beats 負責日志收集。
• Logstash 負責日志聚合和處理。
• Elasticsearch（ES）用作日志存儲和搜索系統(tǒng)。
• Kibana 提供前端可視化。

總體架構圖：

圖片

EFK 日志系統(tǒng)

在容器化場景中，尤其是 Kubernetes (k8s) 環(huán)境中，用戶通常使用 EFK 架構。

F 代表 Fluent Bit，它是一款開源的多平臺日志處理器和轉發(fā)器。Fluent Bit 能夠：

• 從各種來源收集數(shù)據(jù)/日志。
• 統(tǒng)一并轉發(fā)它們到多個目的地。
• 完全與 Docker 和 k8s 環(huán)境集成。

圖片

PLG 日志系統(tǒng)

Prometheus + k8s 日志系統(tǒng)

Prometheus 與 Kubernetes (k8s) 結合，可以搭建一個高效的日志系統(tǒng)。

該系統(tǒng)利用 Prometheus 進行監(jiān)控和告警，提供了在 Kubernetes 環(huán)境中強大的日志解決方案。

PLG

另一種由 Grafana Labs 提供的日志解決方案 PLG 也日漸流行。PLG 架構由 Promtail、Loki 和 Grafana 組成：

• Promtail 負責收集日志。
• Loki 作為日志聚合和存儲系統(tǒng)。
• Grafana 提供前端可視化。

圖片

Grafana 是一款開源的可視化和分析軟件，允許用戶查詢、可視化、告警并探索監(jiān)控指標。

Grafana 主要為時間序列數(shù)據(jù)提供儀表盤解決方案，并支持十幾種數(shù)據(jù)源。

Grafana Loki 是一組組件，可以組成一個完整的日志堆棧。與其他日志系統(tǒng)不同，Loki 只索引日志的標簽，而不是原始的日志內容。

相反，它為日志數(shù)據(jù)設置了一組標簽，從而降低了操作成本，并大大提高了效率。

圖片

Loki 設計理念

受 Prometheus 啟發(fā)，Loki 旨在實現(xiàn)一個水平擴展、高可用的多租戶日志系統(tǒng)。

Loki 的總體架構由不同的組件組成，這些組件協(xié)同工作以執(zhí)行日志收集、索引、存儲等功能。

這些組件包括：

• Promtail：從各種來源收集日志并將其轉發(fā)到 Loki。
• Loki：使用標簽存儲和索引日志數(shù)據(jù)。
• Grafana：可視化日志數(shù)據(jù)并支持查詢和告警。

了解更多，請訪問 Loki 的架構。Loki 本質上就是“為日志設計的 Prometheus”。

圖片

Promtail 是一個日志收集代理，負責將本地日志內容發(fā)送到 Loki 實例。

它通常部署在每個需要監(jiān)控應用程序的機器/容器上。Promtail 主要用于發(fā)現(xiàn)目標，給日志流附加標簽，并將日志推送到 Loki。目前，Promtail 可以跟蹤來自兩個來源的日志：本地日志文件和 systemd 日志（僅限 AMD64 架構）。

PLG 與 ELK 對比

ES 與 Loki

ELK/EFK 架構經過多年的實際環(huán)境驗證，表現(xiàn)出色。

Elasticsearch (ES) 中存儲的日志通常以存儲在磁盤上的非結構化 JSON 對象形式存在，ES 為每個對象建立索引以實現(xiàn)全文搜索。這使用戶可以使用特定的查詢語言搜索這些日志。

相比之下，Loki 將數(shù)據(jù)存儲解耦：

• 它可以將數(shù)據(jù)存儲在磁盤上。
• 它也可以使用云存儲系統(tǒng)，如 Amazon S3。

Loki 日志使用一組鍵值對進行標簽化，只有這些標簽會被索引。

這種權衡使 Loki 的索引操作成本較低，但對于基于內容的查詢，用戶需要使用 LogQL 進行單獨搜索。

Fluentd 與 Promtail

與 Fluentd 相比，Promtail 是為 Loki 量身定制的。它可以發(fā)現(xiàn)與 Kubernetes (k8s) Pods 運行在同一節(jié)點上的服務，并從指定目錄中讀取日志。

Loki 使用類似于 Prometheus 的標簽方法。因此，在與 Prometheus 部署在相同環(huán)境時，Promtail 收集的日志通常具有與應用程序指標相同的標簽，從而實現(xiàn)統(tǒng)一的標簽管理。

Grafana 與 Kibana

Kibana 為數(shù)據(jù)分析提供了許多可視化工具，包括異常檢測和其他機器學習功能。Grafana 設計用于顯示來自 Prometheus 和 Loki 的時間序列數(shù)據(jù)，允許在同一儀表盤中查看日志和指標。

結語

日志系統(tǒng)是企業(yè)監(jiān)控和維護應用程序的重要組成部分。隨著技術的不斷發(fā)展，日志系統(tǒng)不僅僅局限于簡單的記錄和存儲，而是成為了數(shù)據(jù)驅動決策、監(jiān)控系統(tǒng)健康狀況以及優(yōu)化用戶體驗的重要工具。通過本文對 ELK、EFK 和 PLG 日志系統(tǒng)的詳細分析，我們可以看到每種架構在不同場景下的應用優(yōu)勢。

ELK 架構憑借其強大的搜索和可視化功能，已經成為了許多傳統(tǒng)企業(yè)的首選方案；而 EFK 架構則針對容器化場景進行了優(yōu)化，適合在 Kubernetes 環(huán)境中進行日志處理。相比之下，PLG 架構以其輕量級、高擴展性的特點，提供了更加靈活的解決方案，尤其適合處理大量分布式服務的日志。

在未來，隨著企業(yè)業(yè)務的進一步擴展和云原生技術的深入應用，日志系統(tǒng)將更加注重實時性、可擴展性和智能化分析功能。因此，選擇一個適合自身業(yè)務需求的日志系統(tǒng)將變得尤為關鍵，而 PLG、EFK 和 ELK 架構都為用戶提供了豐富的選擇和深厚的技術支持。