Grafana Loki管理Spring Boot日志實戰(zhàn)
上一篇文章簡單入門了Loki日志平臺的使用,今天又簡單研究了如何在實踐中使用Loki監(jiān)控Spring Boot應用,特地分享給大家,讓大家對這門新技術有更深的了解。
Loki的日志收集實踐
上一篇文章中我們使用Docker Compose同時啟動了Grafana、Loki、Promtail來監(jiān)控一個應用。以及整個日志體系的架構。
Loki日志體系
但是實際應用中不可能為每一個應用都建立一個Grafana-Loki-Promtail體系。
Promtail日志代理
目前Promtail可以從兩個來源跟蹤日志:本地日志文件和systemd日志,我們上一篇文章中演示的就是本地日志文件的加載,這種方式是目前我唯一能夠使用的途徑,另一種途徑是通過K8S的服務發(fā)現(xiàn)能力。
Loki流程圖
如果在多個應用服務器上部署對應的多個Promtail守護程序就能監(jiān)視多個應用的靜態(tài)日志文件,并通過Loki API將日志推送到Loki中進行聚合式的管理。
Spring Boot日志的部署拓撲
Promtail動態(tài)配置
我們只需要為Loki應用部署相關的Promtail守護程序即可。這里我仍然使用Docker對Promtail進行部署,不過我不能再使用默認配置了,這時的config.yml應該是:
- server:
- http_listen_port: 9080
- grpc_listen_port: 0
- positions:
- filename: /var/log/positions.yaml
- client:
- url: http://${LOKI_HOST}:${LOKI_PORT}/loki/api/v1/push
- scrape_configs:
- - job_name: system
- pipeline_stages:
- static_configs:
- - labels:
- app: ${APP_NAME}
- job: varlogs
- host: ${LOG_HOST}
- __path__: /var/log/*log
為了構建一個通用的配置,我將一些參數(shù)進行了動態(tài)化。這是Loki2.1+版本提供的特性,可以使用${}來引用環(huán)境變量,甚至你可以為其指定默認值${VAR:default_value}。但是你必須得知道為了開啟這一特性需要在Promtail啟動命令中添加選項-config.expand-env。
Promtail Docker鏡像改造
根據(jù)這個我對Promtail的Docker鏡像進行了改造,具體的Dockerfile為:
- FROM grafana/promtail:2.2.1
- LABEL AUTHOR = felord.cn
- VOLUME ["/var/log/"]
- EXPOSE 9080
- ENV LOKI_HOST="localhost"
- ENV LOKI_PORT=3100
- ENV APP_NAME="APP"
- ENV LOG_HOST="localhost"
- COPY config.yml /etc/promtail/
- CMD ["-config.file=/etc/promtail/config.yml", "-config.expand-env"]
你可以通過docker build -t loki-promtail:1.0 .命令構建這個自定義Promtail鏡像?;镜膯用睿?/p>
- docker run -d --name promtail-service --network loki -v c:/docker/log:/var/log/ -e LOKI_HOST=loki -e APP_NAME=SpringBoot loki-promtail:1.0
其中掛載的目錄c:/docker/log依然是應用的日志目錄,LOKI_HOST要保證能夠同Loki服務器通信,無論你通過直連還是Docker網(wǎng)絡(這里用了Docker網(wǎng)橋)。你可以可以使用Docker Compose將應用和Promtail進行捆綁,所有的Promtail將把對應的日志發(fā)往Loki進行集中式的管理。另外通過自定義的Label我們可以通過應用名稱來搜索日志了。
總結
今天通過更加貼近實戰(zhàn)的方式對Loki收集日志的機理進行了分享,尤其是日志收集器Promtail的改造部署。希望能夠幫助你更加快捷地實戰(zhàn)這個日志新貴。
本文轉載自微信公眾號「碼農(nóng)小胖哥」,可以通過以下二維碼關注。轉載本文請聯(lián)系碼農(nóng)小胖哥公眾號。