別小看 Log 日志,它難住了我們組的架構(gòu)師
本文轉(zhuǎn)載自微信公眾號(hào)「 淺羽的IT小屋 」,作者淺羽Eric 。轉(zhuǎn)載本文請(qǐng)聯(lián)系 淺羽的IT小屋 公眾號(hào)。
大家新年快樂(lè)呀!在最近的開(kāi)會(huì)中,討論到一些異常的處理,以及日志的輸出。是的,這些看起來(lái)小的不能再小的事,發(fā)生了分歧。因?yàn)榇蠹移毡橹粚?duì) Log4j 了解,而對(duì)其余的卻基本未曾使用。我們的 Leader 也表示對(duì) ELK 這類大規(guī)模日志由于好久不使用,也有點(diǎn)生疏了。所以今天總結(jié)了一下關(guān)于日志的介紹。
日志對(duì)于程序員是不可或缺的,在我們的開(kāi)發(fā)過(guò)程中,寫完代碼需要調(diào)試的話,日志是必須的,日志可以幫助我們定位我們的問(wèn)題,從而更好地幫助我們解決bug。本期小羽就給大家詳細(xì)了解一下我們經(jīng)常使用到的四種日志類型,幫助大家提高開(kāi)發(fā)效率。
好了,開(kāi)始進(jìn)入我們的正文。
Slf4j
slf4j 的全稱是 Simple Loging Facade For Java,它僅僅是一個(gè)為 Java 程序提供日志輸出的統(tǒng)一接口,并不是一個(gè)具體的日志實(shí)現(xiàn)方案,就比如 JDBC 一樣,只是一種規(guī)則而已。所以單獨(dú)的 slf4j 是不能工作的,必須搭配其他具體的日志實(shí)現(xiàn)方案,比如 apache 的 org.apache.log4j.Logger,jdk 自帶的 java.util.logging.Logger 等。
簡(jiǎn)單語(yǔ)法
SLF4J 不及 Log4J 使用普遍,因?yàn)樵S多開(kāi)發(fā)者熟悉 Log4J 而不知道 SLF4J,或不關(guān)注 SLF4J 而堅(jiān)持使用 Log4J。我么先看下 Log4J 示例:
- Logger.debug("Hello " + name);
由于字符串拼接的問(wèn)題,使用以上語(yǔ)句會(huì)先拼接字符串,再根據(jù)當(dāng)前級(jí)別是否低于 debug 決定是否輸出本條日志,即使不輸出日志,字符串拼接操作也會(huì)執(zhí)行,所以許多公司強(qiáng)制使用下面的語(yǔ)句,這樣只有當(dāng)前處于 DEBUG 級(jí)別時(shí)才會(huì)執(zhí)行字符串拼接:
- if (logger.isDebugEnabled()) {
- LOGGER.debug(“Hello ” + name);
- }
它避免了字符串拼接問(wèn)題,但有點(diǎn)太繁瑣了是不是?相對(duì)地,SLF4J提供下面這樣簡(jiǎn)單的語(yǔ)法:
- LOGGER.debug("Hello {}", name);
它的形式類似第一條示例,而又沒(méi)有字符串拼接問(wèn)題,也不像第二條那樣繁瑣。
日志等級(jí) Level
Slf4j 有四個(gè)級(jí)別的 log level 可供選擇,級(jí)別從上到下由低到高,優(yōu)先級(jí)高的將被打印出來(lái)。
- Debug:簡(jiǎn)單來(lái)說(shuō),對(duì)程序調(diào)試有利的信息都可以debug輸出
- info:對(duì)用戶有用的信息
- warn:可能會(huì)導(dǎo)致錯(cuò)誤的信息
- error:顧名思義,發(fā)生錯(cuò)誤的地方
使用
因?yàn)槭菑?qiáng)制規(guī)約,所以直接使用 LoggerFactory 創(chuàng)建
- import org.slf4j.Logger;
- import org.slf4j.LoggerFactory;
- public class Test {
- private static final Logger logger = LoggerFactory.getLogger(Test.class);
- // ……
- }
配置方式
Spring Boot 對(duì) slf4j 支持的很好,內(nèi)部已經(jīng)集成了 slf4j,一般我們?cè)谑褂玫臅r(shí)候,會(huì)對(duì)slf4j 做一下配置。application.yml 文件是 Spring Boot 中唯一一個(gè)需要配置的文件,一開(kāi)始創(chuàng)建工程的時(shí)候是application.properties 文件,個(gè)人比較細(xì)化用yml文件,因?yàn)?yml 文件的層次感特別好,看起來(lái)更直觀,但是 yml 文件對(duì)格式要求比較高,比如英文冒號(hào)后面必須要有個(gè)空格,否則項(xiàng)目估計(jì)無(wú)法啟動(dòng),而且也不報(bào)錯(cuò)。用 properties 還是 yml 視個(gè)人習(xí)慣而定,都可以。
我們看一下 application.yml 文件中對(duì)日志的配置:
- logging:
- config: classpath:logback.xml
- level:
- com.bowen.dao: trace
logging.config是用來(lái)指定項(xiàng)目啟動(dòng)的時(shí)候,讀取哪個(gè)配置文件,這里指定的是日志配置文件是classpath:logback.xml文件,關(guān)于日志的相關(guān)配置信息,都放在logback.xml文件中了。logging.level 是用來(lái)指定具體的 mapper 中日志的輸出級(jí)別,上面的配置表示com.bowen.dao 包下的所有 mapper 日志輸出級(jí)別為 trace,會(huì)將操作數(shù)據(jù)庫(kù)的 sql 打印出來(lái),開(kāi)發(fā)時(shí)設(shè)置成 trace 方便定位問(wèn)題,在生產(chǎn)環(huán)境上,將這個(gè)日志級(jí)別再設(shè)置成 error 級(jí)別即可。
常用的日志級(jí)別按照從高到低依次為:ERROR、WARN、INFO、DEBUG。
Log4j
Log4j 是 Apache 的一個(gè)開(kāi)源項(xiàng)目,通過(guò)使用 Log4j,我們可以控制日志信息輸送的目的地是控制臺(tái)、文件、GUI 組件,甚至是套接口服務(wù)器、NT 的事件記錄器、UNIX Syslog 守護(hù)進(jìn)程等;我們也可以控制每一條日志的輸出格式;通過(guò)定義每條日志信息的級(jí)別,我們能夠更加細(xì)致地控制日志的生成過(guò)程。
組成架構(gòu)
Log4j 由三個(gè)重要的組成構(gòu)成:日志記錄器(Loggers),輸出端(Appenders)和日志格式化器(Layout)。
Logger: 控制要啟用或禁用哪些日志記錄語(yǔ)句,并對(duì)日志信息進(jìn)行級(jí)別限制
Appenders: 指定了日志將打印到控制臺(tái)還是文件中
Layout: 控制日志信息的顯示格式
Log4j 中將要輸出的 Log 信息定義了 5 種級(jí)別,依次為 DEBUG、INFO、WARN、ERROR 和 FATAL,當(dāng)輸出時(shí),只有級(jí)別高過(guò)配置中規(guī)定的級(jí)別的信息才能真正的輸出,這樣就很方便的來(lái)配置不同情況下要輸出的內(nèi)容,而不需要更改代碼。
日志等級(jí) Level
Log4j 日志等級(jí)主要有以下幾種:
- off:關(guān)閉日志,最高等級(jí),任何日志都無(wú)法輸出
- fatal:災(zāi)難性錯(cuò)誤,在能夠輸出日志的所有等級(jí)中最高
- error:錯(cuò)誤,一般用于異常信息
- warn:警告,一般用于不規(guī)范的引用等信息
- info:普通信息
- debug:調(diào)試信息,一般用于程序執(zhí)行過(guò)程
- trace:堆棧信息,一般不使用
- all:打開(kāi)所有日志,最低等級(jí),所有日志都可使用
在 Logger 核心類中, 除了 off/all 以外, 其他每個(gè)日志等級(jí)都對(duì)應(yīng)一組重載的方法,用于記錄不同等級(jí)的日志。當(dāng)且僅當(dāng)方法對(duì)應(yīng)的日志等級(jí)大于等于設(shè)置的日志等級(jí)時(shí),日志才會(huì)被記錄。
使用
使用 Log4j 只需要導(dǎo)入一個(gè) jar 包
- <dependency>
- <groupId>org.log4j</groupId>
- <artifactId>log4j</artifactId>
- <version>1.2.9</version>
- </dependency>
配置方式
在 Resources Root目錄下創(chuàng)建一個(gè) log4j.properties 配置文件,一定要注意:文件的位置和文件名一個(gè)都不能錯(cuò),然后在 properties 文件中添加配置信息
- log4j.rootLogger=debug,cons
- log4j.appender.cons=org.apache.log4j.ConsoleAppender
- log4j.appender.cons.target=System.out
- log4j.appender.cons.layout=org.apache.log4j.PatternLayout
- log4j.appender.cons.layout.ConversionPattern=%m%n
propertis 文件是最常用的配置方式。實(shí)際開(kāi)發(fā)過(guò)程中,基本都是使用properties 文件。pripertis 配置文件的配置方式為:
- # 配置日志等級(jí), 指定生效的Appender名字, AppenderA是定義的Appender的名字
- log4j.rootLogger=日志等級(jí),AppenderA,AppenderB,...
- # ---------------- 定義一個(gè)appender------------------------
- # 定義一個(gè)appender, appender名字可以是任意的,
- # 如果要使該appender生效, 須加入到上一行rootLogger中, 后面為對(duì)應(yīng)的Appender類
- log4j.appender.appender名字=org.apache.log4j.ConsoleAppender
- log4j.appender.appender名字.target=System.out
- # 定義Appender的布局方式
- log4j.appender.appender名字.layout=org.apache.log4j.SimpleLayout
Logback
簡(jiǎn)單地說(shuō),Logback 是一個(gè) Java 領(lǐng)域的日志框架。它被認(rèn)為是 Log4J 的繼承人。logback 是 log4j 的升級(jí),所以 logback 自然比log4j有很多優(yōu)秀的地方。
模塊組成
Logback 主要由三個(gè)模塊 logback-core,logback-classic, logback-access 組成。
logback-core 是其它模塊的基礎(chǔ)設(shè)施,其它模塊基于它構(gòu)建,顯然,logback-core 提供了一些關(guān)鍵的通用機(jī)制。
logback-classic 的地位和作用等同于 Log4J,它也被認(rèn)為是 Log4J 的一個(gè)改進(jìn)版,并且它實(shí)現(xiàn)了簡(jiǎn)單日志門面 SLF4J;
logback-access 主要作為一個(gè)與 Servlet 容器交互的模塊,比如說(shuō) tomcat 或者 jetty,提供一些與HTTP 訪問(wèn)相關(guān)的功能。
三個(gè)模塊
Logback 組件
Logback主要組件如下:
- Logger:日志的記錄器;把他關(guān)聯(lián)到應(yīng)用對(duì)應(yīng)的context上;主要用于存放日志對(duì)象;可以自定義日志類型級(jí)別
- Appender:用于指定日志輸出的目的地;目的地可以是控制臺(tái),文件,數(shù)據(jù)庫(kù)等
- Layout:負(fù)責(zé)把事件轉(zhuǎn)換成字符串;格式化的日志信息的輸出;在logback中Layout對(duì)象被封裝在encoder中
Logback 優(yōu)點(diǎn)
Logback主要優(yōu)點(diǎn)如下:
- 同樣的代碼路徑,Logback 執(zhí)行更快
- 更充分的測(cè)試
- 原生實(shí)現(xiàn)了 SLF4J API(Log4J 還需要有一個(gè)中間轉(zhuǎn)換層)
- 內(nèi)容更豐富的文檔
- 支持 XML 或者 Groovy 方式配置
- 配置文件自動(dòng)熱加載
- 從 IO 錯(cuò)誤中優(yōu)雅恢復(fù)
- 自動(dòng)刪除日志歸檔
- 自動(dòng)壓縮日志成為歸檔文件
- 支持 Prudent 模式,使多個(gè) JVM 進(jìn)程能記錄同一個(gè)日志文件
- 支持配置文件中加入條件判斷來(lái)適應(yīng)不同的環(huán)境
- 更強(qiáng)大的過(guò)濾器
- 支持 SiftingAppender(可篩選 Appender)
- 異常棧信息帶有包信息
標(biāo)簽屬性
Logback主要標(biāo)簽屬性如下:
- configuration:配置的根節(jié)點(diǎn)
配置結(jié)構(gòu)
- scan:為ture時(shí),若配置文件屬性改變會(huì)被掃描并重新加載,默認(rèn)為true
- scanPeriod:監(jiān)測(cè)配置文件是否有修改的時(shí)間間隔,若沒(méi)給出時(shí)間單位,默認(rèn)單位為毫秒;默認(rèn)時(shí)間為1分鐘;當(dāng)scan="true"時(shí)生效
- debug:為true時(shí),將打出logback的內(nèi)部日志信息,實(shí)時(shí)查看logback運(yùn)行狀態(tài);默認(rèn)值為false
- contextName:上下文名稱,默認(rèn)為“default”,使用此標(biāo)簽可設(shè)置為其它名稱,用于區(qū)分不同應(yīng)用程序的記錄;一旦設(shè)置不能修改
- appender:configuration 的子節(jié)點(diǎn),負(fù)責(zé)寫日志的組件,有name和class兩個(gè)必要屬性
- name:addender的名稱
- class:appender的全限定名,就是對(duì)應(yīng)的某個(gè)具體的Appender類名,比如ConsoleAppender、FileAppender
- append:為true時(shí),日志被追加到文件結(jié)尾,如果是flase,清空現(xiàn)存的文件,默認(rèn)值為true
配置方式
logback 框架會(huì)默認(rèn)加載 classpath 下命名為 logback-spring 或 logback 的配置文件:
- <?xml version="1.0" encoding="utf-8"?>
- <configuration>
- <property resource="logback.properties"/>
- <appender name="CONSOLE-LOG" class="ch.qos.logback.core.ConsoleAppender">
- <layout class="ch.qos.logback.classic.PatternLayout">
- <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
- </layout>
- </appender>
- <!--獲取比info級(jí)別高(包括info級(jí)別)但除error級(jí)別的日志-->
- <appender name="INFO-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
- <filter class="ch.qos.logback.classic.filter.LevelFilter">
- <level>ERROR</level>
- <onMatch>DENY</onMatch>
- <onMismatch>ACCEPT</onMismatch>
- </filter>
- <encoder>
- <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
- </encoder>
- <!--滾動(dòng)策略-->
- <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
- <!--路徑-->
- <fileNamePattern>${LOG_INFO_HOME}//%d.log</fileNamePattern>
- <maxHistory>30</maxHistory>
- </rollingPolicy>
- </appender>
- <appender name="ERROR-LOG" class="ch.qos.logback.core.rolling.RollingFileAppender">
- <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
- <level>ERROR</level>
- </filter>
- <encoder>
- <pattern>[%d{yyyy-MM-dd' 'HH:mm:ss.sss}] [%C] [%t] [%L] [%-5p] %m%n</pattern>
- </encoder>
- <!--滾動(dòng)策略-->
- <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
- <!--路徑-->
- <fileNamePattern>${LOG_ERROR_HOME}//%d.log</fileNamePattern>
- <maxHistory>30</maxHistory>
- </rollingPolicy>
- </appender>
- <root level="info">
- <appender-ref ref="CONSOLE-LOG" />
- <appender-ref ref="INFO-LOG" />
- <appender-ref ref="ERROR-LOG" />
- </root>
- </configuration>
ELK
ELK 是軟件集合 Elasticsearch、Logstash、Kibana 的簡(jiǎn)稱,由這三個(gè)軟件及其相關(guān)的組件可以打造大規(guī)模日志實(shí)時(shí)處理系統(tǒng)。新增了一個(gè) FileBeat,它是一個(gè)輕量級(jí)的日志收集處理工具(Agent),F(xiàn)ilebeat 占用資源少,適合于在各個(gè)服務(wù)器上搜集日志后傳輸給 Logstash,官方也推薦此工具。
- Elasticsearch:是一個(gè)基于 Lucene 的、支持全文索引的分布式存儲(chǔ)和索引引擎,主要負(fù)責(zé)將日志索引并存儲(chǔ)起來(lái),方便業(yè)務(wù)方檢索查詢。
- Logstash:是一個(gè)日志收集、過(guò)濾、轉(zhuǎn)發(fā)的中間件,主要負(fù)責(zé)將各條業(yè)務(wù)線的各類日志統(tǒng)一收集、過(guò)濾后,轉(zhuǎn)發(fā)給 Elasticsearch 進(jìn)行下一步處理。
- Kibana:是一個(gè)可視化工具,主要負(fù)責(zé)查詢 Elasticsearch 的數(shù)據(jù)并以可視化的方式展現(xiàn)給業(yè)務(wù)方,比如各類餅圖、直方圖、區(qū)域圖等。
- Filebeat:隸屬于 Beats,是一個(gè)輕量級(jí)的日志收集處理工具。目前 Beats 包含四種工具:Packetbeat(搜集網(wǎng)絡(luò)流量數(shù)據(jù))、Topbeat(搜集系統(tǒng)、進(jìn)程和文件系統(tǒng)級(jí)別的 CPU 和內(nèi)存使用情況等數(shù)據(jù))、Filebeat(搜集文件數(shù)據(jù))、Winlogbeat(搜集 Windows 事件日志數(shù)據(jù))
架構(gòu)圖
主要特點(diǎn)
一個(gè)完整的集中式日志系統(tǒng),需要包含以下幾個(gè)主要特點(diǎn):
- 收集:能夠采集多種來(lái)源的日志數(shù)據(jù)
- 傳輸:能夠穩(wěn)定的把日志數(shù)據(jù)傳輸?shù)街醒胂到y(tǒng)
- 存儲(chǔ):如何存儲(chǔ)日志數(shù)據(jù)
- 分析:可以支持 UI 分析
- 警告:能夠提供錯(cuò)誤報(bào)告,監(jiān)控機(jī)制
ELK提供了一整套解決方案,并且都是開(kāi)源軟件,之間互相配合使用,完美銜接,高效的滿足了很多場(chǎng)合的應(yīng)用。目前主流的一種日志系統(tǒng)。
應(yīng)用場(chǎng)景
在海量日志系統(tǒng)的運(yùn)維中,以下幾個(gè)方面是必不可少的:
- 分布式日志數(shù)據(jù)集中式查詢和管理;
- 系統(tǒng)監(jiān)控,包含系統(tǒng)硬件和應(yīng)用各個(gè)組件的監(jiān)控;
- 故障排查;
- 安全信息和事件管理;
- 報(bào)表功能;
ELK 運(yùn)行于分布式系統(tǒng)之上,通過(guò)搜集、過(guò)濾、傳輸、儲(chǔ)存,對(duì)海量系統(tǒng)和組件日志進(jìn)行集中管理和準(zhǔn)實(shí)時(shí)搜索、分析,使用搜索、監(jiān)控、事件消息和報(bào)表等簡(jiǎn)單易用的功能,幫助運(yùn)維人員進(jìn)行線上業(yè)務(wù)的準(zhǔn)實(shí)時(shí)監(jiān)控、業(yè)務(wù)異常時(shí)及時(shí)定位原因、排除故障、程序研發(fā)時(shí)跟蹤分析Bug、業(yè)務(wù)趨勢(shì)分析、安全與合規(guī)審計(jì),深度挖掘日志的大數(shù)據(jù)價(jià)值。同時(shí) Elasticsearch 提供多種 API(REST JAVA PYTHON等API)供用戶擴(kuò)展開(kāi)發(fā),以滿足其不同需求。
配置方式
filebeat 的配置,打開(kāi)filebeat.yml,進(jìn)行配置,如下:
- #輸入源,可以寫多個(gè)
- filebeat.input:
- - type: log
- enabled: true
- #輸入源文件地址
- path:
- - /data/logs/tomcat/*.log
- #多行正則匹配,匹配規(guī)則 例:2020-09-29,不是這樣的就與上一條信息合并
- multiline:
- pattern: '\s*\['
- negate: true
- match: after
- #起個(gè)名字
- tags: ["tomcat"]
- #輸出目標(biāo),可以把logstash改成es
- output.logstash:
- hosts: [172.29.12.35:5044]
logstash 的配置,建一個(gè)以.conf為后綴的文件,或者打開(kāi) config 文件夾下的 .conf 文件,這里的配置文件是可以同時(shí)啟動(dòng)多個(gè)的,而且還有一個(gè)功能強(qiáng)大的filter功能,可以過(guò)濾原始數(shù)據(jù),如下:
- #輸入源(必須)
- input {
- #控制臺(tái)鍵入
- stdin {}
- #文件讀取
- file {
- #類似賦予的名字
- type => "info"
- #文件路徑,可以用*代表所有
- path => ['/usr/local/logstash-7.9.1/config/data-my.log']
- #第一次從頭開(kāi)始讀,下一次繼續(xù)上一次的位置繼續(xù)讀
- start_position => "beginning"
- }
- file {
- type => "error"
- path => ['/usr/local/logstash-7.9.1/config/data-my2.log']
- start_position => "beginning"
- codec=>multiline{
- pattern => "\s*\["
- negate => true
- what => "previous"
- }
- }
- #與filebates配合使用
- beats{
- port => 5044
- }
- }
- #輸出目標(biāo)(必須)
- output {
- #判斷type是否相同
- if [type] == "error"{
- #如果是,就寫入此es中
- elasticsearch{
- hosts => "172.29.12.35:9200"
- #kibana通過(guò)index的名字進(jìn)行查詢,這里的YYYY是動(dòng)態(tài)獲取日期
- index => "log-error-%{+YYYY.MM.dd}"
- }
- }
- if [type] == "info"{
- elasticsearch{
- hosts => "172.29.12.35:9200"
- #kibana通過(guò)index的名字進(jìn)行查詢
- index => "log-info-%{+YYYY.MM.dd}"
- }
- }
- #這里判斷的是filebates中賦予的tags是否是tomcat
- if "tomcat" in [tags]{
- elasticsearch{
- hosts => "172.29.12.35:9200"
- #kibana通過(guò)index的名字進(jìn)行查詢
- index => "tomcat"
- }
- }
- #控制臺(tái)也會(huì)打印信息
- stdout {
- codec => rubydebug {}
- }
- }
- 關(guān)于我