學(xué)會充分利用Python中的日志,提升你的編程level
為什么使用日志而不使用print()
日志記錄對于程序員來說是一個非常重要的功能。對于調(diào)試和顯示運行時信息,日志記錄同樣有用。在本文中,我將介紹為什么以及如何在程序中使用python的日志模塊。
打印語句和日志輸出之間有一個關(guān)鍵的區(qū)別。通常,打印語句寫到標(biāo)準(zhǔn)輸出(stdout),期望它是有用的信息或程序的輸出。但是,日志被寫入標(biāo)準(zhǔn)錯誤(stderr)。我們可以如下演示這個場景。
- import logging
- logging.basicConfig(level=logging.INFO) #We'll talk about this soon!
- logging.warning('Something bad could happen!')
- logging.info('You are running the program')
- logging.error('Aw snap! Everything failed.')
- print("This is the program output")
現(xiàn)在,如果我運行這個程序,我將在命令行中看到以下內(nèi)容。
- $ python log_test.py
- WARNING:root:Something bad could happen!
- INFO:root:You are running the program
- ERROR:root:Aw snap! Everything failed.
- This is the program output
然而,對于普通用戶來說,這些信息太多了。盡管這實際上是在命令行中一起顯示的,但數(shù)據(jù)被寫入兩個單獨的流中。因此,典型的用戶應(yīng)該執(zhí)行以下操作。
- $ python log_test.py > program_output.txt
- WARNING:root:Something bad could happen!
- INFO:root:You are running the program
- ERROR:root:Aw snap! Everything failed.
- $ cat program_output.txt
- This is the program output
在這里,通過重定向>,將有用的程序輸出寫入一個文件。這樣我們就可以看到終端上發(fā)生了什么,并方便地在文件中獲得輸出?,F(xiàn)在讓我們嘗試?yán)斫馊罩炯墑e!
日志和日志級別
日志記錄可能由于不同的原因而發(fā)生。這些原因分為以下嚴(yán)重程度。
- 調(diào)試:為開發(fā)人員調(diào)試信息,如計算值、估計參數(shù)、url、API調(diào)用等。
- 信息:信息,沒什么嚴(yán)重的。
- 警告:對用戶的輸入、參數(shù)等的警告。
- 錯誤:報告由用戶在程序中所做的事情或發(fā)生的事情引起的錯誤。
- CRITICAL:最高優(yōu)先級的日志輸出。用于關(guān)鍵問題(取決于用例)。
最常見的日志類型有DEBUG、INFO和ERROR。但是,很容易出現(xiàn)python拋出版本不匹配警告的情況。
配置記錄器和日志處理程序
記錄器可以在不同的參數(shù)下配置。日志記錄器可以配置為遵循特定的日志級別、文件名、文件模式和打印日志輸出的格式。
配置日志采集器參數(shù)
日志記錄器可以進(jìn)行如下配置。
- import logging
- logging.basicConfig(filename='program.log', filemode='w', level=logging.DEBUG)
- logging.warning('You are given a warning!')
上面的設(shè)置要求記錄器將日志輸出到名為program.log的文件中。filemode= ' w '定義了寫入文件的性質(zhì)。例如,'w'打開一個新文件,覆蓋在那里的任何東西。默認(rèn)情況下,這個參數(shù)是'a',它將以附加模式打開日志文件。有時,擁有一個日志歷史記錄是很有用的。level參數(shù)定義日志記錄的最低級別。例如,如果將其設(shè)置為INFO,則不會打印調(diào)試日志。您可能見過,程序需要以inverbose=debug模式運行才能查看一些參數(shù)。默認(rèn)級別為INFO。
創(chuàng)建日志處理程序
盡管上面的方法對于一個簡單的應(yīng)用程序來說很簡單,但是對于生產(chǎn)就緒的軟件或服務(wù),我們需要一個全面的日志記錄過程。這是因為很難在數(shù)百萬的調(diào)試日志中找到特定的錯誤日志。此外,我們需要在整個程序和模塊中使用單個日志記錄器。這樣我們就可以正確地將日志追加到同一個文件中。為此,我們可以為該任務(wù)使用具有不同配置的處理程序。
- import logging
- logger = logging.getLogger("My Logger")
- logger.setLevel(logging.DEBUG)
- console_handler = logging.StreamHandler()
- file_handler = logging.FileHandler('file.log', mode='w')
- console_handler.setLevel(logging.INFO)
- file_handler.setLevel(logging.DEBUG)
- logger.addHandler(console_handler)
- logger.addHandler(file_handler)
您可以看到,我們首先得到一個傳遞名稱的記錄器。這使我們能夠在程序的其他地方重用相同的日志程序。我們將全局日志記錄級別設(shè)置為DEBUG。這是最低的日志級別,因此允許我們在其他處理程序中使用任何日志級別。
接下來,我們?yōu)榭刂婆_和文件編寫創(chuàng)建兩個處理程序。對于每個處理器,我們都提供了一個日志級別。這有助于減少控制臺輸出的開銷,并將它們傳輸?shù)轿募幚沓绦?。使以后處理調(diào)試變得容易。
格式化日志輸出
日志不僅僅是打印我們自己的消息。有時我們需要打印其他信息,比如時間、日志級別和進(jìn)程id。對于這個任務(wù),我們可以使用日志格式。讓我們看看下面的代碼。
- console_format = logging.Formatter('%(name)s - %(levelname)s - %(message)s')
- file_format = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
- console_handler.setFormatter(console_format)
- file_handler.setFormatter(file_format)
在向記錄器添加處理程序之前,我們可以如上所述對日志輸出進(jìn)行格式化。還有更多的參數(shù)可以用于此。你可以在這里找到它們。
重用代碼
下面是一個日志代碼片段,我將繼續(xù)在我的許多應(yīng)用程序中使用它。我想這對作為讀者的你可能有用。
- import logging
- logger = logging.getLogger('Program Name-Version')
- logger.setLevel(logging.DEBUG)
- formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
- consoleHeader = logging.StreamHandler()
- consoleHeader.setFormatter(formatter)
- consoleHeader.setLevel(logging.INFO)
- fileHandler = logging.FileHandler(f"{output}/metabcc-lr.log")
- fileHandler.setLevel(logging.DEBUG)
- fileHandler.setFormatter(formatter)
- logger.addHandler(fileHandler)
- logger.addHandler(consoleHeader)