使用SeasLog打造PHP項目中的高性能日志組件
什么是SeasLog
SeasLog是一個C語言編寫的PHP擴展,提供一組規(guī)范標準的功能函數,在PHP項目中方便、規(guī)范、高效地寫日志,以及快速地讀取和查詢日志。
為什么使用SeasLog
無論在什么應用中,log日志都是架構中不可缺少的一個重要組成部分,它通常是系統(tǒng)或軟件、應用的運行記錄。通過log的分析,可以方便用戶了解系統(tǒng)或軟件、應用的運行情況;如果你的應用log足夠豐富,也可以分析以往用戶的操作行為、類型喜好、地域分布或其他更多信息;如果一個應用的log同時也分了多個級別,那么可以很輕易地分析得到該應用的健康狀況,及時發(fā)現問題并快速定位、解決問題,補救損失。
我們知道,php內置了很多l(xiāng)og函數,如error_log、syslog、file_put_content,這些函數功能強大且性能極好,但由于各種缺陷(error_log、file_put_content無錯誤級別、無固定格式像是信馬由韁隨處亂畫;syslog不區(qū)分模塊、而且與系統(tǒng)日志混合,讀syslog記錄會讓人抓狂的。),靈活度降低了很多,很不能滿足應用需求?;旧纤械拈_發(fā)者,都會自行設計封裝log庫,當然也會有很多開發(fā)者選擇已有的開源日志庫。
也有很多開源log類庫彌補了上述缺陷,如log4php、plog、Analog等(當然也有很多應用在項目中自己開發(fā)的log類)。其中以log4php最為著名,它的設計精良、格式***、文檔完善、功能強大。但是經過測試,log4php的性能非常差。
這是log4php與SeasLog的性能對比圖:
設計思路
那么有沒有一種log類庫同時滿足以下需求呢:
●分模塊、分級別
●配置簡單(***是勿須配置)
●日志格式清晰易讀
●應用簡單、性能很棒
我們知道,PSR-3標準是一個國際化的日志標準,它要求了“模塊、級別、清晰、易用”等日志工作應具備的特點。因此,只要我們遵循了PSR-3標準,則我們可以完成“分模塊、分級別”以及“日志格式清晰易讀”的要求。
“配置簡單”這個需求也很好完成。如果嚴格按照既定規(guī)則,其實只需要設置默認目錄就可以了。
OK,現在我們只剩下“性能”這一個要求。
既然是日志,免不了會寫文件,或者通過pipe通過網絡傳送到某個存儲中心(我們暫不考慮存儲中心的設計)??梢韵胍姡僭O一個請求中需要寫出1000處log,那么勢必會有1000次IO,這對性能將是一個很大的拖延點。一般對于處理這種多次相同的請求場景,我們要解決的其實也很簡單,使用cache或buffer,把多次請求作歸并,從而降低對磁盤或網絡的IO,這是一個基本的思想。
SeasLog也是這么做的。設定一個buffer_size(默認100條log),使用PHP請求內存,每寫一次log,塞入內存,同時buffer_size加;當buffer_size等于設置值時,則進行一次IO,同時清除buffer; 當然,如果請求結束了、或執(zhí)行了die、exit或其他異常退出時,不管buffer_size有沒有攢夠設置值,立刻進行一次IO,同時清除buffer。
到目前為止,SeasLog的正式版本為1.1.6,采用Apache 2.0開源協(xié)議,同時可以在php.net官方,和Github庫上獲得它的完整代碼。
Php.net http://pecl.php.net/package/seaslog
Github https://github.com/Neeke/SeasLog
目前提供了什么
●在PHP項目中便捷、規(guī)范地記錄log
●可配置的默認log目錄與模塊
●指定log目錄與獲取當前配置
●初步的分析預警框架
●高效的日志緩沖、便捷的緩沖debug
●遵循 PSR-3 日志接口規(guī)范
怎么安裝
獲得源碼后,可自行編譯。
$ /path/to/phpize
$ ./configure --with-php-config=/path/to/php-config
$ make && make install
當然,使用PECL管理工具會更方便:
$ pecl install seaslog
seaslog.ini的配置
- ; configuration for php SeasLog module
- extension = seaslog.so
- seaslog.default_basepath = /log/seaslog-test ;默認log根目錄
- seaslog.default_logger = default ;默認logger目錄
- seaslog.disting_type = 1 ;是否以type分文件 1是 0否(默認)
- seaslog.disting_by_hour = 1 ;是否每小時劃分一個文件 1是 0否(默認)
- seaslog.use_buffer = 1 ;是否啟用buffer 1是 0否(默認)
- seaslog.buffer_size = 100 ;buffer中緩沖數量 默認0(不使用buffer_size)
- seaslog.level = 0 ;記錄日志級別 默認0(所有日志)
seaslog.disting_type = 1 開啟以type分文件,即log文件區(qū)分info\warn\erro
seaslog.disting_by_hour = 1 開啟每小時劃分一個文件
seaslog.use_buffer = 1 開啟buffer。默認關閉。當開啟此項時,日志預存于內存,當請求結束時(或異常退出時)一次寫入文件。
seaslog.buffer_size = 100 設置緩沖數量為100. 默認為0,即無緩沖數量限制.當buffer_size大于0時,緩沖量達到該值則寫一次文件.
seaslog.level = 3 記錄的日志級別.默認為0,即所有日志均記錄。當level為1時,關注debug以上級別(包括debug),以此類推。level大于8時,所有日志均不記錄。#p#
默認常量有哪些
遵循PSR-3標準,SeasLog 共將日志分成8個級別
●SEASLOG_DEBUG "debug"
●SEASLOG_INFO "info"
●SEASLOG_NOTICE "notice"
●SEASLOG_WARNING "warning"
●SEASLOG_ERROR "error"
●SEASLOG_CRITICAL "critical"
●SEASLOG_ALERT "alert"
●SEASLOG_EMERGENCY "emergency"
都提供哪些方法
SeasLog 提供了這樣一組函數,可以方便地獲取與設置根目錄、模塊目錄、快速寫入與統(tǒng)計log。 相信從下述偽代碼的注釋中,您可以快速獲取函數信息(有經驗的coder,也可將下述代碼保存成SeasLog.php導入你的IDE,code tips,你懂的),具體使用將緊接其后:
- <?php
- /**
- * @author neeke@php.net 云智慧
- */
- class SeasLog
- {
- public function __construct()
- {
- #SeasLog init
- }
- public function __destruct()
- {
- #SeasLog distroy
- }
- /**
- * 設置basePath
- * @param $basePath
- * @return bool
- */
- static public function setBasePath($basePath)
- {
- return TRUE;
- }
- /**
- * 獲取basePath
- * @return string
- */
- static public function getBasePath()
- {
- return 'the base_path';
- }
- /**
- * 設置模塊目錄
- * @param $module
- * @return bool
- */
- static public function setLogger($module)
- {
- return TRUE;
- }
- /**
- * 獲取***一次設置的模塊目錄
- * @return string
- */
- static public function getLastLogger()
- {
- return 'the lastLogger';
- }
- /**
- * 統(tǒng)計所有類型(或單個類型)行數
- * @param string $level
- * @param string $log_path
- * @param null $key_word
- * @return array | long
- */
- static public function analyzerCount($level = 'all',$log_path = '*',$key_word = NULL)
- {
- return array();
- }
- /**
- * 以數組形式,快速取出某類型log的各行詳情
- * @param $level
- * @param string $log_path
- * @param null $key_word
- * @param int $start
- * @param int $limit
- * @return array
- */
- static public function analyzerDetail($level = SEASLOG_INFO,$log_path = '*',$key_word = NULL, $start = 1,$limit = 20)
- {
- return array();
- }
- /**
- * 獲得當前日志buffer中的內容
- * @return array
- */
- static public function getBuffer()
- {
- return array();
- }
- /**
- * 記錄debug日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function debug($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_DEBUG
- }
- /**
- * 記錄info日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function info($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_INFO
- }
- /**
- * 記錄notice日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function notice($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_NOTICE
- }
- /**
- * 記錄warning日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function warning($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_WARNING
- }
- /**
- * 記錄error日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function error($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_ERROR
- }
- /**
- * 記錄critical日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function critical($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_CRITICAL
- }
- /**
- * 記錄alert日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function alert($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_ALERT
- }
- /**
- * 記錄emergency日志
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function emergency($message,array $content = array(),$module = '')
- {
- #$level = SEASLOG_EMERGENCY
- }
- /**
- * 通用日志方法
- * @param $level
- * @param $message
- * @param array $content
- * @param string $module
- */
- static public function log($level,$message,array $content = array(),$module = '')
- {
- }
- }
#p#
在項目中如何使用
獲取與設置basePath
- $basePath_1 = SeasLog::getBasePath();
- SeasLog::setBasePath('/log/base_test');
- $basePath_2 = SeasLog::getBasePath();
- var_dump($basePath_1,$basePath_2);
- /*
- string(19) "/log/seaslog-ciogao"
- string(14) "/log/base_test"
- */
直接使用 SeasLog::getBasePath(),將獲取php.ini(seaslog.ini)中設置的seaslog.default_basepath 的值。
使用 SeasLog::getBasePath() 函數,將改變 seaslog_get_basepath() 的取值。
設置logger與獲取lastLogger
- $lastLogger_1 = SeasLog::getLastLogger();
- SeasLog::setLogger('testModule/app1');
- $lastLogger_2 = SeasLog::getLastLogger();
- var_dump($lastLogger_1,$lastLogger_2);
- /*
- string(7) "default"
- string(15) "testModule/app1"
- */
與basePath相類似的,
直接使用 SeasLog::getLastLogger(),將獲取php.ini(seaslog.ini)中設置的seaslog.default_logger 的值。
使用 SeasLog::setLogger() 函數,將改變 SeasLog::getLastLogger() 的取值。
快速寫入log
上面已經設置過了basePath與logger,于是log記錄的目錄已經產生了,
log記錄目錄 = basePath / logger / {fileName}.log log文件名,以 年月日 分文件,如今天是2014年02月18日期,那么 {fileName} = 20140218;
還記得 php.ini 中設置的 seaslog.disting_type 嗎?
默認的 seaslog.disting_type = 0,如果今天我使用了 SeasLog ,那么將產生最終的log文件:
●LogFile = basePath / logger / 20140218.log
如果 seaslog.disting_type = 1,則最終的log文件將是這樣的三個文件
●infoLogFile = basePath / logger / INFO.20140218.log ●warnLogFile = basePath / logger / WARN.20140218.log ●erroLogFile = basePath / logger / ERRO.20140218.log
于是可以這么快速地記錄log:
SeasLog::debug('this is a {userName} debug',array('{userName}' => 'neeke')); SeasLog::info('this is a info log'); SeasLog::notice('this is a notice log'); SeasLog::warning('your {website} was down,please {action} it ASAP!',array('{website}' => 'github.com','{action}' => 'rboot')); SeasLog::error('a error log'); SeasLog::critical('some thing was critical'); SeasLog::alert('yes this is a {messageName}',array('{messageName}' => 'alertMSG')); SeasLog::emergency('Just now, the house next door was completely burnt out! {note}',array('{note}' => 'it`s a joke'));
既然已經作為PHP的擴展存在,那么,此時可以在任何使用PHP的地方,方便地使用SeasLog來記錄你的log了。
這里有一個小技巧,在一個框架controller構造方法中,或在一個Service的構造方法中,使用SeasLog::setLogger() 方法,則可以將下文中所有的log記錄在同一個模塊中。同時,由于SeasLog記錄的log中,默認記錄了進程pid,所以可以有效地通過pid,將上下文相關的日志非常快速地聯(lián)系起來。
如下:
debug | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | this is a neeke debug info | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | this is a info log notice | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | this is a notice log warning | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | your github.com was down,please rboot it ASAP! error | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | a error log critical | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | some thing was critical alert | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | yes this is a alertMSG emergency | 6886 | 1422894818.129 | 2015:02:03 00:33:38 | Just now, the house next door was completely burnt out! it`s a joke debug | 6888 | 1422894820.234 | 2015:02:03 00:33:40 | this is a neeke debug info | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | this is a info log notice | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | this is a notice log warning | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | your github.com was down,please rboot it ASAP! error | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | a error log critical | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | some thing was critical alert | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | yes this is a alertMSG emergency | 6888 | 1422894820.235 | 2015:02:03 00:33:40 | Just now, the house next door was completely burnt out! it`s a joke
使用SeasLog進行健康預警
SeasLog同時也提供了一個簡單的預警demo,可以通過簡單的配置,完成及時發(fā)現問題并實時發(fā)送預警郵件的功能。
預警的配置
- [base]
- wait_analyz_log_path = /log/base_test
- [fork]
- ;是否開啟多線程 1開啟 0關閉
- fork_open = 1
- ;線程個數
- fork_count = 3
- [warning]
- email[smtp_host] = smtp.163.com
- email[smtp_port] = 25
- email[subject_pre] = 預警郵件 -
- email[smtp_user] = seaslogdemo@163.com
- email[smtp_pwd] = seaslog#demo
- email[mail_from] = seaslogdemo@163.com
- email[mail_to] = gaochitao@weiboyi.com
- email[mail_cc] = ciogao@gmail.com
- email[mail_bcc] =
- [analyz]
- ; enum
- ; SEASLOG_DEBUG "debug"
- ; SEASLOG_INFO "info"
- ; SEASLOG_NOTICE "notice"
- ; SEASLOG_WARNING "warning"
- ; SEASLOG_ERROR "error"
- ; SEASLOG_CRITICAL "critical"
- ; SEASLOG_ALERT "alert"
- ; SEASLOG_EMERGENCY "emergency"
- test1[module] = test/bb
- test1[level] = SEASLOG_ERROR
- test1[bar] = 1
- test1[mail_to] = gaochitao@weiboyi.com
- test2[module] = 222
- test2[level] = SEASLOG_WARNING
- test3[module] = 333
- test3[level] = SEASLOG_CRITICAL
- test4[module] = 444
- test4[level] = SEASLOG_EMERGENCY
- test5[module] = 555
- test5[level] = SEASLOG_DEBUG
crontab配置
- ;每天凌晨3點執(zhí)行
- 0 3 * * * /path/to/php /path/to/SeasLog/Analyzer/SeasLogAnalyzer.php