該程序使用場景說明：主要用于Linux服務(wù)器監(jiān)控程序日志，如出現(xiàn)關(guān)鍵字異常則觸發(fā)相應(yīng)的動作或告警操作，通知到郵件聯(lián)系人。

一、安裝郵件服務(wù)

1、解壓 

tar -jxf mailx-12.4.tar.bz2 -C /usr/src/ && cd /usr/src/mailx-12.4/ 

2、編譯 

make install UCBINSTALL=/usr/bin/install 

異常編譯報錯-1

異常報錯解決方法

下載mailx補丁文件“mailx-12.4-openssl_1.0.0_build_fix-1.patch”，將補丁文件和mailx解壓縮目錄放置同一路徑

執(zhí)行打補丁命令： 

patch -p0 < mailx-12.4-openssl_1.0.0_build_fix-1.patch 

進入mailx-12.4重新執(zhí)行編譯命令： 

make install UCBINSTALL=/usr/bin/install 

檢測mailx是否安裝成功：mailx -V

3、配置 

vi /etc/nail.rc，在文件的最后添加

set from=

set smtp=

set smtp-auth-user=

set smtp-auth-password=

set smtp-auth=login

如下圖所示，修改配置完后保存

4、測試發(fā)送郵件

echo '郵件正文'|mailx -v -s "郵件標題" 郵箱地址

至此郵件功能測試正常，接下來是關(guān)鍵字監(jiān)控腳本的編寫工作，通過日志關(guān)鍵字腳本觸發(fā)郵件告警腳本實現(xiàn)日志監(jiān)控

二、關(guān)鍵字監(jiān)控腳本開發(fā)

CheckLogs.sh 日志監(jiān)控程序

SendMail.sh 發(fā)郵件腳本,該腳本可自定義

conf 配置文件目錄,chklist為配置文件

初次執(zhí)行CheckLogs.sh腳本會讀取日志文件并記錄當前讀取的行數(shù)

后續(xù)運行腳本則讀取更新日志，例如當前日志更新了9行數(shù)據(jù)，則腳本從最新的9行數(shù)據(jù)獲取關(guān)鍵字

測試插入關(guān)鍵字error

繼續(xù)執(zhí)行腳本可以看到已捕獲關(guān)鍵字并觸發(fā)告警

測試多關(guān)鍵字

再次執(zhí)行可以看到已捕獲最新更新的日志信息

測試頻率控制

至此相關(guān)功能測試已完成。最后附上腳本相關(guān)代碼如下： 

#!/bin/bash  
basedir=$(cd `dirname "$0"`;pwd)  
logsdir=$basedir/logs  
tmpsdir=$basedir/tmps  
confdir=$basedir/conf  
chkfile=$confdir/chklist  
logfile=$logsdir/log.log_$(date +%F)  
#創(chuàng)建各種目錄  
mkdir -p $logsdir $tmpsdir $confdir  
#創(chuàng)建配置文件  
if test ! -e "$chkfile";then  
    echo "#日志文件,關(guān)鍵字(多關(guān)鍵字|隔開),重試次數(shù),最大執(zhí)行次數(shù),啟動命令,停止命令" >$chkfile  
fi  
#生成日志函數(shù)  
do_writelog() {  
    case $1 in  
    i|I)  
        shift  
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|INFO|$@" >>$logfile  
        ;;  
    e|E)  
        shift  
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|ERROR|$@" >>$logfile  
        ;;  
    w|W)  
        shift  
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|WARNING|$@" >>$logfile  
        ;;  
    *)  
        echo "$(date +%Y-%m-%d) $(date +%H:%M:%S)|DEBUG|$@" >>$logfile  
        esac  
}  
#日志處理部分代碼  
cat $chkfile|egrep -v "^($|#)"|while read i;do  
(  
    app_name=$(echo "$i"|awk -F, '{print $1}')  
    if test -z "$app_name";then  
        do_writelog e "應(yīng)用名稱為空,退出執(zhí)行"  
        exit 0  
    fi  
    log_filename=$(echo "$i"|awk -F, '{print $2}')  
    if test ! -e "$log_filename";then  
        do_writelog e "日志文件($log_filename)不存在,退出執(zhí)行"  
        exit 0  
    fi  
    log_md5sum=$(echo -n "$log_filename"|md5sum|awk '{print $1}')  
    log_gjz=$(echo "$i"|awk -F, '{print $3}')  
    if test -z "$log_gjz";then  
        do_writelog i "日志文件($log_filename),關(guān)鍵字為空,退出執(zhí)行"  
        exit 0  
    fi  
    log_retry=$(echo "$i"|awk -F, '{print $4}')  
    expr $log_retry + 0 &>/dev/null  
    if [ $? -ne 0 ];then  
        log_retry=0  
    fi 
     log_max=$(echo "$i"|awk -F, '{print $5}')  
    expr $log_max + 0 &>/dev/null  
    if [ $? -ne 0 ];then  
        log_max=3  
    fi  
    start_command=$(echo "$i"|awk -F, '{print $6}')  
    stops_command=$(echo "$i"|awk -F, '{print $7}')  
    open_sendmail=$(echo "$i"|awk -F, '{print $8}')  
    mail_scripts=$(echo "$i"|awk -F, '{print $9}')  
    mail_contacts=$(echo "$i"|awk -F, '{print $10}')  
    if [ $open_sendmail -eq 1 ];then  
        if test -z "$mail_scripts";then  
            do_writelog i "應(yīng)用($app_name),觸發(fā)動作腳本為空,退出執(zhí)行"  
            exit 0  
        fi  
        if test -z "$mail_contacts";then  
            do_writelog i "應(yīng)用($app_name),聯(lián)系人為空,退出執(zhí)行"  
            exit 0  
        fi  
    fi  
    if test ! -e "$tmpsdir/$log_md5sum";then  
        log_new_count=$(wc -l $log_filename|awk '{print $1}')  
        echo "$log_new_count" >$tmpsdir/$log_md5sum 
        do_writelog i "日志文件($log_filename),初始化讀取日志行數(shù):$log_new_count,退出執(zhí)行"  
    else  
        log_old_count=$(cat $tmpsdir/$log_md5sum)  
        expr $log_old_count + 0 &>/dev/null 
         if [ $? -ne 0 ];then  
            do_writelog e "日志文件($log_filename),讀取歷史行數(shù)失敗,退出執(zhí)行"  
            exit 0  
        fi  
        log_new_count=$(wc -l $log_filename|awk '{print $1}')  
        if [ $log_new_count -eq $log_old_count ];then  
            do_writelog i "日志文件($log_filename),未更新,退出執(zhí)行"  
            exit 0  
        elif [ $log_new_count -lt $log_old_count ];then  
            do_writelog i "日志文件($log_filename),跨日更新日志行數(shù):$log_new_count,退出執(zhí)行"  
            echo "$log_new_count" >$tmpsdir/$log_md5sum  
        else  
           log_upd_count=$(expr $log_new_count - $log_old_count)  
           do_writelog i "日志文件($log_filename),歷史行數(shù):$log_old_count,最新行數(shù):$log_new_count,更新行數(shù):$log_upd_count"   
           #讀取更新的日志  
           log_content=$(tail -n +`expr $log_old_count + 1` $log_filename|head -n +$log_upd_count)  
           oldIFS=$IFS  
           IFS="|"  
           count=0  
           for i in $log_gjz;do  
               if [ $(echo "$log_content"|grep -c -w "$i") -ge 1 ];then  
                   let count+=1    
               fi  
               if [ $count -gt 0 ];then  
                   break  
               fi  
           done  
           IFS=$oldIFS  
           if [ $count -gt 0 ];then  
               echo "0" >>$tmpsdir/${log_md5sum}.retry  
           else  
              do_writelog i "日志文件($log_filename),未獲取到關(guān)鍵字,退出執(zhí)行"  
              echo "$log_new_count" >$tmpsdir/$log_md5sum  
              exit 0  
           fi  
           if [[ $(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}') -gt $log_retry ]];then  
               echo "0" >>$tmpsdir/${log_md5sum}_$(date +%F)  
               if [ $(wc -l $tmpsdir/${log_md5sum}_$(date +%F)|awk '{print $1}') -le $log_max ];then  
                   $stops_command 1>>$logfile 2>&1  
                   $start_command 1>>$logfile 2>&1  
                   do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,停止命令:$stops_command,啟動命令:$start_command,重啟服務(wù)"  
                   if [ $open_sendmail -eq 1 ];then  
                       if test -n "$mail_scripts";then  
                           $mail_scripts "應(yīng)用[$app_name]故障" "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i" "$mail_contacts" 1>>$logfile 2>&1  
                           if [ $? -ne 0 ];then  
                               do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,觸發(fā)告警失敗"  
                           fi  
                           do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,觸發(fā)告警通知聯(lián)系人:[$mail_contacts]"  
                       fi  
                   else  
                       do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,不觸發(fā)告警"  
                   fi  
               else  
                   do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,重啟服務(wù)超出當天限制次數(shù):$log_max,退出執(zhí)行"  
               fi  
               rm -f $tmpsdir/${log_md5sum}.retry &>/dev/null  
           else  
               do_writelog i "日志文件($log_filename),日志內(nèi)容:$log_content,找到關(guān)鍵字:$i,重試檢測:$(wc -l $tmpsdir/${log_md5sum}.retry|awk '{print $1}')"  
           fi  
           echo "$log_new_count" >$tmpsdir/$log_md5sum  
           do_writelog i "日志文件($log_filename),更新記次文件完成"   
        fi  
    fi  
)&  
done