Nagios不發(fā)報警短信問題的解決
有一個服務器的443端口對應的服務發(fā)生故障了，可是等了半天就是收不到報警郵件。
登錄Nagios所在的系統(tǒng)，檢查與郵件發(fā)送相關的情況，其基本操作是：檢查sendmail是否起來(ps aux | grep sendmail),結果正常;用mail程序手動發(fā)一封郵件給我的一個郵箱(mail –s “This is a mail test project” sery@163.com < ip_scan ),能發(fā)送和接收到這封郵件。問題在哪里呢？
解決Nagios不發(fā)報警短信問題：
最近在一個新安裝的FreeBSD 7系統(tǒng)部署一套Nagios監(jiān)控系統(tǒng)，主要用來監(jiān)控主機的存活狀態(tài)、網絡服務的狀態(tài)以及遠程主機的資源利用情況。盡管FreeBSD安裝源碼有些麻煩，但最終還是把Nagios正確安裝上了，并且能正常工作，通過web方式也能看見監(jiān)控對象的狀況。
有故障報警行為,但看不到?
如上圖所示，真有一個服務器的443端口對應的服務發(fā)生故障了，可是等了半天就是收不到報警郵件。登錄Nagios所在的系統(tǒng)，檢查與郵件發(fā)送相關的情況，其基本操作是：檢查sendmail是否起來(ps aux | grep sendmail),結果正常;用mail程序手動發(fā)一封郵件給我的一個郵箱(mail –s “This is a mail test project” sery@163.com < ip_scan ),能發(fā)送和接收到這封郵件。問題在哪里呢?
由上面的排查，基本可以斷定sendmail沒什么問題，域名解析也是正常的(專門為這個監(jiān)控服務器解析MX及A記錄)，現在可能的原因只能在Nagios這邊了。進入Nagios配置文件所在的目錄，挨個察看配置文件。我的Nagios配置目錄的情況如下：
- [root@Nagios /usr/local/Nagios]# pwd
- /usr/local/Nagios/etc
- [root@Nagios /usr/local/Nagios/etc]# ls *.cfg
- cgi.cfg contacts.cfg localhost.cfg services.cfg
- commands.cfg hostgroups.cfg Nagios.cfg timeperiods.cfg
contactgroups.cfg hosts.cfg resource.cfg沒看見有什么異常的情況，改了其中的某些設置，如cgi.cfg文件，重啟Nagios，還是不能發(fā)報警郵件?？墒?，但我點擊web管理界面的時候，確實是有郵件報警行為，如下圖所示：
既有主機故障通知，又有服務故障報警通知，而且都應該按我的定義發(fā)送郵件的呀!
Nagios自己也有日志記錄
查去查來，找不到頭緒。再查sendmail 的日志/var/log/maillog,只發(fā)現我手動發(fā)送郵件的記錄，而沒有其他發(fā)送記錄---只有下面這么一條記錄：
Jul 27 14:27:48 Nagios sm-mta[37141]: m6RERkYR037139: to=, ctladdr= (1003/1003), delay=00:00:02, xdelay=00:00:01, mailer=esmtp, pri=30623, relay=163mx02.mxmail.netease.com. [220.181.12.66], dsn=2.0.0, stat=Sent (Mail OK queued as mx16,QsCowLDbPSxWFYxIb6TzGw==.27600S2 1217140055)看來Nagios并沒有調用sendmail發(fā)送郵件。
差點忘了，Nagios自己也有日志記錄呢!趕快打開看一眼，發(fā)現里面有不少Warning，抽一個出來，其內容如下：
- [1217166816] HOST NOTIFICATION: sery;mail-server;DOWN;host-notify-by-email;CRITICAL - Plugin timed out after 10 seconds
- [1217166816] Warning: Attempting to execute the command "/usr/bin/printf "%b" "***** Nagios 2.9 *****nnNotification Type: PROBLEMnHost: mail-servernState: DOWNnAddress: 211.155.115.66nInfo: CRITICAL - Plugin timed out after 10 secondsnnDate/Time: Sun Jul 27 13:53:36 UTC 2008n" | /bin/mail -s "Host DOWN alert for mail-server!" sery@163.com" resulted in a return code of 127. Make sure the script or binary you are trying to execute actually exists...
原因：郵件路徑不對
其他的行也更這個類似;最有用的信息我用紅色標記，其大意是不能執(zhí)行上面的2進制或可執(zhí)行文件。在這個條目中，只有2個執(zhí)行文件—printf及mail。我把它按原樣單獨拿出來執(zhí)行，操作過程如下：
(1)/usr/bin/printf “"%b" "***** Nagios 2.9 *****n” 輸出 ***** Nagios 2.9 *****，這是正常的結果。
(2)/bin/mail -s "Host DOWN alert for mail-server!" sery@163.com 輸出su: /bin/mail: No such file or directory，沒找到路徑或目錄。前面還手動發(fā)了郵件的，明明有mail這個客戶端程序呀!可能這個路徑不對，是linux的mail路徑。查一下FreeBSD的mail路徑，執(zhí)行find / -name 得到mail在FreeBSD的路徑為/usr/bin/mail 。
到這里，我們知道了為啥不能發(fā)郵件的根本原因，接下來，我把Nagios的配置文件commands.cfg的host-notify-by-email、service-notify-by-email的”/bin/mail”替換為“/usr/bin/mail”。其完整形式為：
- # 'host-notify-by-email' command definition
- define command{
- command_name host-notify-by-email
- command_line /usr/bin/printf "%b" "***** Nagios 2.9 *****nnNotification Type: $NOTIFICATIONTYPE$nHost: $HOSTNAME$nState: $HOSTSTATE$nAddress: $HOSTADDRESS$nInfo: $HOSTOUTPUT$nnDate/Time: $LONGDATETIME$n" | /usr/bin/mail -s "Host $HOSTSTATE$ alert for $HOSTNAME$!" $CONTACTEMAIL$
- }
- # 'notify-by-email' command definition
- define command{
- command_name service-notify-by-email
- command_line /usr/bin/printf "%b" "***** Nagios 2.9 *****nnNotification Type: $NOTIFICATIONTYPE$nnService: $SERVICEDESC$nHost: $HOSTALIAS$nAddress: $HOSTADDRESS$nState: $SERVICESTATE$nnDate/Time: $LONGDATETIME$nnAdditional Info:nn$SERVICEOUTPUT$" | /usr/bin/mail -s "** $NOTIFICATIONTYPE$ alert - $HOSTALIAS$/$SERVICEDESC$ is $SERVICESTATE$ **" $CONTACTEMAIL$
- }
修改完配置文件commands.cfg后重啟 Nagios，再查看Nagios日志，不再有“Make sure the script or binary you are trying to execute actually exists...”報錯，并且有發(fā)送報警郵件的記錄了：
- [root@Nagios /usr/local/Nagios/var]# tail -f Nagios.log
- [1217170467] SERVICE ALERT: mail-server;check_tcp 995;CRITICAL;SOFT;1;CRITICAL - Socket timeout after 10 seconds
- [1217170534] Auto-save of retention data completed successfully.
- [1217170577] HOST ALERT: mail-server;DOWN;SOFT;1;CRITICAL - Plugin timed out after 10 seconds
- [1217170587] HOST ALERT: mail-server;DOWN;SOFT;2;CRITICAL - Plugin timed out after 10 seconds
- [1217170597] HOST ALERT: mail-server;DOWN;SOFT;3;CRITICAL - Plugin timed out after 10 seconds
- [1217170607] HOST ALERT: mail-server;DOWN;SOFT;4;CRITICAL - Plugin timed out after 10 seconds
- [1217170607] HOST ALERT: mail-server;UP;SOFT;5;PING OK - Packet loss = 0%, RTA = 111.63 ms
- [1217170607] SERVICE ALERT: mail-server;check_tcp 995;CRITICAL;SOFT;2;CRITICAL - Socket timeout after 10 seconds
- [1217170687] SERVICE ALERT: mail-server;check_tcp 995;OK;SOFT;3;TCP OK - 3.137 second response time on port 995
- [1217171057] SERVICE NOTIFICATION: sery;fav-0;check_tcp 443;CRITICAL;service-notify-by-email;CRITICAL - Socket timeout after 10 seconds
收郵件，迫不及待，哈哈，我的163郵箱收到久違的報警信息了。再回去瞧一眼郵件日志/var/log/malllog,也記錄了這個發(fā)送情況。
經驗總結：通過日志記錄，對于我們排查故障確實有著不可估量的好處。在實際的工作中，我們應該隨時檢查系統(tǒng)日志以及應用程序相關的日志，從記錄項中尋找蛛絲馬跡，從而得出解決Nagios問題的方法。
【編輯推薦】
