[[206655]]

前言

在“求佛保佑服務(wù)器不宕機(jī)”、“殺程序員祭天”的環(huán)境下，程序員每天可謂是戰(zhàn)戰(zhàn)兢兢，接到電話和短信都嚇得瑟瑟發(fā)抖，為了我們的安全，及時(shí)發(fā)現(xiàn)服務(wù)器運(yùn)行問(wèn)題已不僅僅是運(yùn)維的問(wèn)題了。今天總結(jié)一下常見(jiàn)的服務(wù)器監(jiān)控指標(biāo)，希望各位開(kāi)發(fā)人員都搞一個(gè)腳本運(yùn)行著以保障自己的生命安全。

文章經(jīng)常被人爬，而且還不注明原地址，我在這里的更新和糾錯(cuò)沒(méi)法同步，這里注明一下原文地址：http://www.cnblogs.com/zhenbianshu/p/7683496.html 

獲取服務(wù)器信息

多臺(tái)機(jī)器同時(shí)需要監(jiān)控時(shí)，每臺(tái)機(jī)器都需要運(yùn)行一個(gè)監(jiān)控程序，我們首先要獲取服務(wù)器的信息以分辨機(jī)器，發(fā)生問(wèn)題時(shí)，也可以評(píng)估問(wèn)題的嚴(yán)重性。

獲取IP

獲取內(nèi)網(wǎng)IP：

通過(guò)ifconfig命令獲取全部的網(wǎng)絡(luò)信息，并排除掉本地host和ipv6信息。

/sbin/ifconfig | grep inet | grep -v '127.0.0.1' | grep -v inet6 | awk '{print $2}' | tr -d "addr:"

注意這里要使用ifconfig的絕對(duì)路徑，因?yàn)槿绻O(jiān)控腳本運(yùn)行在 crontab 的話，執(zhí)行時(shí)是不會(huì)帶有環(huán)境信息的。

獲取外網(wǎng)IP：

外網(wǎng)的IP我們可以通過(guò)請(qǐng)求別的網(wǎng)站來(lái)回顯，有一些網(wǎng)站提供此服務(wù)，如 ipecho.net/plain 或者我自己懶得搭建的網(wǎng)站：alwayscoding.net。

命令如下 curl alwayscoding.net

獲取系統(tǒng)信息

獲取系統(tǒng)信息建議使用 lsb_release -a 方法：

lsb_release -a
LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch
Distributor ID: CentOS
Description:    CentOS release 6.5 (Final)
Release:    6.5
Codename:   Final

信息比較豐富，可以截取字符串中需要的部分；

CPU

CPU 負(fù)載是我們要監(jiān)控的首要指標(biāo)，我們常說(shuō)的系統(tǒng)負(fù)載指的就是它，它是指一段時(shí)間內(nèi)CPU處理進(jìn)程數(shù)占 CPU 能處理***進(jìn)程數(shù)的比例，即一個(gè) CPU 的***負(fù)載是 1.0，這種情況 CPU 正好能將所有進(jìn)程執(zhí)行完，超出這個(gè)限制，系統(tǒng)會(huì)進(jìn)入 over load 超載狀態(tài)，就會(huì)有進(jìn)程需要等待其他進(jìn)程執(zhí)行結(jié)束。我們一般認(rèn)為CPU負(fù)載在 0.6以下是健康狀態(tài)。

在終端上查看系統(tǒng)負(fù)載通常使用 top 命令，但它是交互型的，且數(shù)據(jù)較多較雜，不利于寫監(jiān)控腳本，我們一般使用 uptime 通過(guò)其 average load 字段獲取最近 1分鐘、5分鐘、15分鐘的平均負(fù)載。

uptime
16:03:30 up 130 days, 23:33,  1 user,  load average: 4.62, 4.97, 5.08

此時(shí)系統(tǒng)平均負(fù)載約為 5，不是系統(tǒng)已經(jīng)超載，也沒(méi)有顯示錯(cuò)誤，這是因?yàn)樵诳紤]負(fù)載時(shí)還要考慮 CPU 的核心數(shù)，多核 CPU 同時(shí)能處理的進(jìn)程數(shù)與其核數(shù)成正比，其***負(fù)載不是 1，而是其 CPU 核心數(shù) N。

我們使用 nproc 可以查看系統(tǒng) CPU 核心數(shù)，我正在使用的這臺(tái)機(jī)器核心數(shù)是 16，所以其***負(fù)載是16，平均負(fù)載是 5/16 = 0.32 ， CPU 處于健康狀態(tài)。

內(nèi)存

內(nèi)存是我們要監(jiān)控的另外一項(xiàng)核心指標(biāo)，內(nèi)存占用率太高，無(wú)疑會(huì)導(dǎo)致進(jìn)程無(wú)法正常分配內(nèi)存執(zhí)行。

我們也可以通過(guò) top 命令查看內(nèi)存占用，但監(jiān)控中更常用 free 命令：

free -m
             total       used       free     shared    buffers     cached
Mem:         32108      18262      13846          0        487      11544
-/+ buffers/cache:       6230      25878
Swap:            0          0          0

我們首先來(lái)看 Mem 這一行，共 32108M 內(nèi)存，已使用 18262M，剩余 13846，那么內(nèi)存的使用率就是 18262/32108*100% = 56.88%。那么，后面的shared、buffers、cached 又是什么意思呢？

其實(shí)在 linux 中，內(nèi)存的分配也是懶惰原則，在內(nèi)存分配給一個(gè)進(jìn)程，進(jìn)程執(zhí)行完畢后 linux 是不會(huì)立即清理內(nèi)存的，而是把這一部分內(nèi)存當(dāng)作緩存存儲(chǔ)起來(lái)，如果此進(jìn)程再啟動(dòng)就不必再重新加載了；如果可用內(nèi)存使用完了，則將這一部分緩存清空，重新利用。這樣來(lái)看 used 里的 buffers 和 cached 部分是隨時(shí)可被重用的，不能算作被占用。而 shared 是進(jìn)程共享內(nèi)存部分，會(huì)作為被占用部分，但一般較少使用，與此相關(guān)的內(nèi)容，可以看文末的參考文章。

真實(shí)數(shù)據(jù)是第三行的去除 buffers 和 cache 的部分，即真正的內(nèi)存使用率是 6230/(6230+25878)*100% = 19.4%。

而第四行的 swap 是用來(lái)臨時(shí)存儲(chǔ)內(nèi)存 buffers 和 cache 的，正常情況雖然能加快進(jìn)程的重啟，但物理內(nèi)存較少的情況下，會(huì)引起 swap 的頻繁讀寫，增加服務(wù)器的 IO 壓力，用與不用視情況而定。

網(wǎng)絡(luò)

網(wǎng)絡(luò)在 linux 作為 web 服務(wù)器時(shí)也是一項(xiàng)很重要的指標(biāo)，相關(guān)命令有很多，但各有所長(zhǎng)，我們一般監(jiān)控以下?tīng)顟B(tài)：

使用netstat查看監(jiān)聽(tīng)端口。

netstat -an | grep LISTEN | grep tcp | grep 80 查看是否有進(jìn)程正在監(jiān)控80端口。

使用ping監(jiān)控網(wǎng)絡(luò)連接

使用 ping 命令可以查看網(wǎng)絡(luò)是否連接，使用 -c 選項(xiàng)來(lái)控制請(qǐng)求次數(shù)，使用 -w 選項(xiàng)來(lái)控制超時(shí)時(shí)間（單位：毫秒），***利用 && 符號(hào)的 短路 特性來(lái)控制結(jié)果輸出:

ping -w 100 -c 1 weibo.com &>/dev/null && echo "connected"

硬盤

硬盤不是特別重要的監(jiān)控指標(biāo)，但在硬盤滿的時(shí)候?qū)懳募∫矔?huì)影響進(jìn)程的正常執(zhí)行。

我們使用 df 命令來(lái)查看磁盤的使用狀態(tài)，-h 會(huì)以易讀格式輸出：

df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/vda1        40G  6.0G   32G  16% /
tmpfs            16G     0   16G   0% /dev/shm
/dev/vdb1       296G   16G  265G   6% /data0

我們可以使用 grep 命令找到想要查詢的掛載節(jié)點(diǎn)，再使用 awk 命令獲取結(jié)果字段。

另外使用 du [-h] /path/to/dir [--max-depth=n] 可以查看某目錄的大小，注意使用 --max-depth=n控制遍歷深度。

運(yùn)行/其他

其他的監(jiān)控狀態(tài)主要包括進(jìn)程錯(cuò)誤日志監(jiān)控，請(qǐng)求數(shù)監(jiān)控，進(jìn)程存在狀態(tài)監(jiān)控等，這些可以用到一些基本命令了，如 ps等。

更詳細(xì)的信息就需要使用進(jìn)程日志了，使用 grep 、awk 等命令來(lái)分析日志來(lái)獲取更詳細(xì)的信息。

總結(jié)

***是監(jiān)控結(jié)果的統(tǒng)計(jì)了，可以使用一般的“推”和“拉”方式，建議各機(jī)器把結(jié)果推到一臺(tái)機(jī)器上進(jìn)行統(tǒng)計(jì)和報(bào)警。也可以使用 rsync 方式從各服務(wù)器拉取，報(bào)警方式像企業(yè)微信、短信、郵件等就按要需配置了。

***，系統(tǒng)監(jiān)控是個(gè)重要且需要持續(xù)關(guān)注的事情，祝大家的服務(wù)器永不宕機(jī)。