Linux系統(tǒng)日常管理--監(jiān)控系統(tǒng)的狀態(tài)+排查是否正被攻擊
概述
工作中有時(shí)領(lǐng)導(dǎo)會(huì)說明天有業(yè)務(wù)，讓你去檢查下服務(wù)器，監(jiān)控下系統(tǒng)的狀態(tài)是不是正常的，這時(shí)候我們需要查看哪些信息呢?下面從負(fù)載、進(jìn)程、內(nèi)存、網(wǎng)絡(luò)、網(wǎng)卡等幾個(gè)方面來介紹下怎么去監(jiān)控>
1. w查看當(dāng)前系統(tǒng)的負(fù)載
參數(shù)說明：
第一行從左面開始顯示的信息依次為：時(shí)間，系統(tǒng)運(yùn)行時(shí)間，登錄用戶數(shù)，平均負(fù)載。
第二行開始以及下面所有的行，告訴我們的信息是，當(dāng)前登錄的都有哪些用戶，以及他們是從哪里登錄的等等。其實(shí)，在這些信息當(dāng)中，我們最應(yīng)該關(guān)注的應(yīng)該是第一行中的 ‘load average:’ 后面的三個(gè)數(shù)值。
- 第一個(gè)數(shù)值表示1分鐘內(nèi)系統(tǒng)的平均負(fù)載值;
- 第二個(gè)數(shù)值表示5分鐘內(nèi)系統(tǒng)的平均負(fù)載值;
- 第三個(gè)數(shù)值表示15分鐘系統(tǒng)的平均負(fù)載值。
這個(gè)值的意義是，單位時(shí)間段內(nèi)CPU活動(dòng)進(jìn)程數(shù)。
當(dāng)然這個(gè)值越大就說明你的服務(wù)器壓力越大。一般情況下這個(gè)值只要不超過服務(wù)器的cpu數(shù)量就沒有關(guān)系。
2. vmstat 監(jiān)控系統(tǒng)的狀態(tài)
上面講的 w 查看的是系統(tǒng)整體上的負(fù)載，通過看那個(gè)數(shù)值可以知道當(dāng)前系統(tǒng)有沒有壓力，但是具體是哪里(CPU, 內(nèi)存，磁盤等)有壓力就無法判斷了。通過 vmstat 就可以知道具體是哪里有壓力。vmstat命令打印的結(jié)果共分為6部分：procs, memory, swap, io, system, cpu. 請(qǐng)重點(diǎn)關(guān)注一下r b si so bi bo幾列。
2.1、procs 顯示進(jìn)程相關(guān)信息
- r ：表示運(yùn)行和等待cpu時(shí)間片的進(jìn)程數(shù)，如果長期大于服務(wù)器cpu的個(gè)數(shù)，則說明cpu不夠用了;
- b ：表示等待資源的進(jìn)程數(shù)，比如等待I/O, 內(nèi)存等，這列的值如果長時(shí)間大于1，則需要關(guān)注一下了;
2.2、memory 內(nèi)存相關(guān)信息
- swpd ：表示切換到交換分區(qū)中的內(nèi)存數(shù)量 ;
- free ：當(dāng)前空閑的內(nèi)存數(shù)量;buff ：緩沖大小，(即將寫入磁盤的);
- cache ：緩存大小，(從磁盤中讀取的);
2.3、swap 內(nèi)存交換情況
- si ：由交換區(qū)寫入到內(nèi)存的數(shù)據(jù)量;
- so ：由內(nèi)存寫入到交換區(qū)的數(shù)據(jù)量;
2.4、io 磁盤使用情況
- bi ：從塊設(shè)備讀取數(shù)據(jù)的量(讀磁盤);
- bo： 從塊設(shè)備寫入數(shù)據(jù)的量(寫磁盤);
2.5、system 顯示采集間隔內(nèi)發(fā)生的中斷次數(shù)
- in ：表示在某一時(shí)間間隔中觀測(cè)到的每秒設(shè)備中斷數(shù);
- cs ：表示每秒產(chǎn)生的上下文切換次數(shù);
2.6、CPU 顯示cpu的使用狀態(tài)
- us ：顯示了用戶下所花費(fèi) cpu 時(shí)間的百分比;
- sy ：顯示系統(tǒng)花費(fèi)cpu時(shí)間百分比;id ：表示cpu處于空閑狀態(tài)的時(shí)間百分比;
- wa ：表示I/O等待所占用cpu時(shí)間百分比;
- st ：表示被偷走的cpu所占百分比(一般都為0，不用關(guān)注);
以上所介紹的各個(gè)參數(shù)中，我一般主要關(guān)注r列，b列，和wa列，三列代表的含義在上邊說得已經(jīng)很清楚。IO部分的bi以及bo也是要經(jīng)常參考的對(duì)象。如果磁盤io壓力很大時(shí)，這兩列的數(shù)值會(huì)比較高。另外當(dāng)si, so兩列的數(shù)值比較高，并且在不斷變化時(shí)，說明內(nèi)存不夠了，內(nèi)存中的數(shù)據(jù)頻繁交換到交換分區(qū)中，這往往對(duì)系統(tǒng)性能影響極大。
注意：一般使用 vmstat 查看系統(tǒng)狀態(tài)的時(shí)候，通常都是使用這樣的形式來看的:
# vmstat 1 5
說明：每隔一秒鐘打印一次狀態(tài)，共打印5次。
3. top 顯示進(jìn)程所占系統(tǒng)資源
這個(gè)命令用于動(dòng)態(tài)監(jiān)控進(jìn)程所占系統(tǒng)資源，每隔3秒變一次。這個(gè)命令的特點(diǎn)是把占用系統(tǒng)資源(CPU，內(nèi)存，磁盤IO等)最高的進(jìn)程放到最前面。top命令打印出了很多信息，包括系統(tǒng)負(fù)載(loadaverage)、進(jìn)程數(shù)(Tasks)、cpu使用情況、內(nèi)存使用情況以及交換分區(qū)使用情況。其實(shí)上面這些內(nèi)容可以通過其他命令來查看，所以用top重點(diǎn)查看的還是下面的進(jìn)程使用系統(tǒng)資源詳細(xì)狀況。這部分東西反映的東西還是比較多的。
PS：分享下我經(jīng)常用的一個(gè)命令 top -bn1 它表示非動(dòng)態(tài)打印系統(tǒng)資源使用情況，可以用在shell腳本中:
和 top 命令唯一的區(qū)別就是，它一次性全部把所有信息輸出出來而非動(dòng)態(tài)顯示。
4. sar監(jiān)控系統(tǒng)狀態(tài)
sar 命令很強(qiáng)大，它可以監(jiān)控系統(tǒng)所有資源狀態(tài)，比如平均負(fù)載、網(wǎng)卡流量、磁盤狀態(tài)、內(nèi)存使用等等。它不同于其他系統(tǒng)狀態(tài)監(jiān)控工具的地方在于，它可以打印歷史信息，可以顯示當(dāng)天從零點(diǎn)開始到當(dāng)前時(shí)刻的系統(tǒng)狀態(tài)信息。如果你系統(tǒng)沒有安裝這個(gè)命令，請(qǐng)使用 yum install -y sysstat (或者apt-get install -y sysstat)命令安裝。初次使用sar命令會(huì)報(bào)錯(cuò)，那是因?yàn)閟ar工具還沒有生成相應(yīng)的數(shù)據(jù)庫文件(時(shí)時(shí)監(jiān)控就不會(huì)了，因?yàn)椴挥萌ゲ樵兡莻€(gè)庫文件)。它的數(shù)據(jù)庫文件在 “/var/log/sa/” 目錄下，默認(rèn)保存一個(gè)月。因?yàn)檫@個(gè)命令太過復(fù)雜，所以我只介紹幾個(gè)。
4.1、查看網(wǎng)卡流量 sar -n DEV
參數(shù)說明： IFACE這列表示設(shè)備名稱，rxpck/s 表示每秒進(jìn)入收取的包的數(shù)量，txpck/s 表示每秒發(fā)送出去的包的數(shù)量，rxbyt/s 表示每秒收取的數(shù)據(jù)量(單位Byte)，txbyt/s表示每秒發(fā)送的數(shù)據(jù)量。后面幾列不需要關(guān)注。
如果有一天你所管理的服務(wù)器丟包非常嚴(yán)重，那么你就應(yīng)該看一看這個(gè)網(wǎng)卡流量是否異常了，如果rxpck/s 那一列的數(shù)值大于4000，或者rxbyt/s那列大于5,000,000則很有可能是被攻擊了，正常的服務(wù)器網(wǎng)卡流量不會(huì)高于這么多，除非是你自己在拷貝數(shù)據(jù)。
上面的命令是查看網(wǎng)卡流量歷史的，如何時(shí)時(shí)查看網(wǎng)卡流量呢?
4.2、查看歷史負(fù)載 sar -q
這個(gè)命令可以查看服務(wù)器在過去的某個(gè)時(shí)間的負(fù)載狀況。
大家重點(diǎn)還是用來看是不是丟包和網(wǎng)絡(luò)情況吧!
5. free查看內(nèi)存使用狀況
只需要敲一個(gè) free 然后回車就可以當(dāng)前系統(tǒng)的總內(nèi)存大小以及使用內(nèi)存的情況，還可以加-m 或者-g選項(xiàng)分別以M或G為單位打印內(nèi)存使用狀況:
我一般用free -m方式查看內(nèi)存占用情況(兆為單位)，而系統(tǒng)實(shí)際可用內(nèi)存以及可用內(nèi)存有如下幾個(gè)加減法：
- used=total-free 即 total=used+free
- 實(shí)際內(nèi)存占用：used-buffers-cached 即 total-free-buffers-cached
- 實(shí)際可用內(nèi)存：buffers+cached+free
6. ps 查看系統(tǒng)進(jìn)程
監(jiān)控進(jìn)程的話這里介紹一個(gè)專門顯示系統(tǒng)進(jìn)程的命令，主要看下是不是有異常進(jìn)程:
參數(shù)說明：
PID ：進(jìn)程的id，這個(gè)id很有用，在linux中內(nèi)核管理進(jìn)程就得靠pid來識(shí)別和管理某一個(gè)程，比如我想終止某一個(gè)進(jìn)程，則用 ‘kill 進(jìn)程的pid 有時(shí)并不能殺掉，則需要加一個(gè)-9選項(xiàng)了 kill -9 進(jìn)程pid
STAT ：表示進(jìn)程的狀態(tài)，進(jìn)程狀態(tài)分為以下幾種(不要求記住，但要了解)
D 不能中斷的進(jìn)程(通常為IO)
R 正在運(yùn)行中的進(jìn)程
S 已經(jīng)中斷的進(jìn)程，通常情況下，系統(tǒng)中大部分進(jìn)程都是這個(gè)狀態(tài)
T 已經(jīng)停止或者暫停的進(jìn)程，如果我們正在運(yùn)行一個(gè)命令，比如說 sleep 10 如果我們按一下ctrl -z 讓他暫停，那么我們用ps查看就會(huì)顯示T這個(gè)狀態(tài)
W 這個(gè)好像是說，從內(nèi)核2.6xx 以后，表示為沒有足夠的內(nèi)存頁分配
X 已經(jīng)死掉的進(jìn)程(這個(gè)好像從來不會(huì)出現(xiàn))
Z 僵尸進(jìn)程，殺不掉，打不死的垃圾進(jìn)程，占系統(tǒng)一小點(diǎn)資源，不過沒有關(guān)系。如果太多，就有問題了。一般不會(huì)出現(xiàn)。
< 高優(yōu)先級(jí)進(jìn)程
N 低優(yōu)先級(jí)進(jìn)程
L 在內(nèi)存中被鎖了內(nèi)存分頁
s 主進(jìn)程
l 多線程進(jìn)程
+ 代表在前臺(tái)運(yùn)行的進(jìn)程
這個(gè)ps命令是我在工作中用的非常多的命令之一，必須掌握的。關(guān)于ps命令的使用，小編經(jīng)常會(huì)連同管道符一起使用，用來查看某個(gè)進(jìn)程或者它的數(shù)量。
7. netstat 查看網(wǎng)絡(luò)狀況
netstat命令用來打印網(wǎng)絡(luò)連接狀況、系統(tǒng)所開放端口、路由表等信息。小編最常用的關(guān)于netstat的命令就是這個(gè) netstat -nlp (打印當(dāng)前系統(tǒng)啟動(dòng)哪些端口)以及 netstat -an (打印網(wǎng)絡(luò)連接狀況)這兩個(gè)命令非常有用，請(qǐng)一定要記住。
如果你所管理的服務(wù)器是一臺(tái)提供web服務(wù)(80端口)的服務(wù)器，那么你就可以使用 netstat -an |grep 80 查看當(dāng)前連接web服務(wù)的有哪些IP了,再進(jìn)一步可以netstat -an|grep 80|wc -l來查看大概有多少個(gè)連接。
8、抓包工具tcpdump
有時(shí)候，也許你會(huì)有這樣的需求，想監(jiān)控一下某個(gè)網(wǎng)卡上都有哪些數(shù)據(jù)包，尤其是當(dāng)你初步判定你的服務(wù)器上有流量攻擊。這時(shí)，使用抓包工具來抓一下數(shù)據(jù)包，就可以知道有哪些IP在攻擊你了。
如果沒有tcpdump 這個(gè)命令，需要用 yum install -y tcpdump 命令去安裝一下。上例中第三列和第四列顯示的信息為哪一個(gè)IP+port在連接哪一個(gè)IP+port，后面的信息是該數(shù)據(jù)包的相關(guān)信息，如果不懂也沒有關(guān)系，畢竟我們不是專門搞網(wǎng)絡(luò)的，而這里需要關(guān)注的只是第三列以及第四列。-i 選項(xiàng)后面跟設(shè)備名稱，如果你想抓eth1網(wǎng)卡的包，后面則要跟eth1.至于-nn選項(xiàng)的作用是讓第三列和第四列顯示成IP+端口號(hào)的形式，如果不加-nn則顯示的是主機(jī)名+服務(wù)名稱。
