線上環(huán)境 CPU 使用率飆升如何快速排查?
相比于一大堆復(fù)雜的 JVM 調(diào)優(yōu)過程,本文介紹的排查步驟還是挺簡單的,可以幫助各位小伙伴排查一些簡單問題,面試官問起來也好過啥也不會(這個 CPU 打滿如何排查我被問過好多次......)。
模擬高 CPU 場景
這里就不麻煩地建 Web 項目了,用一個最原始的 Java 項目來模擬高 CPU 場景。打開 IDEA,創(chuàng)建一個 Java 項目,里面寫一個死循環(huán),循環(huán)里面不斷地創(chuàng)建對象:
然后打成 jar 包,這個沒啥難度,懶得敲命令的話直接 IDEA 中點幾下就可以,F(xiàn)ile -> Project Settings -> Artifacts:
執(zhí)行成功后可以在 /out/artifacts/highCpuTest.jar 文件夾下找到 jar 包:
將這個 jar 包上傳到服務(wù)器中并運行(我是上傳到 /home/test 目錄下了)。為了防止把服務(wù)器搞崩,我選擇利用 Docker 運行,并限制了最大內(nèi)存 200M。具體步驟如下:
這塊不是重點哈,可以直接忽略
首先拉取 JDK 鏡像并創(chuàng)建一個名為 high-cpu-test 的容器:
然后將 /home/test/hightCpuTest.jar 復(fù)制到 high-cpu-test 容器中的 home 目錄下:
這樣就可以在 Docker 中執(zhí)行這個 jar 包了:
排查步驟
你可以選擇另開一個終端然后進(jìn)入 high-cpu-test 容器內(nèi)部執(zhí)行以下步驟
1. 找到占用 CPU 最高的進(jìn)程
首先第一步,利用 top 命令監(jiān)控 CPU 運行狀態(tài),顯示進(jìn)程運行信息,看看到底是哪些進(jìn)程占用了大量 CPU:
可以鍵入大寫的 P,使得進(jìn)程按照 CPU 使用率排序:
可以看到目前占用 CPU 最多的進(jìn)程的 PID 是 85,遙遙領(lǐng)先于其他進(jìn)程。
2. 找到占用 CPU 最高的線程
雖然找到了占用 CPU 最高的進(jìn)程 PID 是 85,但并不能直接就開始定位代碼了,因為一個進(jìn)程中有很多線程,不可能所有線程都占用了大量 CPU,所以我們現(xiàn)在要做的就是找出 PID 85 這個進(jìn)程中占用 CPU 最高的線程。
執(zhí)行 top -Hp pid 命令,pid 就是上面我們排查出來的進(jìn)程 PID:
然后同樣的,鍵入大寫 P,使得線程按照 CPU 使用率排序:
可以看到目前占用 CPU 最多的進(jìn)程的 PID 是 95,遙遙領(lǐng)先于其他線程。
3. 打印線程堆棧信息
接下來我們要做的就是打印出 PID 95 這個線程的堆棧信息,然后根據(jù)堆棧信息定位代碼。
首先,需要通過 printf 命令將 PID 95 轉(zhuǎn)化成 16 進(jìn)制,因為堆棧里的線程 PID 是用 16 進(jìn)制表示的
得到 16 進(jìn)制的線程 PID 為 0x5f?。這樣,就可以通過 jstack 命令查看堆棧信息了:
-C<顯示行數(shù)> : 除了顯示符合樣式的那一行之外,并顯示該行之前后的內(nèi)容
執(zhí)行結(jié)果如下圖所示:
如上圖打印出了線程的堆棧信息,可以看到,定位到了 highCpuThread 線程中的 lambda 代碼,具體在第 15 行。Over~