功能問(wèn)題，通過(guò)日志，單步調(diào)試相對(duì)比較好定位。

性能問(wèn)題，例如線上服務(wù)器CPU100%，如何找到相關(guān)服務(wù)，如何定位問(wèn)題代碼，更考驗(yàn)技術(shù)人的功底。

58到家架構(gòu)部，運(yùn)維部，58速運(yùn)技術(shù)部聯(lián)合進(jìn)行了一次線上服務(wù)CPU問(wèn)題排查實(shí)戰(zhàn)演練，同學(xué)們反饋有收獲，特將實(shí)戰(zhàn)演練的試題和答案公布出來(lái)，希望對(duì)大家也有幫助。

題目

某服務(wù)器上部署了若干tomcat實(shí)例，即若干垂直切分的Java站點(diǎn)服務(wù)，以及若干Java微服務(wù)，突然收到運(yùn)維的CPU異常告警。

問(wèn)：如何定位是哪個(gè)服務(wù)進(jìn)程導(dǎo)致CPU過(guò)載，哪個(gè)線程導(dǎo)致CPU過(guò)載，哪段代碼導(dǎo)致CPU過(guò)載?

步驟一、找到最耗CPU的進(jìn)程

工具：top

方法：

• 執(zhí)行top -c ，顯示進(jìn)程運(yùn)行信息列表
• 鍵入P (大寫(xiě)p)，進(jìn)程按照CPU使用率排序

圖示：

如上圖，最耗CPU的進(jìn)程PID為10765

步驟二：找到最耗CPU的線程

工具：top

方法：

• top -Hp 10765 ，顯示一個(gè)進(jìn)程的線程運(yùn)行信息列表
• 鍵入P (大寫(xiě)p)，線程按照CPU使用率排序

圖示：

如上圖，進(jìn)程10765內(nèi)，最耗CPU的線程PID為10804

步驟三：將線程PID轉(zhuǎn)化為16進(jìn)制

工具：printf

方法：

printf “%x\n” 10804 

圖示：

如上圖，10804對(duì)應(yīng)的16進(jìn)制是0x2a34，當(dāng)然，這一步可以用計(jì)算器。

之所以要轉(zhuǎn)化為16進(jìn)制，是因?yàn)槎褩＠?，線程id是用16進(jìn)制表示的。

步驟四：查看堆棧，找到線程在干嘛

工具：pstack/jstack/grep

方法：

jstack 10765 | grep ‘0x2a34’ -C5 --color 

打印進(jìn)程堆棧

通過(guò)線程id，過(guò)濾得到線程堆棧

圖示：

如上圖，找到了耗CPU高的線程對(duì)應(yīng)的線程名稱“AsyncLogger-1”，以及看到了該線程正在執(zhí)行代碼的堆棧。

希望對(duì)經(jīng)常進(jìn)行線上CPU問(wèn)題排查的同學(xué)有幫助，如果有更好的實(shí)踐，也歡迎分享。

【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件，轉(zhuǎn)載請(qǐng)聯(lián)系原作者】

戳這里，看該作者更多好文