又一起.NET程序掛死, 用 Windbg 抽絲剝繭式的真實(shí)案例分析
本文轉(zhuǎn)載自微信公眾號(hào)「一線碼農(nóng)聊技術(shù)」,作者一線碼農(nóng)聊技術(shù)。轉(zhuǎn)載本文請(qǐng)聯(lián)系一線碼農(nóng)聊技術(shù)公眾號(hào)。
一:背景
1. 講故事
前天有位粉絲朋友在后臺(tái)留言讓我?guī)兔纯此?Winform程序 UI無(wú)響應(yīng) + 410線程 到底是啥情況,如下圖:
說(shuō)實(shí)話,能看到這些真實(shí)案例我是特別喜歡的 ,就像醫(yī)生看病,光停留在理論和那些 demo 上,那是沒(méi)有前途的,如果有朋友在這塊搞不定的話,我可以免費(fèi)幫你解讀 dump,再附送一篇博客詳述。
好了,言歸正傳,既然粉絲朋友已經(jīng)提到了高達(dá) 410 線程,我本能反應(yīng)就是要么高負(fù)載,要么野線程,后者大多是無(wú)數(shù)新出現(xiàn)的線程卡在某個(gè)鎖上。
WinForm 出現(xiàn)高負(fù)載的情況,我至今還是沒(méi)遇到??????,如果說(shuō)卡在某個(gè)鎖上,基本都屬于這類,有了這個(gè)先入為主的思路,接下來(lái)就可以祭出 windbg 一探究竟了。
二:windbg 分析
1. 查找 CLR 同步塊表
十個(gè)人用鎖,八個(gè)人會(huì)用 lock, 所以先用 !syncblk 看看程序的鎖情況。
- 0:000> !syncblk
- Index SyncBlock MonitorHeld Recursion Owning Thread Info SyncBlock Owner
- 76 070e5fa4 67 1 17367570 15e8 218 03e6dd68 System.IO.Ports.SerialStream
- -----------------------------
- Total 789
- CCW 39
- RCW 2
- ComClassFactory 1
- Free 535
我去,從卦象上來(lái)看情況很不好,我來(lái)簡(jiǎn)單分析下。
- MonitorHeld = 67
這個(gè) 67 表示當(dāng)前有 1 個(gè)線程持有鎖,有 33 個(gè)線程在等待鎖,肯定有朋友想問(wèn)怎么算的?很簡(jiǎn)單:當(dāng)一個(gè)線程持有了鎖的時(shí)候 MonitorHeld+1 ,當(dāng)一個(gè)線程在等待鎖的時(shí)候 MonitorHeld+2 ,所以表達(dá)式就是: 67= [1 + 66=(33*2)]。
- Owning Thread Info = 17367570 15e8 218
上面三個(gè)信息都表示當(dāng)前持有線程,可以看最后的 218,它是 windbg 映射出來(lái)的線程ID,如果不信的話,可以用 !t 來(lái)一探究竟。
- 0:000> !t
- ThreadCount: 315
- UnstartedThread: 0
- BackgroundThread: 302
- PendingThread: 0
- DeadThread: 0
- Hosted Runtime: no
- Lock
- ID OSID ThreadOBJ State GC Mode GC Alloc Context Domain Count Apt Exception
- 0 1 c64 00cc3de0 24220 Preemptive 042E1884:00000000 00cbc0a0 0 STA
- 214 240 1398 16702b90 1029220 Preemptive 00000000:00000000 00cbc0a0 0 MTA (Threadpool Worker)
- 215 323 b5c 12ab7260 1029220 Preemptive 00000000:00000000 00cbc0a0 0 MTA (Threadpool Worker)
- 216 290 1858 16c21c98 1029220 Preemptive 00000000:00000000 00cbc0a0 0 MTA (Threadpool Worker)
- 218 117 15e8 17367570 1029220 Preemptive 00000000:00000000 00cbc0a0 1 MTA (Threadpool Worker)
- ...
對(duì),就是 218 這個(gè)罪魁禍?zhǔn)自诔钟辛随i,導(dǎo)致 33 個(gè)線程在無(wú)辜的等待它。。。
- SyncBlock Owner = System.IO.Ports.SerialStream
也許你會(huì)好奇,到底 lock 持有的是哪一個(gè)對(duì)象呢?從 SyncBlock Owner 上看就是 SerialStream, ????,原來(lái)老兄在玩串口編碼,我先膜拜一下。
2. 查看線程棧
知道是 218 惹的禍,接下來(lái)可以看看它的線程棧,到底都在干什么?
關(guān)于上面的調(diào)用棧,可能有些朋友看不明白,我畫(huà)了一張簡(jiǎn)圖:
從圖中看,來(lái)自于 ThreadPool 的線程在用戶自定義的 DataReceived 方法上卡住了,為了方便我就用 !DumpIL 看看這個(gè)方法的 IL 代碼。
- 0:218> !name2ee *!xxx.TYAComYB.DataReceived
- Module: 03b10cc4
- Assembly: YKit.dll
- Token: 06000108
- MethodDesc: 08533584
- Name: xxx.TYAComYB.DataReceived(System.Object, System.IO.Ports.SerialDataReceivedEventArgs)
- JITTED Code Address: 08644dc0
- 0:218> !dumpil 08533584
- ilAddr = 05dc2dd8
- IL_0000: nop
- IL_0001: nop
- IL_0002: nop
- IL_0003: ret
這代碼居然藏了鉤子,用 !dumpil 居然看不到代碼,難怪在線程棧上看到了類似混淆的方法:xxx.TYAComYB.EYLlXL2bKH(),不過(guò)看反匯編是沒(méi)有問(wèn)題的,簡(jiǎn)化如下:
- 0:218> !U /d 08644edf
- 08644ddd e86edaffff call 08642850 (xxxx.com.ComPort.get_isOpen(), mdToken: 060004b6)
- 08644df4 e807deffff call 08642c00 (xxxx.YBComParam.get_DataPacketLen(), mdToken: 0600010c)
- 08644dfb b92a3e136e mov ecx,offset mscorlib_ni!System.GC.ReRegisterForFinalize(System.Object) <PERF> (mscorlib_ni+0x3e2a) (6e133e2a)
- 08644e00 e80fd460f8 call 00c52214 (JitHelp: CORINFO_HELP_NEWARR_1_VC)
- 08644e15 e8e6ddffff call 08642c00 (xxx.YBComParam.get_DataPacketLen(), mdToken: 0600010c)
- 08644e22 e8edac4d68 call System_ni+0x13fb14 (70b1fb14) (System.IO.Ports.SerialPort.Read(Byte[], Int32, Int32), mdToken: 06004173)
- 08644e2e ff153836b103 call dword ptr ds:[3B13638h] (xxxx.LogKit.WriteLine(System.Exception), mdToken: 06000183)
- 08644e59 e8a2ddffff call 08642c00 (xxxx.YBComParam.get_DataPacketLen(), mdToken: 0600010c)
- 08644e64 ff1580355308 call dword ptr ds:[8533580h] (xxxx.TYAComYB.EYLlXL2bKH(), mdToken: 06000107)
- 08644e9b ff15a4265308 call dword ptr ds:[85326A4h] (xxxx.YBComParam.get_DataPacketStart(), mdToken: 0600010e)
- 08644ea8 e837e34e66 call mscorlib_ni!System.Convert.ToByte(System.String, Int32) (6eb331e4)
- 08644ed9 ff1580355308 call dword ptr ds:[8533580h] (xxxx.TYAComYB.EYLlXL2bKH(), mdToken: 06000107)
反正做的事情挺多,我就懶得分析了。
接下來(lái)看看那 33 個(gè)線程怎么就卡在 SerialStream 上呢?可以用 ~*e !clrstack 掃一下所有的 threads,抽幾個(gè)看看。
- 0:218> ~*e !clrstack
- OS Thread Id: 0xc64 (0)
- Child SP IP Call Site
- OS Thread Id: 0x13d8 (330)
- Child SP IP Call Site
- 1b1aec90 77c8016d [GCFrame: 1b1aec90]
- 1b1aee30 77c8016d [GCFrame: 1b1aee30]
- 1b1aede0 77c8016d [HelperMethodFrame: 1b1aede0] System.Threading.Monitor.ReliableEnter(System.Object, Boolean ByRef)
- 1b1aee70 710d6b54 System.IO.Ports.SerialPort.CatchReceivedEvents(System.Object, System.IO.Ports.SerialDataReceivedEventArgs)
- 1b1aeeac 710d9520 System.IO.Ports.SerialStream+EventLoopRunner.CallReceiveEvents(System.Object)
- 1b1aeec0 6e45e356 System.Threading.QueueUserWorkItemCallback.WaitCallback_Context(System.Object)
- 1b1aeec8 6e43da07 System.Threading.ExecutionContext.RunInternal(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)
- 1b1aef34 6e43d956 System.Threading.ExecutionContext.Run(System.Threading.ExecutionContext, System.Threading.ContextCallback, System.Object, Boolean)
- 1b1aef48 6e45f120 System.Threading.QueueUserWorkItemCallback.System.Threading.IThreadPoolWorkItem.ExecuteWorkItem()
- 1b1aef5c 6e45e929 System.Threading.ThreadPoolWorkQueue.Dispatch()
- 1b1aefac 6e45e7d5 System.Threading._ThreadPoolWaitCallback.PerformWaitCallback()
- 1b1af1d4 71382552 [DebuggerU2MCatchHandlerFrame: 1b1af1d4]
我去,居然都卡在 System.IO.Ports.SerialPort.CatchReceivedEvents 這里了,而且還是 framework 提供的,這就很困惑了。
3. 分析 SerialPort 源碼
要想看 SerialPort 類的源碼,可以用 ILSpy,如下圖所示:
看到這里,再結(jié)合我剛才畫(huà)的圖,思路是不是就清晰多了,究其原因就是 dataReceived(this, e); 觸發(fā)的用戶回調(diào)函數(shù)遲遲得不到結(jié)束,導(dǎo)致底層大量的線程在 lock 處等待。
三:總結(jié)
為了理解為啥底層會(huì)創(chuàng)建那么多線程,我特意還查了下串口類 SerialPort,說(shuō)串口發(fā)送方送過(guò)來(lái)的數(shù)據(jù),接收方可以主動(dòng)接收,可以被動(dòng)接收,被動(dòng)就是這種 事件模式,接收方收到發(fā)送方送來(lái)的數(shù)據(jù)時(shí),操作系統(tǒng)會(huì)讓 CLR 通過(guò) Thread 來(lái)處理這段回調(diào)事件,所以從卦象上看就是典型的接收方處理能力不足造成的大量 lock 等待。
大概提兩點(diǎn)優(yōu)化措施:
- 提升 xxx.TYAComYB.DataReceived 方法中業(yè)務(wù)邏輯的處理能力。
- 增加蓄水池,讓底層的 lock (serialStream) 盡快得到釋放。