【51CTO.com獨(dú)家特稿】局域網(wǎng)運(yùn)行時(shí)間一長，出現(xiàn)網(wǎng)絡(luò)故障的機(jī)率就越大，這其中有網(wǎng)絡(luò)設(shè)備運(yùn)行性能下降的原因，也有網(wǎng)絡(luò)病毒襲擊的原因，但更多的故障卻是由用戶的管理、維護(hù)操作不當(dāng)引起的；這不，筆者曾經(jīng)遭遇一則由于網(wǎng)絡(luò)線纜連接不當(dāng)，引發(fā)局域網(wǎng)廣播風(fēng)暴現(xiàn)象，造成網(wǎng)絡(luò)訪問頻繁出錯(cuò)故障，現(xiàn)在就將該故障的排除過程還原出來，與大家一起分享、交流！

網(wǎng)絡(luò)訪問頻繁出錯(cuò)   

這幾天，筆者辦公室電話不停響起，上網(wǎng)用戶一會(huì)兒反映說他們上網(wǎng)的速度象蝸牛一樣，一會(huì)兒反映說網(wǎng)絡(luò)連接時(shí)通時(shí)斷，更為嚴(yán)重的是有時(shí)整個(gè)虛擬工作子網(wǎng)都不能上網(wǎng)；對(duì)上報(bào)的故障點(diǎn)進(jìn)行大概分析，筆者發(fā)現(xiàn)這些故障點(diǎn)很分散，分布在多個(gè)不同的樓層和不同的虛擬工作子網(wǎng)中。對(duì)故障工作子網(wǎng)中的交換機(jī)進(jìn)行設(shè)備替換測試后，網(wǎng)絡(luò)訪問仍然還是頻繁出錯(cuò)；任意選擇一臺(tái)故障客戶端系統(tǒng)進(jìn)行連通性測試，筆者看到對(duì)應(yīng)虛擬工作子網(wǎng)中的網(wǎng)關(guān)設(shè)備地址能夠Ping通，在相同的工作子網(wǎng)中進(jìn)行共享訪問時(shí)也能正常，對(duì)局域網(wǎng)中的核心交換機(jī)IP地址進(jìn)行連通性測試時(shí)，往往會(huì)發(fā)生延遲時(shí)間長、數(shù)據(jù)丟包嚴(yán)重，甚至無法ping通的現(xiàn)象。通過交換機(jī)自帶的網(wǎng)絡(luò)管理工具對(duì)相關(guān)交換機(jī)設(shè)備進(jìn)行檢查、測試時(shí)，也沒有找到明顯的報(bào)錯(cuò)。

網(wǎng)絡(luò)訪問環(huán)境說明   

筆者所在單位局域網(wǎng)組網(wǎng)規(guī)模較大，整個(gè)大樓采用星型拓?fù)渚W(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行組網(wǎng)，網(wǎng)絡(luò)中的核心匯聚交換機(jī)為H3C S8500路由交換機(jī)，該交換機(jī)放在信息中心機(jī)房，接入交換機(jī)統(tǒng)一為3組堆疊的H3C S3050樓層交換機(jī)，這些交換機(jī)分別位于各個(gè)樓層的弱電配電間，每個(gè)弱電配電間幾乎都安裝有48口交換機(jī)兩到四臺(tái)，大樓中的各個(gè)部門客戶端系統(tǒng)利用級(jí)連方式或者直接接入方式，并通過各自樓層交換機(jī)接入大樓局域網(wǎng)網(wǎng)絡(luò)。

信息中心機(jī)房中的服務(wù)器有若干臺(tái)，能夠同時(shí)對(duì)客戶端系統(tǒng)提供FTP服務(wù)、Web服務(wù)以及文件服務(wù)等。為了控制網(wǎng)絡(luò)運(yùn)行安全，以及方便管理、維護(hù)，整個(gè)大樓網(wǎng)絡(luò)分為20個(gè)VLAN，同時(shí)依照部門不同分別為不同工作子網(wǎng)定義了IP地址，所有網(wǎng)關(guān)都建在H3C S8500路由交換機(jī)上；為了保證數(shù)據(jù)傳輸、交換速度，客戶端設(shè)備到樓層交換機(jī)統(tǒng)一采用超五類雙絞線線纜，樓層交換機(jī)到核心交換機(jī)統(tǒng)一采用千兆多模光纖線纜。

逐一排查故障因素   

由于網(wǎng)絡(luò)故障點(diǎn)比較分散，局域網(wǎng)中的很多客戶端系統(tǒng)同時(shí)出現(xiàn)上網(wǎng)時(shí)斷時(shí)續(xù)、網(wǎng)絡(luò)傳輸延遲現(xiàn)象，為此筆者估計(jì)大樓局域網(wǎng)的核心交換機(jī)工作狀態(tài)不正常，于是嘗試著重新啟動(dòng)核心交換機(jī)系統(tǒng)，待重啟成功后，筆者發(fā)現(xiàn)故障現(xiàn)象明顯有了好轉(zhuǎn)，可是沒有多長時(shí)間，又出現(xiàn)了相同的故障現(xiàn)象，看來問題非常嚴(yán)重。   

任意選擇一臺(tái)客戶端系統(tǒng)，打開該系統(tǒng)的運(yùn)行對(duì)話框，在其中執(zhí)行ping命令，來測試對(duì)應(yīng)虛擬工作子網(wǎng)的網(wǎng)關(guān)地址，結(jié)果發(fā)現(xiàn)數(shù)據(jù)丟包現(xiàn)象比較嚴(yán)重，達(dá)到了85%左右，同時(shí)延遲時(shí)間大約在500ms，這顯然是不正常的；再從核心交換機(jī)后臺(tái)系統(tǒng)ping外網(wǎng)網(wǎng)關(guān)地址，發(fā)現(xiàn)數(shù)據(jù)丟報(bào)率低于2%，同時(shí)延遲時(shí)間也不是很大，這說明問題可能出在客戶端系統(tǒng)到核心交換機(jī)之間。   

登錄進(jìn)入核心交換機(jī)后臺(tái)系統(tǒng)，使用“display dia”命令，查看各個(gè)光纖交換端口的狀態(tài)信息，筆者發(fā)現(xiàn)一些交換端口的輸入、輸出數(shù)據(jù)流量明顯不正常，進(jìn)入異常流量端口視圖模式狀態(tài)，執(zhí)行字符串命令“display interface g1/2/1”，查看該端口的具體狀態(tài)信息時(shí)，筆者看到該端口此時(shí)處于“down”狀態(tài)，這也難怪連接到該光口下面的虛擬工作子網(wǎng)都不能正常訪問網(wǎng)絡(luò)了，進(jìn)一步查看該端口其他配置信息時(shí)，筆者發(fā)現(xiàn)廣播數(shù)據(jù)包的大小也不正常；難道是目標(biāo)交換端口下面的虛擬工作子網(wǎng)中存在網(wǎng)絡(luò)病毒？

為了避免網(wǎng)絡(luò)病毒繼續(xù)威脅整個(gè)大樓網(wǎng)絡(luò)的穩(wěn)定運(yùn)行，筆者在核心交換機(jī)后臺(tái)系統(tǒng)，使用字符串命令“interface g1/2/1”進(jìn)入指定光口視圖模式狀態(tài)，并在該模式狀態(tài)下執(zhí)行字符串命令“shutdown”，關(guān)閉該光口的運(yùn)行狀態(tài)，那么連接到該光口下的虛擬工作子網(wǎng)中的網(wǎng)絡(luò)病毒就不會(huì)影響核心交換機(jī)的工作狀態(tài)了；原以為上述處理操作，能夠解決網(wǎng)絡(luò)訪問頻繁出錯(cuò)故障，可是再次重新啟動(dòng)核心交換機(jī)后臺(tái)系統(tǒng)后，筆者發(fā)現(xiàn)相同的故障現(xiàn)象仍然存在，這就意味著上述網(wǎng)絡(luò)故障與網(wǎng)絡(luò)病毒沒有關(guān)系。   

在排除網(wǎng)絡(luò)病毒因素后，筆者開始懷疑連接到g1/2/1光纖端口下的樓層交換機(jī)到核心交換機(jī)之間的線路連通性存在問題，于是使用專門的光功率計(jì)來測試光纖線纜的信號(hào)收發(fā)情況，發(fā)現(xiàn)測試結(jié)果一切正常，這說明問題與光纖線路連通性沒有關(guān)系。由于筆者無法遠(yuǎn)程登錄故障樓層交換機(jī)，只好趕到該交換機(jī)現(xiàn)場，通過Console控制端口登錄進(jìn)入故障交換機(jī)后臺(tái)系統(tǒng)，依次執(zhí)行“system”、“display cpu”命令，發(fā)現(xiàn)該設(shè)備后臺(tái)系統(tǒng)的CPU資源消耗率幾乎達(dá)到100%，很明顯該樓層交換機(jī)下面的虛擬工作子網(wǎng)中存在大量廣播風(fēng)暴，于是斷開該樓層交換機(jī)與核心交換機(jī)的網(wǎng)絡(luò)連接。   

繼續(xù)在核心交換機(jī)后臺(tái)系統(tǒng)進(jìn)行測試，發(fā)現(xiàn)它的CPU消耗率仍然很高，于是筆者懷疑核心交換機(jī)下面仍然有異常流量端口，經(jīng)過仔細(xì)查詢，終于找到g1/2/9光纖端口流量也不正常，于是再次進(jìn)入g1/2/9光纖端口視圖配置模式，執(zhí)行“shutdown”命令，將g1/2/9光纖端口的運(yùn)行狀態(tài)關(guān)閉，此時(shí)筆者發(fā)現(xiàn)核心交換機(jī)的CPU消耗率終于達(dá)到了正常的25%左右，與此同時(shí)，局域網(wǎng)中的其他故障點(diǎn)立即也能恢復(fù)正常的上網(wǎng)狀態(tài)了。

分析故障產(chǎn)生原因  

順著g1/2/1光纖端口、g1/2/9光纖端口的連接線路，筆者找到了兩臺(tái)數(shù)據(jù)流量異常的樓層交換機(jī)，通過Console控制端口登錄進(jìn)入故障交換機(jī)后臺(tái)系統(tǒng)，同時(shí)使用ping命令依次測試每一個(gè)以太電口的連通狀態(tài)，結(jié)果發(fā)現(xiàn)“e0/12”、“e0/21”這兩個(gè)以太電口無法被正常ping通。于是使用“display interface e0/12”、“display interface e0/21”命令，分別查看這兩個(gè)端口的數(shù)據(jù)流量狀態(tài)信息時(shí)，發(fā)現(xiàn)它們的廣播包數(shù)據(jù)流量都比較多。經(jīng)過更進(jìn)一步的排查，筆者發(fā)現(xiàn)“e0/12”、“e0/21”這兩個(gè)以太電口下面分別連接了一個(gè)集線器，更為巧合的是，這兩個(gè)集線器全部集中放置在同一個(gè)辦公室中；

經(jīng)過了解，筆者發(fā)現(xiàn)這家單位的客戶端系統(tǒng)平時(shí)需要通過不同的集線器，分別連接到兩個(gè)不同的虛擬工作子網(wǎng)中進(jìn)行工作，最近這個(gè)辦公室由于安裝窗簾，網(wǎng)絡(luò)連接線路全部被臨時(shí)拔了下來，窗簾安裝好后，由于工作人員不懂線路連接，隨手將備用的網(wǎng)絡(luò)線纜將兩個(gè)分別獨(dú)立的兩個(gè)集線器也連在了一起，這么一來這兩個(gè)集線器、兩個(gè)樓層交換機(jī)以及核心交換機(jī)之間，無形之中就形成了網(wǎng)絡(luò)環(huán)路，最終造成整個(gè)局域網(wǎng)頻繁出現(xiàn)網(wǎng)絡(luò)訪問錯(cuò)誤。   

找到故障原因后，筆者斷開了兩臺(tái)集線器之間的網(wǎng)絡(luò)連接線路，同時(shí)在核心交換機(jī)后臺(tái)系統(tǒng)執(zhí)行“undo shutdown”命令，將g1/2/1光纖端口、g1/2/9光纖端口的運(yùn)行啟用狀態(tài)恢復(fù)正常，這時(shí)整個(gè)局域網(wǎng)仍然能夠正常、穩(wěn)定工作，至此網(wǎng)絡(luò)訪問頻繁出錯(cuò)的故障現(xiàn)象就被徹底地解決了。

故障排查經(jīng)驗(yàn)總結(jié)   

平時(shí)我們?cè)谂挪榫钟蚓W(wǎng)故障現(xiàn)象時(shí)，往往先是觀察相關(guān)網(wǎng)絡(luò)設(shè)備的信號(hào)燈狀態(tài)是否正常，一旦看到不正常的話，最常見的解決辦法就是簡單地重新啟動(dòng)一下網(wǎng)絡(luò)設(shè)備后臺(tái)系統(tǒng)，不管是交換機(jī)設(shè)備還是路由器設(shè)備，統(tǒng)統(tǒng)重新啟動(dòng)，并且很多時(shí)候都會(huì)屢試不爽，可是這次這種辦法沒有能夠順利地解決問題。經(jīng)過仔細(xì)排查，結(jié)果發(fā)現(xiàn)問題竟然是由于上網(wǎng)用戶隨意連接網(wǎng)絡(luò)線路造成的；

很明顯，為了杜絕相同故障現(xiàn)象的再次發(fā)生，網(wǎng)絡(luò)管理員應(yīng)該加強(qiáng)對(duì)局域網(wǎng)的管理力度，禁止上網(wǎng)用戶隨意下掛交換機(jī)或集線器，如果確實(shí)由于工作需要必須連接交換機(jī)的，應(yīng)該及時(shí)向網(wǎng)絡(luò)管理部門備案。該故障的排查過程，也給了我們一個(gè)很好的啟示，在遇到網(wǎng)絡(luò)故障時(shí)，應(yīng)該首先了解故障發(fā)生之前的網(wǎng)絡(luò)變化情況，同時(shí)及時(shí)建立完善的網(wǎng)絡(luò)文件資料。

【51CTO.COM 獨(dú)家特稿，轉(zhuǎn)載請(qǐng)注明出處及作者！】