淺析核心層交換機(jī)常見故障排查
核心層交換機(jī)常見故障背景
多個(gè)分支機(jī)構(gòu)的局域網(wǎng)是通過租用當(dāng)?shù)剡\(yùn)營商的10M光纖通道直接訪問本地總部企業(yè)網(wǎng)，所有本地分支機(jī)構(gòu)的網(wǎng)絡(luò)匯聚到核心層交換機(jī)，核心層交換機(jī)直接連到路由器。其他的核心層交換機(jī)負(fù)責(zé)各個(gè)網(wǎng)絡(luò)業(yè)務(wù)的接入，這樣網(wǎng)絡(luò)結(jié)構(gòu)比較簡單明了，實(shí)際運(yùn)行的狀態(tài)也是比較穩(wěn)定的。
前幾天，網(wǎng)絡(luò)突然出現(xiàn)大面積癱瘓故障，并導(dǎo)致企業(yè)業(yè)務(wù)無法正常運(yùn)轉(zhuǎn)。根據(jù)網(wǎng)絡(luò)拓?fù)浼俺霈F(xiàn)的故障現(xiàn)象，可以迅速地定位到核心層交換機(jī)設(shè)備出現(xiàn)了問題。到了現(xiàn)場的后，發(fā)現(xiàn)的主控板出現(xiàn)了告警，設(shè)備復(fù)位，告警并沒有消除，可以判斷為主控板損壞，更換新的主控板，設(shè)備運(yùn)行正常，所有的二層透傳業(yè)務(wù)恢復(fù)，但是所有IP業(yè)務(wù)沒有恢復(fù)。
核心層交換機(jī)故障排查分析
排查一、物理故障還是邏輯故障?
故障的根源是核心層交換機(jī)的主控板出現(xiàn)了問題，這樣網(wǎng)絡(luò)故障的性質(zhì)為物理故障。難道新更換的主控板有問題?但是設(shè)備運(yùn)行正常，又沒有告警信息。如：show card ，show cpu等，從運(yùn)行狀態(tài)上看，硬件沒有問題。難道更換設(shè)備后，數(shù)據(jù)丟失了嗎?察看相關(guān)的數(shù)據(jù)，發(fā)現(xiàn)并沒有丟失，但是IP業(yè)務(wù)還是不能夠恢復(fù)?可是部分透傳業(yè)務(wù)又沒有問題。究竟那里出現(xiàn)了問題呢?
排查二、DNS服務(wù)出了問題?
經(jīng)過檢查，筆者發(fā)現(xiàn)，雖然業(yè)務(wù)不能使用，但所有的路由信息都是正常的，PING所有的網(wǎng)元信息也都是正常的。難道是DNS服務(wù)出了問題?所謂DNS，即域名服務(wù)器，它把域名轉(zhuǎn)換為計(jì)算機(jī)能夠識別的IP地址。如網(wǎng)站對應(yīng)的IP是219.218.100.100。如果DNS服務(wù)器出錯(cuò)，則無法進(jìn)行域名解釋，自然也就不能上網(wǎng)了。有時(shí)候則是路由器的問題，無法與ISP的DNS服務(wù)連接，這時(shí)可把路由器關(guān)閉一會再開或是重新設(shè)置路由器即可。還有可能是網(wǎng)卡無法自動(dòng)搜尋到DNS的服務(wù)器地址，可以嘗試用指定的DNS服務(wù)器地址。進(jìn)入“控制面板→網(wǎng)絡(luò)和撥號連接”，雙擊“本地連接→屬性→TCP/IP協(xié)議”，在彈出的對話框中選擇“使用下面的DNS服務(wù)器地址”，然后填寫相應(yīng)的DNS服務(wù)器IP地址。經(jīng)過核實(shí)后，DNS也沒有問題。
排查三、是中ARP病毒還是有流量攻擊?
故障發(fā)生前期，個(gè)別分支機(jī)構(gòu)經(jīng)常有人反映說上網(wǎng)時(shí)經(jīng)常出現(xiàn)丟包現(xiàn)象，想到最近局域網(wǎng)中經(jīng)常出現(xiàn)的ARP地址欺騙病毒，筆者就向所有相關(guān)的網(wǎng)絡(luò)技術(shù)人員介紹了一下排查各自局域網(wǎng)，是否感染了ARP地址欺騙病毒，希望通過找到并解決感染ARP地址欺騙病毒的機(jī)器來解決IP業(yè)務(wù)不能恢復(fù)的問題，并沒有查出結(jié)果。難道設(shè)備更換后，所有的路由表丟失了嗎?把前幾天的數(shù)據(jù)備份重新導(dǎo)入后，故障現(xiàn)象的依然存在。為了更快的恢復(fù)業(yè)務(wù)，咨詢了設(shè)備廠家的技術(shù)支持，把所有的故障現(xiàn)象反饋給技術(shù)工程師，并查看了所有的告警及系統(tǒng)日志，并沒有發(fā)現(xiàn)可疑的問題。最后得到的結(jié)果是：該設(shè)備運(yùn)行正常，沒有病毒的攻擊、流量異常等現(xiàn)象。
核心層交換機(jī)故障解決
路是通的，說明該設(shè)備沒有問題。網(wǎng)元是通的，DNS又沒有問題，但是業(yè)務(wù)不能夠恢復(fù)。在檢查IP ARP信息時(shí)，發(fā)現(xiàn)所有的MAC地址與IP地址都在地址表?？匆姽P者使用的IP地址及MAC地址也在表中。但筆者的計(jì)算機(jī)并沒有開!難道核心層交換機(jī)與路由器的端口出現(xiàn)了問題?嘗試著，把端口關(guān)閉后，再重新啟用。發(fā)現(xiàn)筆者使用IP地址后，沒有MAC地址。所有的IP業(yè)務(wù)全部恢復(fù)。
核心層交換機(jī)故障總結(jié)
雖然故障已經(jīng)被解決了，但讓筆者感到疑惑不解的是：為什么重新啟動(dòng)端口，業(yè)務(wù)就能夠正常。而出現(xiàn)的故障點(diǎn)不是在路由器上，而是在核心層交換機(jī)上。不重新啟動(dòng)端口，測試的現(xiàn)象的都是正常的。后來咨詢了相關(guān)的技術(shù)人員，故障發(fā)生前，數(shù)據(jù)的流量很大，故障發(fā)生時(shí)，很多的數(shù)據(jù)包不能正常轉(zhuǎn)發(fā)，端口就會出現(xiàn)假死現(xiàn)象，傳輸?shù)臄?shù)據(jù)流量很小。關(guān)閉后，把多余的數(shù)據(jù)遺棄掉，重新啟動(dòng)，傳輸正常的數(shù)據(jù)信息。
總結(jié)上面的故障排除過程發(fā)現(xiàn)，出現(xiàn)網(wǎng)絡(luò)故障應(yīng)該從正常網(wǎng)絡(luò)中去檢測上段部分網(wǎng)絡(luò)運(yùn)行情況，來判斷網(wǎng)絡(luò)上段網(wǎng)絡(luò)是否正常，然后，再檢查下段網(wǎng)絡(luò)，使用PING命令測試，進(jìn)行針對性排查。即使發(fā)生的故障點(diǎn)恢復(fù)，并不代表業(yè)務(wù)的恢復(fù)，思考問題不能局限于局部信息，應(yīng)該從全局思考。并結(jié)合具體的網(wǎng)絡(luò)工作環(huán)境，說不定發(fā)現(xiàn)故障就在疏忽那一瞬間，要認(rèn)真觀察對網(wǎng)絡(luò)有影響因素，可以避免少走一些彎路。作為一名網(wǎng)絡(luò)管理員，除了日常網(wǎng)絡(luò)故障的處理外，還會不時(shí)碰到自己知識范圍以外的東西，但只要引起足夠的重視，總會找到解決問題的辦法。
【編輯推薦】
