割接失敗，導致3/4/5G全網(wǎng)通信故障
日本運營商DoCoMo的一次割接替換，給該國整個網(wǎng)絡造成了大面積的故障。引起了大量用戶的強烈不滿，甚至于日本總務大臣不得不出來進行處理和解釋。
據(jù)悉，這次本來是一次簡單的升級替換，替換的設備是：存儲物聯(lián)網(wǎng)終端設備的用戶/位置信息的服務器，大約有20萬臺物聯(lián)網(wǎng)終端的位置信息從舊設備遷移到新設備的過程中，出現(xiàn)了問題。
于是操作人員啟動了回退操作，重新倒回到舊設備。這一回退，恰好就是問題的關鍵：回退引發(fā)了大量物聯(lián)網(wǎng)終端向舊服務器重新發(fā)起位置注冊信息，一股洶涌而來的“信令風暴”快速引發(fā)了網(wǎng)絡擁塞，直接把3/4/5G的核心網(wǎng)給擠“癱瘓”了。
讓人難以理解的是，這一頓“升級-割接-回退”的操作，發(fā)生在工作日下午即將下班的晚高峰。(漲姿勢了，島國割接居然不要求在夜間?)
2021年10月14日下午5點左右開始，發(fā)生了導致DoCoMo語音通話和數(shù)據(jù)通信服務難以使用的網(wǎng)絡事故。
2021年10月14日下午7點57分，該運營商采取了緊急網(wǎng)絡操作，故障開始逐漸恢復，但由于網(wǎng)絡擁塞，仍然有一些客戶無法連接網(wǎng)絡。
2021年10月15日凌晨5點05分，5G和4G網(wǎng)絡恢復正常，但部分區(qū)域的3G網(wǎng)絡仍然難以使用，正在努力恢復中，并告知廣大用戶，已訂閱4G套餐并顯示3G信號的用戶，可以通過重啟手機的方式來連接4G網(wǎng)絡，以獲得正常通信。
2021年10月15日下午，NTT DoCoMo副社長在新聞發(fā)布會上表示，3G網(wǎng)絡恢復“無法給出明確的時間”，并解釋說前景不明朗。
NTT DoCoMo管理層公開道歉，對于此次事故給客戶和很多人帶來了不便，深表歉意，并表示將努力防止事故再次發(fā)生。
嗯，在島國，沒有什么問題是鞠一躬解決不了的，如果有，就3個人一起鞠!
事故發(fā)生后，日本總務大臣在內(nèi)閣會議后的記者招待會上表示：
| 作為關系人們?nèi)粘Ｉ畹闹匾A設施，移動網(wǎng)絡發(fā)生了大規(guī)模故障，令人遺憾?？倓帐Υ耸路浅Ｖ匾?，已要求NTT DoCoMo及時調(diào)查和報告事故原因和影響程度，以向廣大用戶做出充分的解釋。希望NTT DoCoMo能履行好社會責任，并采取一切可能的措施防止類似事故再次發(fā)生。 |
罰酒三杯，處理完畢!
啟示錄：
雖然此事發(fā)生在對面島國，但我們?nèi)匀恍枰獜闹形〗逃?。如今的移動網(wǎng)絡如同水電氣一樣的基礎設施，特別是5G時代，應用到工業(yè)互聯(lián)網(wǎng)、煤礦、醫(yī)院等，網(wǎng)絡絕無小事。
1. 升級割接絕不可能在忙時進行.
這在我國幾乎不可能，都是在深夜完成，這已經(jīng)成了通信這20年來的鐵律。感謝我們的“通信夜行者”辛勤的付出。
2. 網(wǎng)絡充分的冗余和備份機制。
網(wǎng)絡的狀況永遠不可預料，要保障網(wǎng)絡不出問題，最可靠的方式就是冗余和備份機制，從AB面，到集群Pool，全面保障在核心網(wǎng)、傳輸網(wǎng)和接入網(wǎng)的冗余機制。這勢必會增加投資，但是一個品質(zhì)網(wǎng)絡的必需。
3. 核心網(wǎng)是重中之重。
其它故障一般影響到局部，而核心網(wǎng)則影響全局。除了做好冗余和備份，更應該盡快升級網(wǎng)絡架構。5G SA的核心網(wǎng)SBA架構，能在盡可能節(jié)省投資的情況下保障網(wǎng)絡的安全運行。
