凌晨三點(diǎn)、熬夜、數(shù)據(jù)備份、戰(zhàn)戰(zhàn)兢兢、一步一檢查、業(yè)務(wù)中斷、測試驗(yàn)證、緊急回退、大BOSS親自到場…這是通信工程師們熟悉的割接場景。

[[327785]]

每一次軟件版本升級，尤其是核心網(wǎng)，牽一發(fā)而動全身，錯(cuò)一處而毀全網(wǎng)，對于網(wǎng)絡(luò)運(yùn)維是一件非常痛苦的事。

同樣是軟件升級，電信業(yè)為什么這么難，而互聯(lián)網(wǎng)巨頭們卻輕輕松松就實(shí)現(xiàn)了呢?

亞馬遜每小時(shí)要部署1萬個(gè)軟件，谷歌每月要更改一半源代碼，微信版本升級了N次，為什么他們能在用戶幾乎無感知下頻繁的進(jìn)行軟件升級?

進(jìn)入5G時(shí)代，隨著高清直播、VR/AR、云游戲、工業(yè)控制、無人機(jī)、自動駕駛、遠(yuǎn)程醫(yī)療等各種眼花繚亂的5G新應(yīng)用興起，業(yè)務(wù)需求之多、變化之快超出了以往2/3/4G任何一個(gè)時(shí)代，這不但要求網(wǎng)絡(luò)功能可根據(jù)業(yè)務(wù)需求快速升級，還要求業(yè)務(wù)能快速試錯(cuò)。

面對5G時(shí)代的業(yè)務(wù)需求，電信業(yè)能不能像互聯(lián)網(wǎng)巨頭那樣輕松、頻繁的進(jìn)行軟件升級呢?

可以。

這需要灰度升級。

灰度升級，也叫灰度發(fā)布，是指在黑與白之間，能夠平滑過渡的一種發(fā)布方式。在其上可以進(jìn)行A/B testing，即讓一部分用戶繼續(xù)用產(chǎn)品特性A，一部分用戶開始用產(chǎn)品特性B，如果用戶對B沒有什么反對意見，那么逐步擴(kuò)大范圍，把所有用戶都遷移到B上面來?；叶劝l(fā)布可以保證整體系統(tǒng)的穩(wěn)定，在初始灰度的時(shí)候就可以發(fā)現(xiàn)、調(diào)整問題，以保證其影響度?；叶劝l(fā)布開始到結(jié)束期間的這一段時(shí)間，稱為灰度期。

灰度發(fā)布通過小粒度快速試錯(cuò)來降低業(yè)務(wù)變更風(fēng)險(xiǎn)，已成為互聯(lián)網(wǎng)行業(yè)業(yè)務(wù)上線發(fā)布的基礎(chǔ)能力之一。那電信業(yè)的灰度發(fā)布如何實(shí)現(xiàn)呢?

在面向5G演進(jìn)的核心網(wǎng)網(wǎng)絡(luò)中，華為進(jìn)一步基于Cloud Native等概念方法，將電信業(yè)務(wù)特點(diǎn)與IT先進(jìn)理念完美結(jié)合，打造了業(yè)界唯一的5G核心網(wǎng)灰度升級方案，可助力5G業(yè)務(wù)敏捷可靠上線，并已成功實(shí)現(xiàn)業(yè)界首商用落地。

以下就以華為灰度升級方案為例，來看一看它是如何實(shí)現(xiàn)的?

軟件架構(gòu)微服務(wù)，讓發(fā)布升級小快靈

說到微服務(wù)，先來簡單了解一下網(wǎng)絡(luò)云化的演進(jìn)歷程。

如上圖，網(wǎng)絡(luò)云化經(jīng)歷了從網(wǎng)絡(luò)功能虛擬化(NFV)到云原生(Cloud Native)的演進(jìn)歷程，總的來說就是“分解”、“再分解”的過程。

NFV將軟硬件一體的傳統(tǒng)專用網(wǎng)絡(luò)設(shè)備解耦為軟件(VNF)和通用硬件，網(wǎng)絡(luò)功能軟件不再受專用硬件限制，可靈活部署于通用硬件之上，從而讓運(yùn)營商通過軟件升級即可推出新功能和新服務(wù)。

可這還不夠，脫離了專用硬件的VNF是大顆粒的電信軟件包，非常龐大、復(fù)雜，動輒涉及數(shù)百萬行軟件代碼，這意味著從軟件開發(fā)到發(fā)布、測試整個(gè)過程工作量巨大，估計(jì)要耗費(fèi)一年的時(shí)間，無法敏捷響應(yīng)快速變化的5G業(yè)務(wù)需求。

怎么辦?那就基于云原生的設(shè)計(jì)原則，將大顆粒的VNF進(jìn)一步分解為多個(gè)小顆粒的微服務(wù)，比如接入管理微服務(wù)、對話管理微服務(wù)、數(shù)據(jù)庫管理微服務(wù)、接口管理微服務(wù)等。

微服務(wù)不僅顆粒小，且具有獨(dú)立的生命周期管理，可以實(shí)現(xiàn)更細(xì)粒度的軟件開發(fā)、發(fā)布、測試和升級，這就提升了運(yùn)營敏捷性，可加速創(chuàng)新和新業(yè)務(wù)上線，適應(yīng)瞬息萬變的市場業(yè)務(wù)變化。

如果把傳統(tǒng)的電信軟件比作雕版印刷，單個(gè)漢字錯(cuò)誤則導(dǎo)致整版廢棄，耗時(shí)費(fèi)力;那么，微服務(wù)則完全顛覆了傳統(tǒng)軟件架構(gòu)，就像活字印刷一樣，個(gè)體錯(cuò)誤不會導(dǎo)致整版返工，效率呈指數(shù)級提升。

華為灰度升級方案正是基于軟件微服務(wù)架構(gòu)，將大顆粒的軟件包分解成相互獨(dú)立的小軟件模塊，以微服務(wù)的方式進(jìn)行版本的開發(fā)，測試和發(fā)布，每個(gè)微服務(wù)有自己獨(dú)立的版本號，升級時(shí)自動判斷源版本和目標(biāo)版本中每個(gè)微服務(wù)的版本號，只升級有變化的微服務(wù)，這樣即可實(shí)現(xiàn)小快靈的增量軟件發(fā)布。

周邊設(shè)備無感知，大白天也可升級操作

微服務(wù)解決了電信軟件過于龐大、復(fù)雜的問題，但要讓網(wǎng)絡(luò)功能更具彈性和魯棒性，還需無狀態(tài)設(shè)計(jì)和軟件三層解耦。

注意，這里的三層解耦架構(gòu)不是指NFV的硬件層、虛擬化層和VNF層“三層解耦”，而是將軟件分為無狀態(tài)的三層架構(gòu)。

眾所周知，傳統(tǒng)電信網(wǎng)元會一直保存相關(guān)UE的上下文信息，以確保連接不中斷，稱為有狀態(tài)。這種有狀態(tài)設(shè)計(jì)是電信軟件在虛擬機(jī)/容器之間靈活遷移的羈絆。

為此，行業(yè)參考IT軟件的無狀態(tài)設(shè)計(jì)，將上下文信息與服務(wù)軟件分離，并組成獨(dú)立的狀態(tài)數(shù)據(jù)庫層，從而使得服務(wù)處理軟件(VNF組件)成為敏捷、彈性的無狀態(tài)服務(wù)處理層。

同時(shí)，再通過接口層的獨(dú)立的負(fù)載均衡軟件模塊，可有效、快速的均衡服務(wù)處理軟件之間的負(fù)載，以支撐整個(gè)系統(tǒng)的大吞吐量。

這就將電信軟件分為了三層：數(shù)據(jù)層、服務(wù)處理層和負(fù)載均衡層。

華為灰度升級解決方案正是基于無狀態(tài)和軟件三層解耦設(shè)計(jì)的。

在傳統(tǒng)有狀態(tài)下，電信軟件的版本發(fā)布上線是排他性的，同一時(shí)間只能存在一個(gè)軟件版本，而且升級過程要想做到業(yè)務(wù)無損，首先要做的就是花費(fèi)大量時(shí)間將待升級設(shè)備上的用戶遷移到Pool內(nèi)其他設(shè)備上，需要評估這些在網(wǎng)設(shè)備的軟硬件資源，業(yè)務(wù)模型等，同時(shí)針對周邊無線，數(shù)通等設(shè)備進(jìn)行相關(guān)的配置聯(lián)動修改，牽一發(fā)動全身。如果無法采用Pool方式遷移用戶，采用直接升級方式，必須在夜間進(jìn)行操作，會導(dǎo)致業(yè)務(wù)中斷30分鐘以上，無法實(shí)現(xiàn)業(yè)務(wù)無損。

而華為灰度升級方案打破了非黑即白的軟件版本發(fā)布規(guī)則，基于軟件三層解耦及無狀態(tài)設(shè)計(jì)原則，實(shí)現(xiàn)多個(gè)版本會話的數(shù)據(jù)兼容，多版本服務(wù)或微服務(wù)實(shí)例共存，并通過負(fù)載均衡的智能業(yè)務(wù)分發(fā)能力實(shí)現(xiàn)外部網(wǎng)絡(luò)設(shè)備無感知。

系統(tǒng)內(nèi)可同時(shí)存在兩個(gè)軟件版本，通過逐步滾動升級的方式，遷移至最終目標(biāo)版本，無需提前準(zhǔn)備用戶遷移設(shè)備，無需關(guān)聯(lián)修改無線，數(shù)通等設(shè)備，實(shí)現(xiàn)不分時(shí)段的全天候升級操作，業(yè)務(wù)“0”中斷。

用戶遷移分批次，業(yè)務(wù)變更低風(fēng)險(xiǎn)

傳統(tǒng)電信軟件版本升級完成后，所有用戶就不得不接受新版本的考驗(yàn)，一旦出現(xiàn)問題，所有用戶業(yè)務(wù)受損，損失無法估量。因此用戶在版本間的遷移不應(yīng)該是一蹴而就的，灰度升級場景下，系統(tǒng)支持在新版本上進(jìn)行業(yè)務(wù)撥測，減少或避免測試床測試。使用測試用戶進(jìn)行已有特性和新特性的測試。當(dāng)撥測發(fā)現(xiàn)問題后，可進(jìn)行回退操作。回退時(shí)僅刪除撥測用戶，對其它用戶無影響。支持小粒度試錯(cuò)遷移，支持分批次遷移。第一批次可遷移少量用戶，以驗(yàn)證遷移過程的正確性。有問題可回退，只影響該部分用戶。后續(xù)批次也可新舊版本長期共存，以便觀察業(yè)務(wù)，無問題再進(jìn)行下一批次遷移，進(jìn)一步提高升級過程的可靠性。

就這樣，通過灰度發(fā)布，既解決了傳統(tǒng)升級割接難的問題，降低業(yè)務(wù)變更風(fēng)險(xiǎn)，也讓網(wǎng)絡(luò)能敏捷、健壯的應(yīng)對多樣化和快速變化的5G新業(yè)務(wù)，進(jìn)一步促進(jìn)5G行業(yè)數(shù)字化，實(shí)現(xiàn)小步快跑上5G。