今年的11月12日，也就是雙十一的第二天，阿里云崩了!!! 使用阿里云服務(wù)的一系列阿里軟件，淘寶，咸魚，天貓，釘釘、阿里云盤等阿里軟件，全都崩了，一下就上了微博熱搜，我司作為阿里云使用客戶也受到了影響，特別是mq等組件;

淘寶天貓自去IOE后取得巨大成功，阿里云也從螞蟻集團(tuán)的體系中獨(dú)立出來給全球企業(yè)提供云服務(wù)，不久前在云棲大會(huì)上都還在分享阿里云如何如何的高效支撐業(yè)務(wù)，包括前幾天的雙十一阿里云也抗住了購(gòu)物洪峰壓力，但是沒想到雙十一第二天就崩了，這已經(jīng)是影響全球使用阿里云的客戶的嚴(yán)重事故;

通過阿里云推送的消息顯示整個(gè)事件過程

尊敬的客戶：

您好!北京時(shí)間2023年11月12日 17:44起，阿里云監(jiān)控發(fā)現(xiàn)云產(chǎn)品控制臺(tái)

問及API調(diào)用出現(xiàn)異常，阿里云工程師正在緊急介入排查。非常抱歉給您的使用帶來不便，若有任何問題，請(qǐng)隨時(shí)聯(lián)系我們。

--進(jìn)展更新

17:50 阿里云已確認(rèn)故障原因與某個(gè)底層服務(wù)組件有關(guān)，工程師正在緊急處理中;

18:54 經(jīng)過工程師處理，杭州、北京等地域控制臺(tái)及API服務(wù)已恢復(fù)，其他地域控制臺(tái)服務(wù)逐步恢復(fù)中;

19:20 工程師通過分批重啟組件服務(wù)，絕大部分地域控制臺(tái)及API服務(wù)已恢復(fù);

19:43 異常管控服務(wù)組件均已完成重啟，除個(gè)別云產(chǎn)品 (如消息隊(duì)列MQ、服務(wù)MNS) 仍需處理，其余云產(chǎn)品控制臺(tái)及API服務(wù)已恢復(fù);

20:12 北京、杭州等地域消息隊(duì)列MQ已完成重啟，其余地域逐步恢復(fù)中。

21:11 受影響云產(chǎn)品均已恢復(fù)，因故障影響部分云產(chǎn)品的數(shù)據(jù) (如監(jiān)控、賬單等)可能存在延遲堆送情況，不影響業(yè)務(wù)運(yùn)行。

這次非常嚴(yán)重的P0級(jí)事故，致使使用阿里云服務(wù)的客戶的損失非常之大。

上一次阿里P0級(jí)事故是在10月24日的語(yǔ)雀平臺(tái)故障8小時(shí)，最后恢復(fù)服務(wù)之后補(bǔ)償了用戶6個(gè)月的會(huì)員;

上一次阿里云大面積服務(wù)器故障的P0級(jí)事故是2022年12月，阿里云香港地域發(fā)生超過12小時(shí)的持續(xù)性故障。 通過以上故障事件，在高可用的應(yīng)用集群中，出現(xiàn)節(jié)點(diǎn)故障，進(jìn)程是否能夠進(jìn)行自我拉起從而實(shí)現(xiàn)恢復(fù)呢? 咱們今天聊聊應(yīng)用集群故障之進(jìn)程自我拉起場(chǎng)景。

首先是進(jìn)程概念：

一個(gè)正在運(yùn)行的程序或者軟件就是一個(gè)進(jìn)程，它是操作系統(tǒng)進(jìn)行資源分配的基本單位，也就是說每啟動(dòng)一個(gè)進(jìn)程，操作系統(tǒng)都會(huì)給其分配一定的運(yùn)行資源(內(nèi)存資源)保證進(jìn)程的運(yùn)行。

應(yīng)用集群故障后自動(dòng)恢復(fù)測(cè)試之進(jìn)程自我拉起測(cè)試場(chǎng)景：

當(dāng)服務(wù)的進(jìn)程異常掛掉后，能夠自動(dòng)將進(jìn)程拉起，恢復(fù)服務(wù)，實(shí)現(xiàn)高可用;

測(cè)試目的：

考察服務(wù)進(jìn)程自我拉起有效性。

測(cè)試步驟：

1、測(cè)試場(chǎng)景采用混合交易模型交易配比;

2、測(cè)試執(zhí)行時(shí)，采取穩(wěn)定壓力施壓，以被測(cè)試系統(tǒng)最大處理能力的80%或預(yù)設(shè)壓力，穩(wěn)定運(yùn)行5分鐘;

3、通過kill -9命令 kill 掉某進(jìn)程;

4、場(chǎng)景持續(xù)運(yùn)行5分鐘，通過PS -ef|grep 服務(wù)名稱，命令觀察被kill 的進(jìn)程是否自動(dòng)拉起。

預(yù)期結(jié)果：

步驟3后，進(jìn)程被Kill;

步驟4后，進(jìn)程自我拉起。

監(jiān)控點(diǎn)：

TPS、交易失敗率、系統(tǒng)資源使用率等。

測(cè)試指標(biāo)：

服務(wù)進(jìn)程自我拉起有效性(除了能夠拉起還有時(shí)效要求，為60秒之內(nèi))為有效。