阿里云史詩(shī)級(jí)故障已經(jīng)過(guò)去差不多兩周了。

使用阿里云產(chǎn)品的公司也難以幸免，有所波及。最近聽(tīng)說(shuō)了一些公司內(nèi)部的故障復(fù)盤(pán)，感觸頗多。

想到一個(gè)問(wèn)題，穩(wěn)定性問(wèn)題的本質(zhì)到底是什么？

1、它是一個(gè)技術(shù)問(wèn)題，但又好像不是

從網(wǎng)上的各種“空穴來(lái)風(fēng)”到阿里云給出的故障復(fù)盤(pán)報(bào)告，大家基本上對(duì)這個(gè)故障原因有了一些大致的了解。

是一個(gè)鑒權(quán)服務(wù)的白名單變更，沒(méi)有做好容錯(cuò)處理，導(dǎo)致了災(zāi)難發(fā)生。

阿里云也給出了相關(guān)改進(jìn)技術(shù)措施的說(shuō)明。

所以，這是一個(gè)技術(shù)問(wèn)題。

有的公司受到阿里云故障的波及，可能變成了一場(chǎng)真實(shí)的故障演練，暴露出其他額外的問(wèn)題，比如容災(zāi)失效、降級(jí)失效等等。

從一個(gè)故障，能定義出幾個(gè)額外的故障，并且列出若干改進(jìn)措施。

變成了一系列技術(shù)問(wèn)題。

但是，這一系列改進(jìn)措施未來(lái)能夠避免故障發(fā)生嗎？甚至有人能保證不出現(xiàn)類(lèi)似故障的發(fā)生嗎？

沒(méi)人敢說(shuō)可以。

所以，穩(wěn)定性問(wèn)題好像又不是一個(gè)技術(shù)問(wèn)題。

至少，不是一個(gè)用技術(shù)能夠完全解決的問(wèn)題。

2、穩(wěn)定性問(wèn)題的本質(zhì)是什么？

“發(fā)展能解決一切問(wèn)題，不發(fā)展一切都是問(wèn)題。”

其實(shí)，穩(wěn)定性問(wèn)題的本質(zhì)也是“發(fā)展”的問(wèn)題。

當(dāng)業(yè)務(wù)高速發(fā)展的時(shí)候，誰(shuí)有空關(guān)心穩(wěn)定性？

業(yè)務(wù)真正高速發(fā)展的時(shí)候，大家忙著開(kāi)新項(xiàng)目提高營(yíng)收，“敏捷至上”，哪有什么穩(wěn)定性問(wèn)題。

甚至不需要什么設(shè)計(jì)文檔，直接CRUD一把梭上線。出了問(wèn)題直接在線Debug，在線改代碼。

只要能提高營(yíng)收，這些都不是問(wèn)題。

公司賺大錢(qián)，員工升職加薪。

穩(wěn)定性問(wèn)題？無(wú)傷大雅。

當(dāng)業(yè)務(wù)發(fā)展停滯了，開(kāi)始“降本增效”了，高度重視穩(wěn)定性。

降本怎么做？最直接有效的方式就是砍服務(wù)器資源，砍人員計(jì)劃。一個(gè)人多干兩到三個(gè)人的活。

業(yè)務(wù)發(fā)展停滯，不代表產(chǎn)品需求停滯。

業(yè)務(wù)發(fā)展停滯，不代表線上運(yùn)行的服務(wù)、組件停滯。

業(yè)務(wù)發(fā)展停滯，不代表歷史Bug、技術(shù)債停滯。

所以，活不一定會(huì)變少，只能是一個(gè)人多干兩到三個(gè)人的活?；蛘呙榔涿?，按優(yōu)先級(jí)處理，進(jìn)一步提高人效。

這種情況下，必然導(dǎo)致故障頻發(fā)。

這個(gè)時(shí)候，故障往往又能帶來(lái)直接的“降本”，比如低績(jī)效甚至直接走人。

這種環(huán)境下，故障會(huì)進(jìn)一步被“放在顯微鏡下觀察“，每個(gè)人要從中找到別人的鍋。流程問(wèn)題？系統(tǒng)問(wèn)題？可觀測(cè)性缺失？有什么漏洞都盡量甩出去。

畢竟甩鍋給別人，扣的是別人的績(jī)效，走的是別人的人，是不是根本原因或者有效的改進(jìn)措施又有什么關(guān)系呢。

3、如何解決

公司高速發(fā)展，穩(wěn)定性問(wèn)題不攻自破。

如果不能高速發(fā)展，應(yīng)該如何解決穩(wěn)定性問(wèn)題？

控制合理的人員配比。

如果真的要通過(guò)縮減人員降低成本，也應(yīng)該控制合理有效的業(yè)務(wù)需求，保證人員的配比是合理的。

不要試圖改變客觀規(guī)律，或者自欺欺人。

否則只會(huì)陷入惡性循環(huán)。

建設(shè)合理的機(jī)制與風(fēng)氣。

不管業(yè)務(wù)是否高速發(fā)展，其實(shí)對(duì)待穩(wěn)定性問(wèn)題的態(tài)度應(yīng)該是一致的。

除非是明確違反流程規(guī)范引起的故障，其他問(wèn)題不應(yīng)該跟直接獎(jiǎng)懲掛鉤。

每次故障復(fù)盤(pán)，應(yīng)該真正反思的是，能不能從架構(gòu)設(shè)計(jì)、流程、機(jī)制、工具角度找到真正原因，去避免下次同類(lèi)型的錯(cuò)誤。

通過(guò)獎(jiǎng)懲來(lái)高壓控制，只會(huì)帶來(lái)甩鍋風(fēng)氣，掩蓋真正有效的改進(jìn)措施。

對(duì)穩(wěn)定性保持長(zhǎng)期合理的投入。

避免運(yùn)動(dòng)式治理穩(wěn)定性，只在故障發(fā)生后的一周或者一個(gè)月有重視。

隨著系統(tǒng)不斷迭代，整體穩(wěn)定性水平一定會(huì)處于一種“熵增狀態(tài)”，逐步惡化。

所以，穩(wěn)定性任務(wù)，應(yīng)該持續(xù)貫穿在全年，按照合理的比重，與業(yè)務(wù)功能迭代任務(wù)一起評(píng)估考量，才能確保長(zhǎng)期處于相對(duì)高的穩(wěn)定性水平。