[[396051]]

最近做了一個(gè)集群服務(wù)的在線切換，將原來的主從環(huán)境做了切換，當(dāng)然后端的處理工作是比較復(fù)雜的，涉及到主從服務(wù)器的在線遷移和硬件變更。

總體來說，切換后的讀延遲比原本降低了0.4毫秒左右，對于一個(gè)延遲季度敏感的業(yè)務(wù)來說，0.4毫秒是一個(gè)很高的比例，按照既定的比例規(guī)則，差不多是優(yōu)化了25-30%的比例。

那么這省下來的0.4毫秒到底優(yōu)化在哪個(gè)環(huán)節(jié)了呢?我們做了一些討論和分析，不僅暗暗感嘆，幸虧是優(yōu)化了，如果延遲變大30%，要快速分析還是壓力很大的。

這個(gè)問題分析的難點(diǎn)在于存在一系列的動(dòng)態(tài)變量，導(dǎo)致服務(wù)切換前后的對比缺少了一些基準(zhǔn)和衡量標(biāo)準(zhǔn)。

我們簡單提煉了下，在服務(wù)切換前的優(yōu)化工作有：

1)新從庫采用了全新的硬件配置，CPU型號更高，性能提升可達(dá)30%

2)主從庫采用的SATA-SSD的存儲(chǔ)使用了不同品牌

3)主從切換前，在從庫中對數(shù)據(jù)表進(jìn)行了全面的碎片清理

4)原本服務(wù)器的系統(tǒng)盤是使用SAS的，在新從庫中統(tǒng)一按照SATA-SSD類配置

5)中間件服務(wù)器有近2年沒有重啟過，這次維護(hù)做了重啟維護(hù)

此外，還有一些不確定的因素，比如業(yè)務(wù)量的差異等，按照100%對等的標(biāo)準(zhǔn)是不大可能完全對等去分析的，所以我們試著通過如下的邏輯進(jìn)行分析。

初步來看，我們覺得對于數(shù)據(jù)表做了碎片清理，這個(gè)改進(jìn)的效果會(huì)比較高，因?yàn)樗槠试谇袚Q前統(tǒng)計(jì)是近20%，清理后空間釋放了近20%，本來認(rèn)為這樣的一套指標(biāo)體系是比較演進(jìn)的，但是在對比了近幾天的業(yè)務(wù)延遲情況之后，有一個(gè)業(yè)務(wù)的數(shù)據(jù)是說不通的。

我們假設(shè)是業(yè)務(wù)2，業(yè)務(wù)2的數(shù)據(jù)表示日表，也就意味著這張表沒有所謂的碎片，因?yàn)槊刻於紩?huì)有一張新的數(shù)據(jù)表寫入數(shù)據(jù)。所以業(yè)務(wù)2的延遲應(yīng)該沒有變化或者有細(xì)小的差異才說得通，但是在這里可以很清楚的看到，延遲是有近30%的提升，這就說不通了，所以單純的碎片清理帶來的收益確實(shí)沒有期望那么高。

我們分析下系統(tǒng)負(fù)載的情況，隨機(jī)選擇了一個(gè)分片節(jié)點(diǎn)，查看了切換前和切換后的負(fù)載數(shù)據(jù)。

切換前

切換后

總體來說，負(fù)載的平均值是提高了0.03，這個(gè)比例是很低的一個(gè)比例，姑且認(rèn)為是可以忽略的。

再來看看CPU的使用率，因?yàn)樾碌姆?wù)器CPU性能提升近30%，所以對負(fù)載情況進(jìn)行了整體的比對，可以發(fā)現(xiàn)這個(gè)業(yè)務(wù)不是強(qiáng)計(jì)算相關(guān)的，所以CPU配置再好，在這里帶來的收益確實(shí)沒有期望那么明顯。

切換后

切換前

接著來看磁盤，磁盤層面有很多的指標(biāo)，我們來看下util指標(biāo)：

切換后：

切換前：

總體切換后的util從16%提高到了18%，很難可以給出一個(gè)客觀的結(jié)論。

對于磁盤讀寫層面的分析，可以看到等待的延遲部分不是一個(gè)數(shù)量級。

切換后

切換前

在這里可能會(huì)有一個(gè)誤區(qū)，那就是切換前的指標(biāo)是精確度不夠，是0，我們可把指標(biāo)放大，即選擇其中一個(gè)指標(biāo)，就可以看到右側(cè)的指標(biāo)的相對精確的數(shù)據(jù)了。

切換后：

切換前：

到了這里，我們可以看到延遲的指標(biāo)對于邏輯卷和不同分區(qū)的差別還是很明顯的，雖然單個(gè)指標(biāo)的提升在10%左右，但是所有的指標(biāo)都是略高一籌。

當(dāng)然碎片整理確實(shí)是有提高，但是和磁盤層面的提升來說，占比確實(shí)沒有那么高。

而接下來的問題就是進(jìn)一步驗(yàn)證，需要分析不同SSD產(chǎn)品間的一些差異和穩(wěn)定性測試數(shù)據(jù)。

總體來說，整個(gè)分析的過程可以提供一種分析的思路，而不僅僅是得到的初步結(jié)論。

本文轉(zhuǎn)載自微信公眾號「楊建榮的學(xué)習(xí)筆記」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系+楊建榮的學(xué)習(xí)筆記公眾號。