前陣子有個做數(shù)據(jù)庫運(yùn)維的朋友有個數(shù)據(jù)庫總是有些問題，前陣子問題嚴(yán)重的時候還宕了一次機(jī)。現(xiàn)象是活躍會話數(shù)突然增大，然后突然數(shù)據(jù)庫就宕了。因為宕機(jī)，以及系統(tǒng)上沒裝什么監(jiān)控工具，因此分析比較困難。而我在遠(yuǎn)程，也沒辦法很好地幫他分析。

從宕機(jī)前一小時的AWR報告上看，當(dāng)時的負(fù)載并不算高，等待事件主要是DB CPU的開銷，排在第二、第三的是latch:shared pool和log file sync。數(shù)據(jù)庫重啟后現(xiàn)在的狀態(tài)還算正常，負(fù)載也小了很多，因此也不是太好分析問題在哪。于是我建議他下載一下D-SMART社區(qū)版，跑上一兩天的數(shù)據(jù)，然后發(fā)給我，我遠(yuǎn)程幫他分析分析。

昨晚他把數(shù)據(jù)發(fā)過來了，大概10M左右。我這幾天因為疫情一直遠(yuǎn)程辦公，早飯后就一邊敲著這篇文字，一邊上傳數(shù)據(jù)。

在遠(yuǎn)程通過VPN還是比較慢的，每秒只有142K的上傳速度，不過還好文件不大，74秒就上傳到了我們實(shí)驗室的服務(wù)器上。然后啟動呼啦上傳到D-SMART中。

數(shù)據(jù)上傳完畢后，我就可以在實(shí)驗室的D-SMART中觀察這些數(shù)據(jù)了。

從健康分上看，系統(tǒng)中的存在一定的波動。找一個點(diǎn)看看雷達(dá)圖，可以看到負(fù)載和并發(fā)維度出現(xiàn)了一些丟分。

點(diǎn)擊查看詳情發(fā)現(xiàn)每秒硬解析比較嚴(yán)重。點(diǎn)擊調(diào)用歷史查看工具。

可以看到硬解析波動很厲害，最高時接近400/秒。結(jié)合到前天我看到的一些AWR報告里的情況。這個系統(tǒng)似乎總是存在較多的共享池等待事件排在前面。很可能這個系統(tǒng)的波動與這個硬解析較高有關(guān)。

正好前幾天有家銀行也發(fā)來了類似的案例。最終定位也是硬解析導(dǎo)致了執(zhí)行性能下降，于是我又分析了一下兩者的特點(diǎn)，很多特性上都十分類似。因此我看到數(shù)據(jù)的時候，就建議客戶今天試試調(diào)整cursor_sharing參數(shù)。

從這個案例我也總結(jié)出一個故障模型，那就是如果活躍會話數(shù)超過某個閾值，同時軟解析比例異常下降，并且硬解析數(shù)量異常并不低于邏輯CPU的2倍，則系統(tǒng)存在性能風(fēng)險。這個模型可以隨著下一次D-SMART補(bǔ)丁包的發(fā)布，更新到D-SMART的數(shù)據(jù)庫中去。

這樣，我們只花了不到二十分鐘，就幫一個朋友遠(yuǎn)程分析了問題，同時也總結(jié)了一個新的知識，這種現(xiàn)場與一線運(yùn)維的互動因為有了共同的數(shù)據(jù)視角和標(biāo)準(zhǔn)化的工具而變得更加簡單了，效率也提高了很多。正是因為如此，我們這個小團(tuán)隊才能為很多朋友免費(fèi)地遠(yuǎn)程分析問題。

前陣子有個朋友希望我?guī)退h(yuǎn)程分析一個PG的性能問題，說是可以VPN連上去做。我手頭的事情也比較多，大致了解這樣去分析一下需要花費(fèi)的時間不少，因此我建議他下載一個D-SMART，采集一些數(shù)據(jù)，我遠(yuǎn)程幫他分析一下。他可能覺得我是在推托或者說是非要推廣我們的工具，可能感到不太高興了，就沒再繼續(xù)溝通。實(shí)際上在沒有工具的幫助下，分析一個簡單的問題可能都要花上很多時間，連接遠(yuǎn)程桌面，再跳轉(zhuǎn)到生產(chǎn)環(huán)境，上去采集數(shù)據(jù)，同時通過溝通了解現(xiàn)場的情況，效率比直接面對數(shù)據(jù)要低太多了。有了holadata，這一切就簡單得多了。

最近這5年時間，我參與其他事情越來越少，更多的時間都用在了如何利用數(shù)據(jù)來看數(shù)據(jù)庫的運(yùn)行狀態(tài)，從中發(fā)現(xiàn)問題上了，我們研發(fā)的D-SMART也已經(jīng)有了數(shù)百個裝機(jī)用戶。我每天也會看很多D-SMART采集上來的數(shù)據(jù)，因此已經(jīng)習(xí)慣了用這些數(shù)據(jù)來思考問題。

數(shù)據(jù)庫運(yùn)維工具是十分豐富的，種類繁多，功能與側(cè)重點(diǎn)也不同，可以滿足不同用戶的需求。兩個運(yùn)維工具可能滿足了用戶的不同的運(yùn)維場景需求，因此并不存在某個工具好或者不好的問題，只是對于某個客戶是否適用而已。對于用戶來說，自己用得起來，并且能夠給他的運(yùn)維帶來幫助的工具，就是好工具。就像有些DBA總說sqlplus是最好的運(yùn)維工具，不接受辯駁一樣。你覺得好用的，就是好工具。

經(jīng)常我給客戶介紹產(chǎn)品的時候，他們總會提出一些需求，某某功能你有沒有。實(shí)際上他們可能需要的是另外一種數(shù)據(jù)庫運(yùn)維或者監(jiān)控工具，D-SMART可能不是他們最需要的工具。通過這樣的交流，我發(fā)現(xiàn)D-SMART并不是每個客戶都需要的工具，對于需要在現(xiàn)場獲得一些深度分析，精準(zhǔn)報警能力，并且能夠通過工具積累運(yùn)維經(jīng)驗的用戶，可能D-SMART剛好對他們的胃口。而對于僅僅想知道數(shù)據(jù)庫是不是活著，并且希望這個工具能夠幫他們解決一些繁重的日常操作的用戶，D-SMART幫不了他們太大的忙。

于是在去年年底我就有了做一個社區(qū)版的想法。通過免費(fèi)的社區(qū)版，讓需要D-SMART功能的人，認(rèn)可這種知識共享，遠(yuǎn)程交流的用戶主動找到我們，一起來發(fā)展D-SMART這個工具生態(tài)。另外就是利用與客戶之間的監(jiān)控數(shù)據(jù)分享，加快我們的知識積累的速度。

目前來看，這兩個目標(biāo)都有可能達(dá)成。首先通過社區(qū)版的D-SMART，目前已經(jīng)積累了近300個裝機(jī)用戶，他們中有運(yùn)維服務(wù)商，有最終用戶。有些人裝了，試了，覺得工具并不適合他們，就不再用了。有些用戶覺得工具對他們有幫助，于是就用得越來越深了。還有的用戶購買了VIP工具包，有些用戶和我們的客戶聯(lián)系，開始了商用版的測試。讓需要這樣工具的朋友了解我們的工具的目的初步達(dá)成。

構(gòu)建生態(tài)的工作進(jìn)展慢一些，不過也已經(jīng)初步有了進(jìn)展。下載D-SMART的朋友中，還有一些是做數(shù)據(jù)庫服務(wù)的，他們利用這個工具可以降低運(yùn)維服務(wù)的工作量，從而節(jié)約成本。對于這些客戶是我們推出社區(qū)版的時候有點(diǎn)擔(dān)心的，怕讓人感覺我們是在和他們搶市場。實(shí)際上我們做D-SMART這個產(chǎn)品，并不是要參與數(shù)據(jù)庫運(yùn)維這個市場競爭，而是通過工具加入到這個生態(tài)中而已。我們團(tuán)隊的DBA不足10人，也很難和傳統(tǒng)的數(shù)據(jù)庫運(yùn)維廠商去競爭。我們是希望通過D-SMART這個紐帶把最終用戶、服務(wù)廠商、工具廠商都聯(lián)合起來，打破壁壘，共同構(gòu)建一個數(shù)據(jù)共享、知識共享、能力共享的DBAIOPS生態(tài)。通過最近的一些嘗試，我們也有了更大的信心。

隨著信創(chuàng)工作的推進(jìn)，運(yùn)維知識積累變得越來越重要，而信創(chuàng)用戶又極為分散，數(shù)據(jù)庫廠商又沒有類似MOS這樣的知識庫平臺，遇到問題都不知道到哪去問，到哪去查。如果能利用D-SMART作為媒介，構(gòu)建一個共同知識積累的社區(qū)，大家一起來分析數(shù)據(jù)，積累運(yùn)維經(jīng)驗，并將知識存儲到一個大家都可以使用的知識圖譜中去，今后可以幫助我們的數(shù)據(jù)庫信創(chuàng)用戶解決很大的問題。