盤子做大后的“尷尬”
了解更多數(shù)字化轉(zhuǎn)型方案查看此鏈接：
https://www.dellemc-solution.com/home/index.html
臨近年底
各路人馬磨刀霍霍
誓為報(bào)表美化
花盡最后一絲力氣
偏偏這個(gè)節(jié)骨眼
突如其來一個(gè)變數(shù)
讓基礎(chǔ)架構(gòu)部門主任王力
原本堪稱美好的2019年
差點(diǎn)垮掉
上午9點(diǎn)7分，給集團(tuán)IT領(lǐng)導(dǎo)們做線上匯報(bào)時(shí)，王力聲音都是顫抖的。
“新收購的第三分廠數(shù)據(jù)已于前日完成導(dǎo)入，但有財(cái)務(wù)、監(jiān)察等部門反映，近兩日報(bào)表數(shù)據(jù)獲取緩慢，有時(shí)會(huì)出現(xiàn)客戶端卡住、報(bào)錯(cuò)、死機(jī)等情況，嚴(yán)重影響銷售系統(tǒng)正常運(yùn)行……”
有B廠、C廠、D廠、E廠完美匯報(bào)在前，王力心里越發(fā)突突，集團(tuán)領(lǐng)導(dǎo)該咋想他們A廠啊，另外解決不了這個(gè)問題，不僅年終獎(jiǎng)得縮水，只怕來年升職考核也沒法過關(guān)啊。
盤子做大后的“尷尬”
“找到原因了嗎？”IT部長Ivana率先發(fā)問。
“我們看了銷售系統(tǒng)的運(yùn)行日志和服務(wù)器數(shù)據(jù)庫，監(jiān)測兩小時(shí)后發(fā)現(xiàn)一些查詢語句運(yùn)行的時(shí)候出現(xiàn)了死鎖。”“聯(lián)系軟件廠商了嗎？”“軟件廠商下午過來，查看軟件及其數(shù)據(jù)庫的運(yùn)行情況。”“好，請抓緊處理，有情況隨時(shí)匯報(bào)！”遠(yuǎn)程會(huì)議結(jié)束后，王力輕輕抹了一把汗，先聯(lián)系軟件廠商工程師籌劃下午的檢測事宜，接下里又開了兩場大會(huì)。這年頭，沒有什么問題是開會(huì)解決不了的，一場不夠，那就再開兩場。
會(huì)議一會(huì)議名稱：
關(guān)于導(dǎo)入第三工廠數(shù)據(jù)致使銷售系統(tǒng)死鎖原因探討
時(shí)間：
2019年12月3日16:30
地址：
基礎(chǔ)架構(gòu)部門經(jīng)理Deven辦公室
參與者：
Deven、王力、軟件廠商工程師
會(huì)議內(nèi)容：
會(huì)議上Deven聽取了軟件廠商在13點(diǎn)至16點(diǎn)對軟件運(yùn)行開展的檢測分析報(bào)告，了解到頻繁出現(xiàn)的死鎖情況是數(shù)據(jù)庫的數(shù)據(jù)查詢造成的，與前幾日大量導(dǎo)入數(shù)據(jù)有關(guān)。
經(jīng)工程師對數(shù)據(jù)庫存儲(chǔ)的監(jiān)測，磁盤活動(dòng)時(shí)間經(jīng)常達(dá)到100%，存儲(chǔ)IO效能不足是本次銷售系統(tǒng)無法正常運(yùn)行的主要原因。
會(huì)議二會(huì)議名稱：
關(guān)于解決存儲(chǔ)IO性能不足問題的解決方案探討
時(shí)間：
2019年12月3日17:10
地址：
第一工廠辦公大樓4樓會(huì)議室
參與者：
Deven、王力、DBA Mario
會(huì)議內(nèi)容：
在用存儲(chǔ)4年間擴(kuò)容5次，隨著數(shù)據(jù)量增長使用該系統(tǒng)的部門和人數(shù)也大量增加，Kevin建議換臺(tái)存儲(chǔ)。
DBA Mario認(rèn)為，更換一臺(tái)效能更好的存儲(chǔ)并不能從根本上解決問題。卡頓是銷售系統(tǒng)一直存在的問題，如今只是因?yàn)閿?shù)據(jù)量劇增就出現(xiàn)死機(jī)，將來等更多業(yè)務(wù)、部門接入數(shù)據(jù)庫時(shí)，數(shù)據(jù)量級從未有過，僅僅換一臺(tái)高性能的存儲(chǔ)遠(yuǎn)遠(yuǎn)不夠，建議從硬件和軟件架構(gòu)著手解決。
晚上8點(diǎn)17會(huì)議結(jié)束時(shí)，上級Deven微笑著拍拍王力的肩膀：“老王啊，硬件改造項(xiàng)目你來跟進(jìn)吧，今天不用加班了，明早把方案給我就行。”
關(guān)鍵時(shí)刻，還是老同學(xué)靠譜
走在公司樓下，迎著寒冷的風(fēng)，王力暈騰騰地對著車水馬龍發(fā)呆，幾分鐘后，他眼前隱隱浮現(xiàn)出老同學(xué)張燁的臉龐，張燁在戴爾易安信擔(dān)任技術(shù)顧問多年，架構(gòu)的事找他問問吧。
當(dāng)晚8點(diǎn)半，王力在電腦微信上同張燁開始了今天的第四場會(huì)議。簡單寒暄后，兩人進(jìn)入正題。張燁：“我大概了解了。你們銷售系統(tǒng)性能的關(guān)鍵在兩個(gè)地方：一是軟件對外服務(wù)部分工作負(fù)載沒有分離，數(shù)據(jù)庫中讀寫相互影響。這在工作負(fù)載不高的時(shí)候沒什么問題，但是工作負(fù)載一大就將會(huì)給服務(wù)端造成巨大負(fù)擔(dān)，大量查詢的時(shí)影響寫性能，寫入時(shí)又鎖定數(shù)據(jù)行又延緩讀取，從而形成死鎖。第二是硬件部分，你們這個(gè)系統(tǒng)的硬件架構(gòu)單一、負(fù)載集中，不僅有安全風(fēng)險(xiǎn)，而且很容易達(dá)到性能瓶頸。用戶需求無窮盡，則服務(wù)端負(fù)載壓力無窮盡，單一的服務(wù)端結(jié)構(gòu)又怎么能以無盡的資源滿足無盡的需求呢？”
“那你看怎么改進(jìn)呢？”“三步走。第一，將數(shù)據(jù)庫的讀取和寫入業(yè)務(wù)進(jìn)行分離；第二，對于讀寫較重的服務(wù)，配置更多機(jī)器進(jìn)行分擔(dān)；第三，尋找合適的可按需擴(kuò)展的基礎(chǔ)架構(gòu)，以滿足不斷增長的業(yè)務(wù)需求。”“好，我知道了。”王力一邊說一邊在文檔里敲下關(guān)鍵內(nèi)容。“另外，還要找可以進(jìn)行相互間數(shù)據(jù)復(fù)制的存儲(chǔ)，異步同步都行，盡可能是同步。當(dāng)然了，這取決于你們的預(yù)算。針對你說的問題，方案就是在查詢和寫入方面配置多臺(tái)服務(wù)器，再配以合適的存儲(chǔ)，讓存儲(chǔ)間相互抄寫，同步數(shù)據(jù)、分擔(dān)負(fù)載，這樣無論后期是查詢的服務(wù)對象變多，還是寫入的工作負(fù)擔(dān)變大，你們都可以按需擴(kuò)展。”張燁喝口水慢慢說道。
“所以，你有推薦的存儲(chǔ)嗎？”
“當(dāng)然，也不看看我們戴爾易安信是干啥的！咱約下時(shí)間，到時(shí)候我給你們講下具體落地方案。”
這個(gè)落地方案，穩(wěn)了！
3天后。王力協(xié)同戴爾易安信技術(shù)顧問張燁、軟件廠商到大樓會(huì)議室向IT部長Ivana做遠(yuǎn)程匯報(bào)。“可以看到，在這個(gè)架構(gòu)中，主、副區(qū)作為核心區(qū)域，包括主存儲(chǔ)、副存儲(chǔ)、主數(shù)據(jù)庫、副數(shù)據(jù)庫，以及對外提供銷售系統(tǒng)數(shù)據(jù)讀寫的服務(wù)器，服務(wù)器集群與數(shù)據(jù)庫組成SAN網(wǎng)絡(luò)進(jìn)行通訊，可以不受外部網(wǎng)絡(luò)的影響。”張燁指著大屏幕，洪亮的聲音傳遍會(huì)議室。
➤“首先是存儲(chǔ)部分，我們的主存儲(chǔ)與副存儲(chǔ)保留有完全相同的數(shù)據(jù)副本，這主要得益于戴爾易安信SC存儲(chǔ)的LiveVolume技術(shù)——分別位于兩個(gè)存儲(chǔ)上的主副數(shù)據(jù)庫均可對外提供業(yè)務(wù)服務(wù)，主副存儲(chǔ)所連接的區(qū)域共同運(yùn)作同一系統(tǒng)，單塊區(qū)域的任何故障都不會(huì)影響業(yè)務(wù)的持續(xù)運(yùn)行。”
➤“其次，存儲(chǔ)區(qū)域外是我們的服務(wù)器集群，8臺(tái)服務(wù)器連接到2臺(tái)負(fù)載均衡設(shè)備，后者將會(huì)依據(jù)其內(nèi)算法對請求進(jìn)行分配，將原先由2臺(tái)服務(wù)器承擔(dān)的工作分配給8臺(tái)服務(wù)器來完成。同時(shí)，負(fù)載均衡設(shè)備會(huì)監(jiān)控鏈路狀態(tài)，如果8臺(tái)服務(wù)器中的任何一臺(tái)服務(wù)器或其鏈路出現(xiàn)故障，負(fù)載均衡設(shè)備會(huì)將業(yè)務(wù)請求交付給其他正常鏈路的服務(wù)器。”
➤“最后，在核心區(qū)域外，我們還設(shè)計(jì)了第三塊區(qū)域。大家請看左側(cè)，這塊區(qū)域我們配置了4臺(tái)服務(wù)器和1臺(tái)存儲(chǔ)，同樣是戴爾易安信SC存儲(chǔ)，位于第二區(qū)的副存儲(chǔ)會(huì)將數(shù)據(jù)異步復(fù)制到第三區(qū)域的存儲(chǔ)上，該存儲(chǔ)將會(huì)保留除主副數(shù)據(jù)庫外的第三個(gè)數(shù)據(jù)庫副本，配合前端服務(wù)器上安裝的程序對外提供銷售數(shù)據(jù)的只讀服務(wù)及數(shù)據(jù)報(bào)表接口。”
“第三區(qū)域存儲(chǔ)的數(shù)據(jù)計(jì)劃多久同步一次？”Ivana問道。
“每日凌晨1點(diǎn)開始同步。”張燁回答道。
“我有個(gè)疑問。”Ivana看著架構(gòu)圖，“據(jù)我所知，像你們架構(gòu)圖里的存儲(chǔ)雙活結(jié)構(gòu)，一般是需要特別設(shè)備或者網(wǎng)關(guān)進(jìn)行，這是忘記畫上去了嗎？”
“您也注意到了這一點(diǎn)。不過這并不是我們忘了，而是戴爾易安信SC存儲(chǔ)的LiveVolume技術(shù)無需額外設(shè)備或網(wǎng)關(guān)即可實(shí)現(xiàn)雙活。”張燁把目光投向王力，兩人相視一笑。
“哦？SC存儲(chǔ)可以實(shí)現(xiàn)無網(wǎng)關(guān)雙活？”
“是的，Ivana。此外，SC存儲(chǔ)還能用不同型號(hào)實(shí)現(xiàn)雙活，如若單個(gè)存儲(chǔ)效能不足，我們可以在集群中添加更多SC存儲(chǔ)，構(gòu)成聯(lián)邦在線遷移，使用效能更好的SC存儲(chǔ)承擔(dān)業(yè)務(wù)負(fù)載。”
“這樣啊……”線上的Ivana托起下巴，“真不錯(cuò)啊，SC存儲(chǔ)。這個(gè)架構(gòu)我看行，你們探討一下，定個(gè)時(shí)間跟軟件廠商開發(fā)人員一起測試吧。”
“好的！”
一個(gè)半小時(shí)的匯報(bào)結(jié)束后，王力與張燁走在第一分廠的林蔭小道上。
“方案基本已經(jīng)確定，測試沒有問題后我們就會(huì)采購了。真希望通過這個(gè)采購項(xiàng)目，戴爾易安信也能參與到我們的日常運(yùn)維中來，這樣我們才不會(huì)犯下之前的錯(cuò)誤，直到效能不足時(shí)候出問題的時(shí)候才想起來進(jìn)行系統(tǒng)改進(jìn)。”王力看著張燁一臉誠懇。
張燁聽完笑了笑：“老弟啊，要真有這個(gè)顧慮，建議采購時(shí)加上我們的優(yōu)化服務(wù)，這服務(wù)能提供一年一次的上門巡檢和無數(shù)次的遠(yuǎn)程巡檢，主動(dòng)監(jiān)測存儲(chǔ)狀態(tài)、進(jìn)行存儲(chǔ)配置優(yōu)化、定期給出存儲(chǔ)分析報(bào)告，出現(xiàn)效能問題或設(shè)備故障時(shí)會(huì)電話或郵件告知風(fēng)險(xiǎn)，相當(dāng)于協(xié)助你們管理這些存儲(chǔ)，你們運(yùn)維也能省不少心。”
“這敢情好?。≡鄣煤煤昧牧?！”夕陽下，王力滿臉寫著高興，連日來的烏云終于一掃而光了。
相關(guān)閱讀推薦：拼車可以創(chuàng)造出“偶遇”來嘛？
