帶寬監(jiān)測(cè)系統(tǒng)的重要性不言而喻。它為運(yùn)營(yíng)商結(jié)算、網(wǎng)絡(luò)質(zhì)量監(jiān)控提供必要的數(shù)據(jù)支持，是每個(gè)擁有自建資源的互聯(lián)網(wǎng)公司必配系統(tǒng)之一。白山云科技（以下簡(jiǎn)稱“白山”）目前線上設(shè)備數(shù)千臺(tái)、分布于全球十幾個(gè)國(guó)家、跨越數(shù)十家運(yùn)營(yíng)商，在如此復(fù)雜的網(wǎng)絡(luò)環(huán)境下如何確保各設(shè)備帶寬數(shù)據(jù)精準(zhǔn)監(jiān)測(cè)，后期能按不同應(yīng)用場(chǎng)景靈活整合，并且在網(wǎng)絡(luò)規(guī)模擴(kuò)大到上萬(wàn)臺(tái)后仍然能輕松應(yīng)對(duì)，是技術(shù)上需要面對(duì)的挑戰(zhàn)。今年3月白山宣布其自主研發(fā)的帶寬監(jiān)控系統(tǒng)“Octopux”開源，將其優(yōu)秀解決方案貢獻(xiàn)給其他面臨類似挑戰(zhàn)的公司，同時(shí)誠(chéng)邀業(yè)界同仁共同促進(jìn)系統(tǒng)發(fā)展。本文內(nèi)容來(lái)自白山研發(fā)副總裁苗輝，下面就和大家深度分享白山帶寬監(jiān)測(cè)系統(tǒng)背后的秘密。

苗輝·白山研發(fā)副總裁

常規(guī)系統(tǒng)力不從心

和大多數(shù)其他公司一樣白山最初也選擇cacti作為帶寬監(jiān)測(cè)系統(tǒng)，但是隨著公司網(wǎng)絡(luò)規(guī)模和復(fù)雜度的不斷提高，在設(shè)備將近800臺(tái)時(shí)cacti已表現(xiàn)出嚴(yán)重的問題：

1、poller并發(fā)能力不足：為了完整監(jiān)測(cè)800臺(tái)設(shè)備，監(jiān)測(cè)粒度只能做到5分鐘，而業(yè)務(wù)層面對(duì)于1分鐘粒度的帶寬數(shù)據(jù)需求越來(lái)越強(qiáng)烈。

2、跨運(yùn)營(yíng)商監(jiān)測(cè)經(jīng)常失敗：即使cacti服務(wù)器部署在了三線BGP機(jī)房，仍然無(wú)法規(guī)避跨運(yùn)營(yíng)商監(jiān)測(cè)丟失數(shù)據(jù)的問題。

3、服務(wù)器IO成為瓶頸：800臺(tái)設(shè)備每5分鐘需要更新8000個(gè)RRD文件，磁盤出現(xiàn)了嚴(yán)重的IO瓶頸，導(dǎo)致數(shù)據(jù)消費(fèi)方難以忍受。

4、數(shù)據(jù)提取效率低：二進(jìn)制形式計(jì)入RRD文件的帶寬數(shù)據(jù)只能通過rrd-tool工具包提取出文本數(shù)據(jù)，面對(duì)形態(tài)多變的業(yè)務(wù)層數(shù)據(jù)提取需求表現(xiàn)得極其不靈活，更無(wú)法在提取接口實(shí)現(xiàn)數(shù)據(jù)聚合功能以降低消費(fèi)者的復(fù)雜度。

白山團(tuán)隊(duì)突破瓶頸

在此背景下，白山放棄了對(duì)cacti的繼續(xù)改造，在參考借鑒諸多開源系統(tǒng)的基礎(chǔ)上開發(fā)出當(dāng)前的帶寬監(jiān)測(cè)系統(tǒng)。系統(tǒng)的核心設(shè)計(jì)目標(biāo)是：99.9%的數(shù)據(jù)完整性***跨運(yùn)營(yíng)商和跨國(guó)家監(jiān)測(cè)問題、平臺(tái)可以水平擴(kuò)張至承載上萬(wàn)臺(tái)服務(wù)器的監(jiān)測(cè)、支持秒級(jí)粒度數(shù)據(jù)監(jiān)測(cè)、提供簡(jiǎn)單高效的數(shù)據(jù)查詢接口。

如上圖架構(gòu)圖所示：

swcollector負(fù)責(zé)數(shù)據(jù)的收集，以后臺(tái)進(jìn)程模式運(yùn)行在全網(wǎng)各個(gè)服務(wù)器上。收集來(lái)的數(shù)據(jù)傳輸給數(shù)據(jù)收集中心swtfr組件，在跨網(wǎng)或跨國(guó)環(huán)境下，如果swcollector無(wú)法將數(shù)據(jù)傳給swtfr，swcollector會(huì)主動(dòng)嘗試通過多臺(tái)gateway中轉(zhuǎn)的方式確保將監(jiān)測(cè)數(shù)據(jù)最終發(fā)送到swtfr。

全網(wǎng)共部署三套swtfr + influxdb + flow-api組件組合，任意一臺(tái)swtfr收到數(shù)據(jù)后立即copy三份，寫入三個(gè)influxdb中。flow-api負(fù)責(zé)數(shù)據(jù)的查詢和聚合，當(dāng)收到一個(gè)查詢請(qǐng)求后，將查詢數(shù)據(jù)拆分成最小粒度的查詢事件并發(fā)向三臺(tái)influxdb發(fā)起查詢，數(shù)據(jù)收齊后再做聚合處理。flow-api支持統(tǒng)計(jì)***值、平均值、最小值、group by等常用聚合操作。

當(dāng)前一分鐘監(jiān)測(cè)15w條數(shù)據(jù)，90%以上的數(shù)據(jù)能3s入庫(kù)，***規(guī)模數(shù)據(jù)查詢耗時(shí)3s內(nèi)，完全滿足業(yè)務(wù)需要。當(dāng)監(jiān)測(cè)規(guī)模較大時(shí)，可以通過水平擴(kuò)展swtfr + influxdb + flow-api組件組合提升系統(tǒng)性能，此外influxdb本身也可以方便地水平擴(kuò)展，以達(dá)到更大的存儲(chǔ)容量和更高的讀寫效率。

服務(wù)器的帶寬監(jiān)測(cè)為自發(fā)現(xiàn)方式，除支持各網(wǎng)卡進(jìn)出帶寬監(jiān)測(cè)外，還支持服務(wù)器內(nèi)/外網(wǎng)進(jìn)出帶寬的分開監(jiān)測(cè)、以及指定端口服務(wù)的內(nèi)/外網(wǎng)進(jìn)出帶寬的分開監(jiān)測(cè)。

交換機(jī)的帶寬數(shù)據(jù)監(jiān)測(cè)多份，一臺(tái)交換機(jī)會(huì)同時(shí)被本節(jié)點(diǎn)內(nèi)的一個(gè)swcollector和另外兩個(gè)不同節(jié)點(diǎn)的swcollector監(jiān)測(cè)，監(jiān)測(cè)周期20s，三份數(shù)據(jù)通過flow-api聚合后輸出1分鐘粒度的帶寬數(shù)據(jù)更為精準(zhǔn)。

與CMDB打通后可以自動(dòng)按節(jié)點(diǎn)網(wǎng)絡(luò)拓?fù)浞謱诱故?、合并展示、按用途合并展示、與客戶計(jì)費(fèi)帶寬對(duì)比分析等多種方式展現(xiàn)，數(shù)據(jù)查詢秒開。

下圖為該系統(tǒng)數(shù)據(jù)展示場(chǎng)景之一：

帶寬監(jiān)測(cè)系統(tǒng)是一個(gè)看似簡(jiǎn)單但實(shí)則復(fù)雜的系統(tǒng)，當(dāng)你的網(wǎng)絡(luò)規(guī)模達(dá)到一定程度你不得不克服網(wǎng)絡(luò)不通、數(shù)據(jù)不精準(zhǔn)、處理效率低等問題，白山已將Octopux系統(tǒng)開源，希望給大家?guī)?lái)更多靈感和參考，地址如下：

• https://github.com/baishancloud/octopux-swcollector
• https://github.com/baishancloud/octopux-swtfr
• https://github.com/baishancloud/octopus-gateway

另外隨著influxdb生態(tài)的不斷完善，influxdb無(wú)依賴易維護(hù)、輕量級(jí)高效率、豐富的可視化組件、自帶數(shù)據(jù)聚合能力等優(yōu)勢(shì)逐漸凸顯出來(lái)，白山正在嘗試基于該系統(tǒng)架構(gòu)打造第三代監(jiān)測(cè)系統(tǒng)，以實(shí)現(xiàn)更好的聚合分析和復(fù)雜策略報(bào)警功能。

以上是苗輝關(guān)于《白山帶寬監(jiān)測(cè)系統(tǒng)Octopux如何另辟蹊徑？》的詳細(xì)解說(shuō)，兩天之后苗輝會(huì)于WOT互聯(lián)網(wǎng)運(yùn)維與開發(fā)者峰會(huì)的自動(dòng)化運(yùn)維分會(huì)場(chǎng)為大家做主題為《質(zhì)量運(yùn)維化 – 白山的高品質(zhì)服務(wù)之道》的演講，詳細(xì)內(nèi)容如下：

【大會(huì)簡(jiǎn)介】

4月14-15日在北京珠三角JW萬(wàn)豪酒店，51CTO將舉辦WOT互聯(lián)網(wǎng)運(yùn)維與開發(fā)者峰會(huì)。WOT秉承專注技術(shù)，服務(wù)技術(shù)人群的理念，自 2012年***舉辦以來(lái)，歷經(jīng)4屆，積累了大量的技術(shù)資源，成為廣大技術(shù)從業(yè)者和技術(shù)愛好者一致認(rèn)可的技術(shù)分享大會(huì)、交流和人脈拓展平臺(tái)。

【講師簡(jiǎn)介】

苗輝，白山云科技研發(fā)副總裁，十年IT行業(yè)研發(fā)經(jīng)驗(yàn)。2007年至2011年帶領(lǐng)團(tuán)隊(duì)創(chuàng)建網(wǎng)宿科技CDN運(yùn)營(yíng)監(jiān)控體系，該體系是保證網(wǎng)宿科技CDN服務(wù)質(zhì)量的核心平臺(tái)之一，沿用至今；2011年任百度架構(gòu)師，負(fù)責(zé)百度自建CDN架構(gòu)和服務(wù)質(zhì)量的優(yōu)化改進(jìn)，實(shí)現(xiàn)自建CDN穩(wěn)定性業(yè)內(nèi)首達(dá)4個(gè)9，并成功承載百度搜索等80%的百度核心業(yè)務(wù)。

【主題：質(zhì)量運(yùn)維化 – 白山的高品質(zhì)服務(wù)之道】

演講摘要：運(yùn)維，你還在糾結(jié)選擇ansible或saltstack嗎？還在猶豫用python或perl嗎？還在苦惱到底是docker還是虛機(jī)嗎？隨著云服務(wù)時(shí)代的到來(lái)，運(yùn)維的目標(biāo)已不再僅是提高效率、較少出錯(cuò)、消除故障的自動(dòng)化運(yùn)維，而是以提高服務(wù)質(zhì)量為核心的涉及建設(shè)、部署、故障屏蔽、風(fēng)險(xiǎn)控制、全息運(yùn)營(yíng)、團(tuán)隊(duì)協(xié)作等諸多環(huán)節(jié)的質(zhì)量化運(yùn)維。4個(gè)月上量500G、超過90%的客戶PK服務(wù)質(zhì)量***，白山云科技研發(fā)副總裁苗輝帶你一起探索白山云科技的高品質(zhì)服務(wù)之道：質(zhì)量化運(yùn)維。