DBA+開源工具:面向開發(fā)的MongoDB圖形可視化監(jiān)控
工具研發(fā)者介紹
賀春旸,凡普金科愛錢進(jìn)DBA團(tuán)隊(duì)負(fù)責(zé)人,《MySQL管理之道:性能調(diào)優(yōu)、高可用與監(jiān)控》第一、二版作者,曾任職于中國移動飛信、安卓機(jī)鋒網(wǎng)。致力于MariaDB、MongoDB等開源技術(shù)的研究,主要負(fù)責(zé)數(shù)據(jù)庫性能調(diào)優(yōu)、監(jiān)控和架構(gòu)設(shè)計(jì)。
工具下載:
https://github.com/hcymysql/mongo_monitor
簡介
一款面向研發(fā)人員查看的MongoDB圖形可視化監(jiān)控工具,借鑒了Percona PMM Grafana以及官方自帶的mongostat工具輸出的監(jiān)控指標(biāo)項(xiàng),去掉了一些不必要、看不懂的監(jiān)控項(xiàng)。目前采集了數(shù)據(jù)庫連接數(shù)、QPS/TPS、內(nèi)存使用率統(tǒng)計(jì),副本集replset狀態(tài)信息和同步復(fù)制延遲時(shí)長。
采用遠(yuǎn)程連接方式進(jìn)去獲取數(shù)據(jù),所以不需要在數(shù)據(jù)庫服務(wù)器端部署相關(guān)agent或計(jì)劃任務(wù),可實(shí)現(xiàn)微信和郵件報(bào)警。
注:監(jiān)控環(huán)境為MongoDB 3.2以上版本,2.X版本未測試。
Mongo狀態(tài)監(jiān)控,點(diǎn)擊圖表,可以查看歷史曲線圖:
1、連接數(shù)
2、QPS圖表
環(huán)境搭建
1、php-mysql驅(qū)動安裝:
shell> yum install -y php-pear php-devel php gcc openssl openssl-devel cyrus-sasl cyrus-sasl-devel httpd mysql php-mysql
2、php-mongo驅(qū)動安裝:
shell> pecl install mongo
把extension=mongo.so加入到/etc/php.ini最后一行
重啟httpd服務(wù),service httpd restart
注:如果通過pecl安裝報(bào)錯(cuò),請參考以下鏈接,進(jìn)行源碼安裝。PHP 5.4版本對應(yīng)的驅(qū)動版本是mongodb-1.3.4.tgz
參考鏈接:https://www.runoob.com/mongodb/mongodb-install-php-driver.html
3、創(chuàng)建MongoDB超級用戶權(quán)限(監(jiān)控采集數(shù)據(jù)時(shí)使用):
首先我們在被監(jiān)控的數(shù)據(jù)庫端創(chuàng)建授權(quán)帳號,允許采集器服務(wù)器能連接到MongoDB數(shù)據(jù)庫。由于需要執(zhí)行命令db.runCommand({serverStatus:1,repl:1}).repl和db.adminCommand( { replSetGetStatus: 1 } ).members,所以需要授予root角色,授權(quán)方式如下所示:
- > use admin
- >db.createUser({user:"admin",pwd:"123456",roles:[{role:"root",db:"admin"}]})
mongo_monitor部署
把https://github.com/hcymysql/mongo_monitor/archive/master.zip安裝包解壓縮到 /var/www/html/目錄下:
cd /var/www/html/mongo_monitor/
chmod 755 ./mail/sendEmail
chmod 755 ./weixin/wechat.py
注:郵件和微信報(bào)警調(diào)用的第三方工具,所以這里要賦予可執(zhí)行權(quán)限755。
1、導(dǎo)入Mongo Monitor監(jiān)控工具表結(jié)構(gòu)(mongo_monitor庫):
cd /var/www/html/mongo_monitor/
- mysql -uroot -p123456 < mongo_monitor_schema.sql
2、錄入被監(jiān)控主機(jī)的信息:
- INSERT INTO `mongo_status_info`
- (ip,tag,USER,pwd,PORT,authdb,send_mail_to_list,send_weixin_to_list,threshold_alarm_connection,threshold_alarm_repl)
- VALUES('10.10.159.31','MongoDB測試機(jī)1','admin','hechunyang','27017','admin','hechunyang','hechunyang@126.com',1000,60);
注,以下字段可以按照需求變更:
- ip字段含義:輸入被監(jiān)控Mongo的IP地址
- tag字段含義:輸入被監(jiān)控Mongo的業(yè)務(wù)名字
- user字段含義:輸入被監(jiān)控Mongo的用戶名(ROOT權(quán)限)
- pwd字段含義:輸入被監(jiān)控Mongo的密碼
- port字段含義:輸入被監(jiān)控MySQL的端口號
- authdb字段含義:輸入被監(jiān)控Mongo的數(shù)據(jù)庫登錄權(quán)限認(rèn)證庫名
- monitor字段含義:0為關(guān)閉監(jiān)控(也不采集數(shù)據(jù),直接跳過);1為開啟監(jiān)控(采集數(shù)據(jù))
- send_mail字段含義:0為關(guān)閉郵件報(bào)警;1為開啟郵件報(bào)警
- send_mail_to_list字段含義:郵件人列表
- send_weixin字段含義:0為關(guān)閉微信報(bào)警;1為開啟微信報(bào)警
- send_weixin_to_list字段含義:微信公眾號
- threshold_alarm_connection字段含義:設(shè)置連接數(shù)閥值(單位個(gè))
- threshold_alarm_repl字段含義:設(shè)置主從復(fù)制延遲閥值(單位秒)
3、修改conn.php配置文件:
vim /var/www/html/mongo_monitor/conn.php
$con = mysqli_connect("127.0.0.1","admin","hechunyang","mongo_monitor","3306") or die("數(shù)據(jù)庫鏈接錯(cuò)誤".mysql_error());
改成你的Mongo Monitor監(jiān)控工具表結(jié)構(gòu)(mongo_monitor庫)連接信息。
4、修改郵件報(bào)警信息:
cd /var/www/html/mongo_monitor/mail/
vim mail.php
system("./mail/sendEmail -f chunyang_he@139.com -t '{$this->send_mail_to_list}' -s smtp.139.com:25 -u '{$this->alarm_subject}' -o message-charset=utf8 -o message-content-type=html -m '報(bào)警信息:
{$this->alarm_info}' -xu chunyang_he@139.com -xp '123456' -o tls=no");
改成你的發(fā)件人地址、賬號密碼,里面的變量不用修改。
5、修改微信報(bào)警信息:
cd /var/www/html/mongo_monitor/weixin/
vim wechat.py
微信企業(yè)號設(shè)置移步https://github.com/X-Mars/Zabbix-Alert-WeChat/blob/master/README.md看此教程配置。
6、定時(shí)任務(wù)每分鐘抓取一次:
crontab -l
- */1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_status.php > /dev/null 2 >&1
- */1 * * * * cd /var/www/html/mongo_monitor; /usr/bin/php /var/www/html/mongo_monitor/check_mongo_repl.php > /dev/null 2 >&1
check_mongo_status.php(用來采集被監(jiān)控端Mongo狀態(tài)信息和觸發(fā)報(bào)警)
check_mongo_repl.php(用來采集被監(jiān)控端Mongo主從復(fù)制信息和觸發(fā)報(bào)警)
7、更改頁面自動刷新頻率:
vim mongo_replset_monitor.php
- http-equiv="refresh" content="600"
默認(rèn)頁面每600秒自動刷新一次。
8、頁面訪問:
http://yourIP/mongo_monitor/mongo_replset_monitor.php
加一個(gè)超鏈接,可方便地接入你們的自動化運(yùn)維平臺里。