負(fù)載均衡實(shí)例：如何解放晝夜不眠的網(wǎng)管？
原創(chuàng)【51CTO.com獨(dú)家特稿】筆者曾為客戶設(shè)計(jì)過一系列項(xiàng)目方案，在真正施工時發(fā)現(xiàn)：如果客戶方有24小時監(jiān)控人員時，單臺Nginx也是沒問題的(很多為客戶設(shè)計(jì)的1+2架構(gòu)就能滿足客戶需求)，如果機(jī)器多的話，建議用Keepalived作雙Nginx負(fù)載均衡器的HA。Nginx作負(fù)載均衡器的優(yōu)點(diǎn)許多，簡單概括為:①實(shí)現(xiàn)了可彈性化的架構(gòu)，在壓力增大的時候可以臨時添加tomcat服務(wù)器添加到這個架構(gòu)里面去;②upstream具有負(fù)載均衡能力，可以自動判斷下面的機(jī)器，并且自動踢出不能正常提供服務(wù)的機(jī)器；③相對于lvs而言，正則分發(fā)和重定向更為靈活。而Keepalvied可保證單個nginx負(fù)載均衡器的有效性，避免單點(diǎn)故障，整個拓補(bǔ)如下：
布置整個環(huán)境用到的軟件為:
- apache-tomcat-6.0.20.tar.gz
- jdk-6u16-linux-i586.bin
- nginx-0.7.17.tar.gz
- prce-7.7.tar.gz
①首先分別在3臺tomcat主機(jī)上布置java環(huán)境，安裝tomcat，具體步驟如下（apache-tomcat-6.0.tar.gz可在apache.org上下載，jdk-6u16-linux-i586.bin可是用文件挖掘者直接搜索下載http://www.fdigg.net/search_jdk-6-linux-i586.htm）：
第一步，安裝java環(huán)境。
JDK的安裝
- #chmod +x jdk-6u16-linux-i586.bin
- #./jdk-6u16-linux-i586.bin
到此JDK已經(jīng)安裝完成
建立符號鏈接
- # ln -s /usr/local/jdk-1.6.0-16/bin/java /usr/bin/java
- # ln -s /usr/local/jdk-1.6.0-16/bin/javac /usr/bin/javac
- ln -s /usr/local/jdk-1.6.0-16 /usr/local/jdk
- ln -s /usr/local/jdk-1.6.0-16/jre /usr/local/jre
TOMCAT的安裝
- #tar zxvf apache-tomcat-6.0.20.tar.gz
- #mv apache-tomcat-6.0.20 /usr/local/tomcat
設(shè)置環(huán)境變量: vim /etc/rc.d/rc.local，以追加的形式添加如下內(nèi)容
- JAVA_HOME=/usr/local/jdk
- export JAVA_HOME
- JRE_HOME=/usr/local/jre
- export JRE_HOME
- CLASSPATH=/usr/local/tomcat/common/lib/:/usr/local/jdk/lib:/usr/local/jre/lib
- export CLASSPATH
- PATH=$PATH:/usr/local/tomcat/bin/:/usr/local/apache/bin:/usr/local/jdk/bin:/usr/local/jre/bin
- export PATH
- TOMCAT_HOME=/usr/local/tomcat
- export TOMCAT_HOME
重啟服務(wù)器，啟動tomcat以檢查是否存在錯誤：
- #cd /usr/local/tomcat/bin
- #./startup.sh
http://IP地址:8080 可以看到貓頭:)成功了。#p#
②分別在二臺nginx負(fù)載均衡器上安裝nginx及配置
下載及安裝nginx:
- wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-7.7.tar.gz
- tar zxvf pcre-7.7.tar.gz
- cd pcre-7.7/
- ./configure
- make && make install
- wget http://sysoev.ru/nginx/nginx-0.7.17.tar.gz
- tar zxvf nginx-0.7.17.tar.gz
- cd nginx-0.7.17/
- ./configure --prefix=/usr/local/nginx --with-http_stub_status_module
- make && make install
這里貼上nginx.conf配置文件，不加任何說明，方便用X-shell直接粘貼，很人性化的噢:)二個nginx負(fù)載均衡器的文件一樣，配置完成后分別用/usr/local/nginx/sbin/nginx啟動。
- user www www;
- worker_processes 8;
- pid /usr/local/nginx/logs/nginx.pid;
- worker_rlimit_nofile 51200;
- events
- {
- use epoll;
- worker_connections 51200;
- }
- http{
- include mime.types;
- default_type application/octet-stream;
- server_names_hash_bucket_size 128;
- client_header_buffer_size 32k;
- large_client_header_buffers 4 32k;
- client_max_body_size 8m;
- sendfile on;
- tcp_nopush on;
- keepalive_timeout 60;
- tcp_nodelay on;
- fastcgi_connect_timeout 300;
- fastcgi_send_timeout 300;
- fastcgi_read_timeout 300;
- fastcgi_buffer_size 64k;
- fastcgi_buffers 4 64k;
- fastcgi_busy_buffers_size 128k;
- fastcgi_temp_file_write_size 128k;
- gzip on;
- gzip_min_length 1k;
- gzip_buffers 4 16k;
- gzip_http_version 1.0;
- gzip_comp_level 2;
- gzip_types text/plain application/x-javascript text/css application/xml;
- gzip_vary on;
- upstream backend
- {
- server 192.168.1.102:8080;
- server 192.168.1.103:8080;
- server 192.168.1.105:8080;
- }
- server {
- listen 80;
- server_name www.yuhongchun027.com;
- location / {
- root /var/www ;
- index index.jsp index.htm index.html;
- proxy_redirect off;
- proxy_set_header Host $host;
- proxy_set_header X-Real-IP $remote_addr;
- proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
- proxy_pass http://backend;
- }
- #location /nginx {
- #access_log on;
- #auth_basic "NginxStatus";
- #auth_basic_user_file /usr/local/nginx/htpasswd;
- #}
- log_format access '$remote_addr - $remote_user [$time_local] "$request" '
- '$status $body_bytes_sent "$http_referer" '
- '"$http_user_agent" $http_x_forwarded_for';
- access_log /var/log/access.log access;
- }
- }
③在二臺Nginx機(jī)上安裝及配置keepalived，做雙機(jī)互備。
- #wget http://www.keepalived.org/software/keepalived-1.1.15.tar.gz
- #tar zxvf keepalived-1.1.15.tar.gz
- #cd keepalived-1.1.15
- #./configure
- #make
- #make install
將keepalived做成啟動腳務(wù)，方便管理:
- #cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
- #cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
- #mkdir /etc/keepalived
- #cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/
- #cp /usr/local/sbin/keepalived /usr/sbin/
- #service keepalived start|stop
在二臺Nginx上，我分別貼出keepalived.conf配置文件，配置完成后分別用service keepalived start啟動。檢驗(yàn)keepalived是否成功可用命令ip a
- vrrp_instance VI_INET1 {
- state MASTER
- interface eth0
- virtual_router_id 53
- priority 200
- advert_int 1
- authentication {
- auth_type pass
- auth_pass yourpass
- }
- virtual_ipaddress {
- 192.168.1.108
- }
- }
- vrrp_instance VI_INET1 {
- state BACKUP
- interface eth0
- virtual_router_id 53
- priority 100
- advert_int 1
- authentication {
- auth_type pass
- auth_pass yourpass
- }
- virtual_ipaddress {
- 192.168.1.108
- }
- }
#p#
項(xiàng)目實(shí)施過程中遇到的問題:
1、session復(fù)制問題
以前用apache做負(fù)載均衡的時候，是選擇了用 session sticky的模式，這樣的話，用戶每次進(jìn)來都會是同一個服務(wù)器中的session，不會被轉(zhuǎn)發(fā)到其他的服務(wù)器上。在這樣的情況下，tomcat即使不做session復(fù)制也不會影響用戶訪問;Nginx有個類似模塊ip_hash能解決此問題，但采用了ip_hash后，nginx就不能正常地用輪詢將客戶的要求平等的分發(fā)到后端tomcat服務(wù)器，所幸客戶對并發(fā)要求不高，他們更關(guān)心的是后端的tomcat的高可用問題。
2、頁面同步
辦法①可以采用rsync自動同步的辦法。
辦法②后端采用存儲，讀數(shù)據(jù)采用同一個源。
辦法③在程序上實(shí)現(xiàn)動態(tài)的調(diào)取數(shù)據(jù)(如圖片及文字)采用后端的唯一數(shù)據(jù)庫。
3、關(guān)于測試
公司的測試組用的測試工具為windows2003下的Load Runner，很強(qiáng)大的一款，但有時采用了ip_hash后，結(jié)果并不準(zhǔn)確；解決為：在多臺服務(wù)器上，采用多種測試工具，如:webbench、Load Runner來進(jìn)行交叉測試。此外，生產(chǎn)環(huán)境下，并發(fā)1000就是一個很大的數(shù)值，用戶數(shù)為100萬的用戶系統(tǒng)往往并未達(dá)到此數(shù)，這點(diǎn)也是讓我們很驚異的；
4、安全方面：最前端建議放置Cisco四層防火墻+web防火墻的方法，效果相當(dāng)好；整個系統(tǒng)出口帶寬建議為100M，cisco防火墻映射整個系統(tǒng)的vip地址及80端口，系統(tǒng)內(nèi)所有服務(wù)器均關(guān)閉iptables防火墻。
5、監(jiān)控方面：用傳說中的監(jiān)控之神Nagios吧，配合139郵箱，效果不錯。另，簽于生產(chǎn)環(huán)境下的嚴(yán)謹(jǐn)性，歡迎來信交流撫琴煮酒：yuhongchun027@163.com。
