前言

通常一個(gè)網(wǎng)站數(shù)據(jù)庫(kù)掛掉后，后果將是非常嚴(yán)重的?；旧险麄€(gè)網(wǎng)站基本不可用了。對(duì)于一些網(wǎng)站來(lái)說(shuō)，當(dāng)數(shù)據(jù)庫(kù)掛掉后，如果能提供基本的瀏覽服務(wù)，也是不錯(cuò)的。本文將嘗試使用 varnish + nginx + lua 搭建網(wǎng)站降級(jí)系統(tǒng)來(lái)實(shí)現(xiàn)整個(gè)目標(biāo)。

[[138009]]

降級(jí)目標(biāo)

降級(jí)方案的目標(biāo)是，當(dāng)網(wǎng)站出現(xiàn)致命故障時(shí)（如出現(xiàn)500錯(cuò)誤，不能提供服務(wù)），可以把緩存的頁(yè)面數(shù)據(jù)展現(xiàn)給用戶。從而提供基本的瀏覽服務(wù)。

1. 只提供基本的瀏覽服務(wù)
2. 瀏覽的數(shù)據(jù)都是非登錄狀態(tài)下的數(shù)據(jù)
3. 支持手動(dòng)和自動(dòng)降級(jí)。自動(dòng)降級(jí)是當(dāng)后端返回500錯(cuò)誤次數(shù)在一段時(shí)間內(nèi)達(dá)到一定閾值(不包含503)。手動(dòng)降級(jí)是從控制界面操作。

降級(jí)方案

存儲(chǔ)

使用varnish作為存儲(chǔ)。有效的節(jié)約了物理內(nèi)存，并保持了較好的性能。

更新

使用crond腳本從nginx的access日志中分析出請(qǐng)求url，然后向varnish發(fā)請(qǐng)求，從而更新varnish的緩存。緩存的異步更新，減少對(duì)nginx的壓力。

降級(jí)

支持手動(dòng)降級(jí)和自動(dòng)降級(jí)。降級(jí)后，nginx自動(dòng)從varnish中提取數(shù)據(jù)，并返回給用戶。

流程圖

[[138010]]

流程描述

1. 用戶請(qǐng)求到nginx時(shí)，nginx會(huì)判斷當(dāng)前是否是降級(jí)狀態(tài)。如果屬于降級(jí)狀態(tài)，直接從varnish中獲取數(shù)據(jù)。非降級(jí)狀態(tài)，把請(qǐng)求轉(zhuǎn)到php-fpm。
2. 當(dāng)crond腳本請(qǐng)求varnish進(jìn)行緩存數(shù)據(jù)更新時(shí)，如果當(dāng)前varnish處于降級(jí)狀態(tài)，則不進(jìn)行緩存更新。如果沒(méi)有處在降級(jí)狀態(tài)，則把請(qǐng)求轉(zhuǎn)到nginx，獲取數(shù)據(jù)。然后把獲取的數(shù)據(jù)緩存到varnish中。
3. varnish會(huì)自動(dòng)監(jiān)控后端nginx的狀態(tài)。如果檢測(cè)到nginx已經(jīng)處于降級(jí)狀態(tài)，則varnish也會(huì)自動(dòng)進(jìn)入降級(jí)狀態(tài)。

安裝部署

vanish安裝到/home/varnish 目錄下。安裝步驟如下：

首先，安裝libpcre。

sudo yum install pcre pcre-devel

其次，安裝varnish。

./configure --prefix=/home/varnish
make
sudo -u admin make install
sudo -u admin mkdir -p /home/varnish/vcache/
sudo chown admin:admin -R /home/varnish
sudo -u admin touch /home/varnish/vcache/varnish_cache.data
sudo chmod 777 /home/varnish/vcache/varnish_cache.data

再次，修改varnish配置文件和部署相關(guān)腳本。點(diǎn)擊下載文件壓縮包。配置文件名為default.vcl。

***，啟動(dòng)varnish。啟動(dòng)腳本也在壓縮包中，名稱為 varnishctl

sudo /home/admin/varnish/sbin/varnishctl start

注意：?jiǎn)?dòng)后可以通過(guò)varnishlog命令查看是否運(yùn)行正常。如果出現(xiàn)以下字樣，說(shuō)明運(yùn)行正常。http的返回狀態(tài)為200

$ /home/varnish/bin/varnishlog
0 Backend_health - default Still healthy 4--X-RH 4 2 4 0.002698 0.001722 HTTP/1.1 200 OK

部署lua腳本

lua腳本在/home/admin/nginx/data/lua目錄下。 確保目錄下有如下幾個(gè)個(gè)腳本。

pc_get_downgrade_data.lua
init.lua
pc_status_stat.lua
pc_get_status.lua
pc_set_satus.lua

這幾個(gè)腳本在下載的壓縮包中有。

修改nginx配置文件

首先，在http域增加

init_by_lua_file 'lua/init.lua';
lua_shared_dict pc_status 1m;
lua_shared_dict pc_auto_status 1m;
#varnish config
upstream varnish{
    server 127.0.0.1:8080 weight=1 max_fails=2 fail_timeout=5s;
}

***，在server域宏增加如下配置。

location @php {
  include fastcgi_params;
}   
location @var {
 proxy_pass http://varnish$str_params;
}   
location ~* ^(.+\.php)(.*)$ {
  #check downgrade status, then get data from varnish
  set $str_params $uri;
  content_by_lua_file lua/pc_get_downgrade_data.lua;
}
location /hl_get_auto_status {
           if ($white_ip = 0) {
               return 403;
           }
           content_by_lua_file lua/pc_get_auto_status.lua;
 }
location /hl_get_status {
     if ($white_ip = 0) {
         return 403;
     }
     content_by_lua_file lua/pc_get_status.lua;
}
location /hl_set_status {
           if ($white_ip = 0) {
               return 403;
           }
           content_by_lua_file lua/pc_set_status.lua;
}
 
log_by_lua_file  lua/pc_status_stat.lua;

部署crond腳本

腳本varnish_crond.php。在crond中增加執(zhí)行命令。每分鐘執(zhí)行一次。

來(lái)自crond的請(qǐng)求，user-agent數(shù)據(jù)為varnish_crond。把user-agent為varnish_crond請(qǐng)求特殊處理。保證能正常請(qǐng)求，并返回相關(guān)數(shù)據(jù)。

降級(jí)管理

varnish降級(jí)

只要讓varnish配置中指定的監(jiān)控腳本check.php返回500錯(cuò)誤即可。varnish監(jiān)控到指定腳本不可用，自動(dòng)會(huì)進(jìn)入降級(jí)狀態(tài)。
當(dāng)腳本返回200狀態(tài)后，varnish自動(dòng)又會(huì)恢復(fù)正常。

nginx降級(jí)

設(shè)置降級(jí)：

curl -H "Host:demo.bo56.com" -i http://127.0.0.1/hl_set_status?status=1

恢復(fù)正常：

curl -H "Host:demo.bo56.com" -i http://127.0.0.1/hl_set_status?status=0

查看降級(jí)狀態(tài)：

curl -H "Host:demo.bo56.com" -i http://127.0.0.1/hl_get_status

如果返回的值為1表示降級(jí)。