喜極而泣,我終于學會了Nginx!
原創(chuàng)【51CTO.com原創(chuàng)稿件】本文首先介紹 Nginx 的反向代理、負載均衡、動靜分離和高可用的原理,隨后詳解 Nginx 的配置文件,帶大家從原理到實戰(zhàn),徹底搞懂 Nginx!
圖片來自 Pexels
Nginx 是開源的輕量級 Web 服務器、反向代理服務器,以及負載均衡器和 HTTP 緩存器。其特點是高并發(fā),高性能和低內(nèi)存。
Nginx 專為性能優(yōu)化而開發(fā),性能是其最重要的考量,實現(xiàn)上非常注重效率,能經(jīng)受高負載的考驗,最大能支持 50000 個并發(fā)連接數(shù)。
Nginx 還支持熱部署,它的使用特別容易,幾乎可以做到 7x24 小時不間斷運行。Nginx 的網(wǎng)站用戶有:百度、淘寶、京東、騰訊、新浪、網(wǎng)易等。
反向代理
①正向代理
Nginx 不僅可以做反向代理,實現(xiàn)負載均衡,還能用做正向代理來進行上網(wǎng)等功能。
②反向代理
客戶端對代理服務器是無感知的,客戶端不需要做任何配置,用戶只請求反向代理服務器,反向代理服務器選擇目標服務器,獲取數(shù)據(jù)后再返回給客戶端。
反向代理服務器和目標服務器對外而言就是一個服務器,只是暴露的是代理服務器地址,而隱藏了真實服務器的 IP 地址。
負載均衡
將原先請求集中到單個服務器上的情況改為增加服務器的數(shù)量,然后將請求分發(fā)到各個服務器上,將負載分發(fā)到不同的服務器,即負載均衡。
動靜分離
為了加快網(wǎng)站的解析速度,可以把靜態(tài)頁面和動態(tài)頁面由不同的服務器來解析,加快解析速度,降低原來單個服務器的壓力。
高可用
為了提高系統(tǒng)的可用性和容錯能力,可以增加 Nginx 服務器的數(shù)量,當主服務器發(fā)生故障或宕機,備份服務器可以立即充當主服務器進行不間斷工作。
Nginx 配置文件
①文件結構
- ... #全局塊
- events { #events塊
- ...
- }
- http #http塊
- {
- ... #http全局塊
- server #server塊
- {
- ... #server全局塊
- location [PATTERN] #location塊
- {
- ...
- }
- location [PATTERN]
- {
- ...
- }
- }
- server
- {
- ...
- }
- ... #http全局塊
- }
Nginx 配置文件由三部分組成:
- 全局塊,主要設置一些影響 Nginx 服務器整體運行的配置指令。比如:worker_processes 1;worker_processes 值越大,可以支持的并發(fā)處理量就越多。
- Events 塊,涉及的指令主要影響 Nginx 服務器與用戶的網(wǎng)絡連接。比如:worker_connections 1024;支持的最大連接數(shù)。
- HTTP 塊,又包括 HTTP 全局塊和 Server 塊,是服務器配置中最頻繁的部分,包括配置代理、緩存、日志定義等絕大多數(shù)功能。Server 塊:配置虛擬主機的相關參數(shù)。Location 塊:配置請求路由,以及各種頁面的處理情況。
②配置文件
- ########### 每個指令必須有分號結束。#################
- #user administrator administrators; #配置用戶或者組,默認為nobody nobody。
- #worker_processes 2; #允許生成的進程數(shù),默認為1
- #pid /nginx/pid/nginx.pid; #指定nginx進程運行文件存放地址
- error_log log/error.log debug; #制定日志路徑,級別。這個設置可以放入全局塊,http塊,server塊,級別以此為:debug|info|notice|warn|error|crit|alert|emerg
- events {
- accept_mutex on; #設置網(wǎng)路連接序列化,防止驚群現(xiàn)象發(fā)生,默認為on
- multi_accept on; #設置一個進程是否同時接受多個網(wǎng)絡連接,默認為off
- #use epoll; #事件驅動模型,select|poll|kqueue|epoll|resig|/dev/poll|eventport
- worker_connections 1024; #最大連接數(shù),默認為512
- }
- http {
- include mime.types; #文件擴展名與文件類型映射表
- default_type application/octet-stream; #默認文件類型,默認為text/plain
- #access_log off; #取消服務日志
- log_format myFormat '$remote_addr–$remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for'; #自定義格式
- access_log log/access.log myFormat; #combined為日志格式的默認值
- sendfile on; #允許sendfile方式傳輸文件,默認為off,可以在http塊,server塊,location塊。
- sendfile_max_chunk 100k; #每個進程每次調(diào)用傳輸數(shù)量不能大于設定的值,默認為0,即不設上限。
- keepalive_timeout 65; #連接超時時間,默認為75s,可以在http,server,location塊。
- upstream mysvr {
- server 127.0.0.1:7878;
- server 192.168.10.121:3333 backup; #熱備
- }
- error_page 404 https://www.baidu.com; #錯誤頁
- server {
- keepalive_requests 120; #單連接請求上限次數(shù)。
- listen 4545; #監(jiān)聽端口
- server_name 127.0.0.1; #監(jiān)聽地址
- location ~*^.+$ { #請求的url過濾,正則匹配,~為區(qū)分大小寫,~*為不區(qū)分大小寫。
- #root path; #根目錄
- #index vv.txt; #設置默認頁
- proxy_pass http://mysvr; #請求轉向mysvr 定義的服務器列表
- deny 127.0.0.1; #拒絕的ip
- allow 172.18.5.54; #允許的ip
- }
- }
- }
配置實例
下面通過配置 Nginx 配置文件,實現(xiàn)正向代理、反向代理、負載均衡、Nginx 緩存、動靜分離和高可用 Nginx 6 種功能,并對 Nginx 的原理作進一步的解析。當需要使用 Nginx 配置文件時,參考本文實例即可,建議收藏。
①正向代理
正向代理的代理對象是客戶端。正向代理就是代理服務器替客戶端去訪問目標服務器。
實現(xiàn)效果:在瀏覽器輸入 www.google.com , 瀏覽器跳轉到 www.google.com 。
具體配置:
- server{
- resolver 8.8.8.8;
- listen 80;
- location / {
- proxy_pass http://$http_host$request_uri;
- }
- }
在需要訪問外網(wǎng)的客戶端上執(zhí)行以下一種操作即可:
- 1. 方法1(推薦)
- export http_proxy=http://你的正向代理服務器地址:代理端口
- 2. 方法2
- vim ~/.bashrc
- export http_proxy=http://你的正向代理服務器地址:代理端口
②反向代理
反向代理指代理后端服務器響應客戶端請求的一個中介服務器,代理的對象是服務端。
實現(xiàn)效果:在瀏覽器輸入 www.abc.com , 從 Nginx 服務器跳轉到 Linux 系統(tǒng) Tomcat 主頁面。
具體配置:
- server {
- listen 80;
- server_name 192.168.4.32; #監(jiān)聽地址
- location / {
- root html; #/html目錄
- proxy_pass http://127.0.0.1:8080; #請求轉向
- index index.html index.htm; #設置默認頁
- }
- }
實現(xiàn)效果:根據(jù)在瀏覽器輸入的路徑不同,跳轉到不同端口的服務中。
具體配置:
- server {
- listen 9000;
- server_name 192.168.4.32; #監(jiān)聽地址
- location ~ /example1/ {
- proxy_pass http://127.0.0.1:5000;
- }
- location ~ /example2/ {
- proxy_pass http://127.0.0.1:8080;
- }
- }
Location 指令說明:
- ~:表示 uri 包含正則表達式,且區(qū)分大小寫。
- ~*:表示 uri 包含正則表達式,且不區(qū)分大小寫。
- =:表示 uri 不含正則表達式,要求嚴格匹配。
③負載均衡
實現(xiàn)效果:在瀏覽器地址欄輸入 http://192.168.4.32/example/a.html ,平均到 5000 和 8080 端口中,實現(xiàn)負載均衡效果。
具體配置:
- upstream myserver {
- server 192.167.4.32:5000;
- server 192.168.4.32:8080;
- }
- server {
- listen 80; #監(jiān)聽端口
- server_name 192.168.4.32; #監(jiān)聽地址
- location / {
- root html; #html目錄
- index index.html index.htm; #設置默認頁
- proxy_pass http://myserver; #請求轉向 myserver 定義的服務器列表
- }
- }
Nginx 分配服務器策略:
輪詢(默認):按請求的時間順序依次逐一分配,如果服務器 down 掉,能自動剔除。
權重:weight 越高,被分配的客戶端越多,默認為 1。
比如:
- upstream myserver {
- server 192.167.4.32:5000 weight=10;
- server 192.168.4.32:8080 weight=5;
- }
IP:按請求 IP 的 Hash 值分配,每個訪客固定訪問一個后端服務器。
比如:
- upstream myserver {
- ip_hash;
- server 192.167.4.32:5000;
- server 192.168.4.32:8080;
- }
Fair:按后端服務器的響應時間來分配,響應時間短的優(yōu)先分配到請求。
比如:
- upstream myserver {
- fair;
- server 192.168.4.32:5000;
- server 192.168.4.32:8080;
- }
④Nginx 緩存
實現(xiàn)效果:在 3 天內(nèi),通過瀏覽器地址欄訪問 http://192.168.4.32/a.jpg,不會從服務器抓取資源,3 天后(過期)則從服務器重新下載。
具體配置:
- # http 區(qū)域下添加緩存區(qū)配置
- proxy_cache_path /tmp/nginx_proxy_cache levels=1 keys_zone=cache_one:512m inactive=60s max_size=1000m;
- # server 區(qū)域下添加緩存配置
- location ~ \.(gif|jpg|png|htm|html|css|js)(.*) {
- proxy_pass http://192.168.4.32:5000;#如果沒有緩存則轉向請求
- proxy_redirect off;
- proxy_cache cache_one;
- proxy_cache_valid 200 1h; #對不同的 HTTP 狀態(tài)碼設置不同的緩存時間
- proxy_cache_valid 500 1d;
- proxy_cache_valid any 1m;
- expires 3d;
- }
Expires 是給一個資源設定一個過期時間,通過 Expires 參數(shù)設置,可以使瀏覽器緩存過期時間之前的內(nèi)容,減少與服務器之間的請求和流量。
也就是說無需去服務端驗證,直接通過瀏覽器自身確認是否過期即可,所以不會產(chǎn)生額外的流量。此種方法非常適合不經(jīng)常變動的資源。
⑤動靜分離
實現(xiàn)效果:通過瀏覽器地址欄訪問 www.abc.com/a.html ,訪問靜態(tài)資源服務器的靜態(tài)資源內(nèi)容。
通過瀏覽器地址欄訪問 www.abc.com/a.jsp ,訪問動態(tài)資源服務器的動態(tài)資源內(nèi)容。
具體配置:
- upstream static {
- server 192.167.4.31:80;
- }
- upstream dynamic {
- server 192.167.4.32:8080;
- }
- server {
- listen 80; #監(jiān)聽端口
- server_name www.abc.com; 監(jiān)聽地址
- # 攔截動態(tài)資源
- location ~ .*\.(php|jsp)$ {
- proxy_pass http://dynamic;
- }
- # 攔截靜態(tài)資源
- location ~ .*\.(jpg|png|htm|html|css|js)$ {
- root /data/; #html目錄
- proxy_pass http://static;
- autoindex on;; #自動打開文件列表
- }
- }
⑥高可用
一般情況下,通過 Nginx 主服務器訪問后臺目標服務集群,當主服務器掛掉后,自動切換至備份服務器,此時由備份服務器充當主服務器的角色,訪問后端目標服務器。
實現(xiàn)效果:準備兩臺 Nginx 服務器,通過瀏覽器地址欄訪問虛擬 IP 地址,把主服務器的 Nginx 停止,再次訪問虛擬 IP 地址仍舊有效。
具體配置:
- # 安裝 keepalived
- yum install keepalived -y
- # 檢查版本
- rpm -q -a keepalived
- keepalived-1.3.5-16.el7.x86_64
1.在兩臺 Nginx 服務器上安 Keepalived:Keepalived 相當于一個路由,它通過一個腳本來檢測當前服務器是否還活著,如果還活著則繼續(xù)訪問,否則就切換到另一臺備份服務器。
2.修改主備服務器 /etc/keepalived/keepalivec.conf 配置文件(可直接替換),完成高可用主從配置。
Keepalived 將 Nginx 服務器綁定到一個虛擬 IP,Nginx 高可用集群對外統(tǒng)一暴露這個虛擬 IP,客戶端都是通過訪問這個虛擬 IP 來訪問 Nginx 服務器 。
- global_defs {
- notification_email {
- acassen@firewall.loc
- failover@firewall.loc
- sysadmin@firewall.loc
- }
- notification_email_from_Alexandre.Cassen@firewall.loc
- smtp_server 192.168.4.32
- smtp_connect_timeout 30
- router_id LVS_DEVEL # 在 /etc/hosts 文件中配置,通過它能訪問到我們的主機
- }
- vrrp_script_chk_http_port {
- script "/usr/local/src/nginx_check.sh"
- interval 2 # 檢測腳本執(zhí)行的時間間隔
- weight 2 # 權重每次加2
- }
- vrrp_instance VI_1 {
- interface ens7f0 # 網(wǎng)卡,需根據(jù)情況修改
- state MASTER # 備份服務器上將 MASTER 改為 BACKUP
- virtual_router_id 51 # 主備機的 virtual_router_id 必須相同
- priority 100 # 主備機取不同的優(yōu)先級,主機值較大,備份機值較小
- advert_int 1 # 每隔多長時間(默認1s)發(fā)送一次心跳,檢測服務器是否還活著
- authentication {
- auth_type PASS
- auth_pass 1111
- }
- virtual_ipaddress {
- 192.168.1.100 # VRRP H 虛擬地址,可以綁定多個
- }
- }
字段說明如下:
router_id:在 /etc/hosts 文件中配置,通過它能訪問到我們的主機。
- 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
- ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
- 127.0.0.1 LVS_DEVEL
interval:設置腳本執(zhí)行的間隔時間。
weight:當腳本執(zhí)行失敗即 Keepalived 或 Nginx 掛掉時,權重增加的值(可為負數(shù))。
interface:輸入 ifconfig 命令查看當前的網(wǎng)卡名是什么。
- ens7f0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
- inet 192.168.4.32 netmask 255.255.252.0 broadcast 192.168.7.255
- inet6 fe80::e273:9c3c:e675:7c60 prefixlen 64 scopeid 0x20<link>
- ... ...
3.在 /usr/local/src 目錄下添加檢測腳本 nginx_check.sh:
- #!/bin/bash
- A=`ps -C nginx -no-header |wc -l`
- if [ $A -eq 0 ];then
- /usr/local/nginx/sbin/nginx
- sleep 2
- if [ ps -C nginx -no-header |wc -l` -eq 0 ];then
- killall keepalived
- fi
- fi
4.啟動兩臺服務器的 Nginx 和 Keepalived:
- # 啟動 nginx
- ./nginx
- # 啟動 keepalived
- systemctl start keepalived.service
5.查看虛擬 IP 地址 IP a。把主服務器 192.168.4.32 Nginx 和 Keepalived 停止,再訪問虛擬 IP 查看高可用效果。
原理解析
Nginx 啟動之后,在 Linux 系統(tǒng)中有兩個進程,一個為 Master,一個為 Worker。
Master 作為管理員不參與任何工作,只負責給多個 Worker 分配不同的任務(Worker 一般有多個)。
- ps -ef |grep nginx
- root 20473 1 0 2019 ? 00:00:00 nginx: master process /usr/sbin/nginx
- nginx 4628 20473 0 Jan06 ? 00:00:00 nginx: worker process
- nginx 4629 20473 0 Jan06 ? 00:00:00 nginx: worker process
Worker 是如何工作的?客戶端發(fā)送一個請求首先要經(jīng)過 Master,管理員收到請求后會將請求通知給 Worker。
多個 Worker 以爭搶的機制來搶奪任務,得到任務的 Worker 會將請求經(jīng)由 Tomcat 等做請求轉發(fā)、反向代理、訪問數(shù)據(jù)庫等(Nginx 本身是不直接支持 Java 的)。
一個 Master 和多個 Worker 的好處?
- 可以使用 nginx -s reload 進行熱部署。
- 每個 Worker 是獨立的進程,如果其中一個 Worker 出現(xiàn)問題,其他 Worker 是獨立運行的,會繼續(xù)爭搶任務,實現(xiàn)客戶端的請求過程,而不會造成服務中斷。
設置多少個 Worker 合適?Nginx 和 Redis 類似,都采用了 IO 多路復用機制,每個 Worker 都是一個獨立的進程,每個進程里只有一個主線程。
通過異步非阻塞的方式來處理請求,每個 Worker 的線程可以把一個 CPU 的性能發(fā)揮到極致,因此,Worker 數(shù)和服務器的 CPU 數(shù)相等是最為適宜的。
思考:
- 發(fā)送一個請求,會占用 Worker 幾個連接數(shù)?
- 有一個 Master 和 4 個 Worker,每個 Worker 支持的最大連接數(shù)為 1024,該系統(tǒng)支持的最大并發(fā)數(shù)是多少?
恭喜!目前為止你已經(jīng)掌握了 Nginx 6 種功能的配置方式,并和我一起進一步探討了 Nginx 的原理。最后兩個面試中可能會問到的思考題,歡迎大家評論區(qū)積極討論。
作者:臧遠慧
簡介:就職于中科星圖股份有限公司(北京),研發(fā)部后端技術組。個人擅長 Python/Java 開發(fā),了解前端基礎;熟練掌握 MySQL,MongoDB,了解 Redis;熟悉 Linux 開發(fā)環(huán)境,掌握 Shell 編程,有良好的 Git 源碼管理習慣;精通 Nginx ,F(xiàn)lask、Swagger 開發(fā)框架;有 Docker+Kubernetes 云服務開發(fā)經(jīng)驗。對人工智能、云原生技術有較大的興趣。
【51CTO原創(chuàng)稿件,合作站點轉載請注明原文作者和出處為51CTO.com】