淺談Nginx性能調(diào)優(yōu)
Linux系統(tǒng)參數(shù)優(yōu)化
下文中提到的一些配置，需要較新的Linux（2.6以上）內(nèi)核才能夠支持，筆者使用的CentOS 7.4，內(nèi)核版本3.10，如果不滿足需要的話，最好進行相應的升級，畢竟打補丁是件費力不討好的事情。對于系統(tǒng)層面的調(diào)優(yōu)，通常我們修改文件描述符限制、緩沖區(qū)隊列長度以及臨時端口數(shù)量就可以了。
文件描述符限制
由于每個TCP連接都要占用一個文件描述符，一旦文件描述符耗盡，新的連接到來就會返回“Too many open files”這樣的錯誤，為了提高性能，我們需要對其進行修改：1.系統(tǒng)層級的限制 編輯文件 /etc/sysctl.conf，添加如下內(nèi)容：
- 1. `fs.file-max =10000000`
- 2. `fs.nr_open =10000000`
2.用戶層級的限制 編輯文件 /etc/security/limits.conf，添加以下內(nèi)容：
- 1. `* hard nofile 1000000`
- 2. `* soft nofile 1000000`
這里我們只要保證用戶層級限制不大于系統(tǒng)層級限制就可以了，否則可能會出現(xiàn)無法通過SSH登錄系統(tǒng)的問題。修改完畢執(zhí)行如下命令：
- 1. `$ sysctl -p`
可以通過執(zhí)行命令 ulimit -a查看是否修改成功。
TCP連接隊列長度
編輯文件 /etc/sysctl.conf，添加如下內(nèi)容：
- 1. `# The length of the syn quene`
- 2. `net.ipv4.tcp_max_syn_backlog =65535`
- 3. `# The length of the tcp accept queue`
- 4. `net.core.somaxconn =65535`
其中 tcp_max_syn_backlog用于指定半連接SYN隊列長度，當新連接到來時，系統(tǒng)會檢測半連接SYN隊列，如果隊列已滿，則無法處理該SYN請求，并在 /proc/net/netstat中的 ListenOverflows和 ListenDrops中增加統(tǒng)計計數(shù)somaxconn用于指定全連接ACCEPT隊列長度，當該隊列滿了以后，客戶端發(fā)送的ACK包將無法被正確處理，并返回錯誤"connection reset by peer"Nginx則會記錄一條error日志"no live upstreams while connecting to upstreams"如果出現(xiàn)以上錯誤，我們需要考慮增大這兩項的配置。
臨時端口
由于Nginx用作代理，每個到上游Web服務的TCP連接都要占用一個臨時端口，因此我們需要修改 ip_local_port_range參數(shù) 修改 /etc/sysctl.conf文件，添加如下內(nèi)容：
- 1. `net.ipv4.ip_local_port_range =102465535`
- 2. `net.ipv4.ip_local_reserved_ports =8080,8081,9000-9010`
其中，參數(shù) ip_local_reserved_ports用于指定保留端口，這是為了防止服務端口被占用而無法啟動。
Nginx參數(shù)優(yōu)化
Nginx參數(shù)優(yōu)化主要圍繞 nginx.conf這個配置文件展開，下文不再贅述。
工作進程
Nginx性能強大的一個重要原因在于它采用多進程非阻塞I/O模型，因此我們要妥善利用這一點：
- worker_processes 默認的Nginx只有一個master進程一個worker進程，我們需要對其進行修改，可以設置為指定的個數(shù)，也可以設置為 auto，即系統(tǒng)的CPU核數(shù)。更多的worker數(shù)量將導致進程間競爭cpu資源，從而帶來不必要的上下文切換。因此這里我們將它設置為cpu的核數(shù)即可： worker_processes auto
- worker_connections 每個worker可以處理的并發(fā)連接數(shù)，默認值512不是很夠用，我們適當將它增大： worker_connections 4096
- Nginx支持以下I/O復用方法處理連接：select、 poll、 kqueue、 epoll、 rtsig、 /dev/poll、 eventport。它們分別適用于不同的操作系統(tǒng)，其中 epoll是Linux系統(tǒng)上面效率最高的： use epoll
KeepAlive
為了避免從Nginx到Web服務頻繁的建立、斷開連接，我們可以啟用從HTTP 1.1開始支持的KeepAlive長連接特性，它可以大幅減少CPU和網(wǎng)絡開銷，在我們的實戰(zhàn)中也是對性能提高最大的一環(huán)。keepalive必須和 proxy_http_version與 proxy_set_header結(jié)合使用， 參考配置如下：
- 1. `upstream BACKEND {`
- 2. ` keepalive 300;`
- 3. ` server 127.0.0.1:8081;`
- 4. `}`
- 5. `server {`
- 6. ` listen 8080;`
- 7. ` location /{`
- 8. ` proxy_pass http://BACKEND;`
- 9. ` proxy_http_version 1.1;`
- 10. ` proxy_set_header Connection"";`
- 11. `}`
- 12. `}`
其中 keepalive既非timeout，也不是連接池數(shù)量，官方解釋如下：
The connections parameter sets the maximum number of idle keepalive connections to upstream servers that are preserved in the cache of each worker process. When this number is exceeded, the least recently used connections are closed.
可以看出它的意思是“最大空閑長連接數(shù)量”，超出這個數(shù)量的空閑長連接將被回收，當請求數(shù)量穩(wěn)定而平滑時，空閑長連接數(shù)量將會非常?。ń咏?），而現(xiàn)實中請求數(shù)量是不可能一直平滑而穩(wěn)定的，當請求數(shù)量有波動時，空閑長連接數(shù)量也隨之波動：
- 當空閑長連接數(shù)量大于配置值時，將會導致大于配置值的那部分長連接被回收；
- 當長連接不夠用時，將會重新建立新的長連接。
因此，如果這個值過小的話，就會導致連接池頻繁的回收、分配、再回收。為了避免這種情況出現(xiàn)，可以根據(jù)實際情況適當調(diào)整這個值，在我們實際情況中，目標QPS為6000，Web服務響應時間約為200ms，因此需要約1200個長連接，而 keepalive值取長連接數(shù)量的10%~30%就可以了，這里我們?nèi)?00，如果不想計算，直接設為1000也是可行的。
Access-Log緩存
記錄日志的I/O開銷比較高，好在Nginx支持日志緩存，我們可以利用這個功能，降低寫日志文件的頻率，從而提高性能?？梢詫?buffer和 flush兩個參數(shù)結(jié)合使用來控制緩存行為：
- 1. `access_log /var/logs/nginx-access.log buffer=64k gzip flush=1m`
其中 buffer制定了緩存大小，當緩沖區(qū)達到 buffer所指定的大小時，Nginx就會將緩存起來的日志寫到文件中；flush指定了緩存超時時間，當 flush指定的時間到達時，也會觸發(fā)緩存日志寫入文件操作。
文件描述符限制
上一節(jié)中已經(jīng)對Linux系統(tǒng)的文件描述符限制進行了修改，Nginx配置中同樣有相應的配置項：worker_rlimit_nofile, 理論上這個值應該設置為 /etc/security/limits.conf 中的值除以 worker_processes, 但實際中不可能每個進程均勻分配，所以這里只要設置成和 /etc/security/limits.conf 一樣就可以了
- 1. `worker_rlimit_nofile 1000000;`
總結(jié)
以上就是筆者進行Nginx調(diào)優(yōu)的一些經(jīng)驗，可以看出基本是圍繞Nginx的Error日志展開的，之后又對一些比較大的性能瓶頸進行了一些改進。Nginx能夠優(yōu)化的地方非常多，本文只涉及到了其中很小的一些方面，但也足夠滿足我們的使用場景了。
