相對(duì)于Apache的同步IO模型，Nginx由于采用了NIO的緣故，性能上碾壓前者。Nginx是輕量級(jí)的，占用的系統(tǒng)資源更少，天然支持高并發(fā)。

今天我們就簡(jiǎn)單的討論一下nginx的線程模型。注意不是進(jìn)程模型哦。

[[329977]]

nginx的IO模型，大家應(yīng)該都有所了解。簡(jiǎn)單而言，就是一個(gè)master進(jìn)程和多個(gè)worker進(jìn)程(進(jìn)程數(shù)由配置決定);master進(jìn)程負(fù)責(zé)accept請(qǐng)求并隊(duì)列化，最后轉(zhuǎn)發(fā)給worker進(jìn)程并由其進(jìn)行請(qǐng)求處理和響應(yīng)的整個(gè)過(guò)程。

nginx是以多進(jìn)程模式運(yùn)行的。nginx在1.7.11版本提供了多線程特性(multi-threading)，不過(guò)這個(gè)多線程僅用在aio模型中對(duì)本地文件的操作上，出發(fā)點(diǎn)就是以非阻塞模式，來(lái)提高文件IO的效率和并發(fā)能力。

所以這個(gè)多線程，并不是nginx通過(guò)多線程的方式處理proxy request(這部分是通過(guò)epoll模式)，而是用來(lái)處理本地的一些靜態(tài)文件。

這里涉及到幾個(gè)基本指令：sendfile、aio和directio，它們均與本地文件的操作有關(guān)，接下來(lái)我們分別看看它的意義。

sendfile

這個(gè)指令與系統(tǒng)函數(shù)sendfile()具有相同的語(yǔ)義，sendfile的目的就是提高本地文件通過(guò)socket發(fā)送的效率。官方的博客介紹了如何利用nginx 線程池aio，實(shí)現(xiàn)9倍的性能。

它還有一個(gè)比較好記的名稱，叫做零拷貝。那與傳統(tǒng)的文件讀取然后發(fā)送到網(wǎng)絡(luò)上，有什么區(qū)別呢?

磁盤(pán)、網(wǎng)絡(luò)驅(qū)動(dòng)器、內(nèi)存是三種不同的傳輸介質(zhì)，如果從本地讀取一個(gè)文件并通過(guò)socket發(fā)送出去，通常情況下是進(jìn)過(guò)如下幾個(gè)步驟：

• 磁盤(pán)驅(qū)動(dòng)器從根據(jù)CPU的調(diào)度，從磁盤(pán)讀取一定長(zhǎng)度(chunk)的字節(jié)數(shù)據(jù)
• 字節(jié)數(shù)據(jù)copy到內(nèi)核內(nèi)存中
• 將內(nèi)核內(nèi)存中的數(shù)據(jù)copy到進(jìn)程工作區(qū)內(nèi)存
• 進(jìn)程通過(guò)socket將數(shù)據(jù)copy到網(wǎng)絡(luò)驅(qū)動(dòng)器緩存， 并通過(guò)相應(yīng)的傳輸協(xié)議發(fā)送出去。

可以看到，數(shù)據(jù)的發(fā)送過(guò)程涉及到多次copy，這受限于計(jì)算機(jī)系統(tǒng)的設(shè)計(jì)問(wèn)題。

sendfile的主要出發(fā)點(diǎn)，就是要減少數(shù)據(jù)的copy以提高發(fā)送效率，sendfile是linux系統(tǒng)級(jí)的調(diào)用，socket可以通過(guò)DMA(直接內(nèi)存訪問(wèn))方式直接訪問(wèn)文件數(shù)據(jù)，并通過(guò)傳輸協(xié)議發(fā)送，減少了2次數(shù)據(jù)copy(磁盤(pán)到內(nèi)核，內(nèi)核到工作區(qū))。

sendfile_max_chunk參數(shù)用于限定每次sendfile()調(diào)用發(fā)送的最大數(shù)據(jù)尺寸，如果不限制大小的話，將會(huì)獨(dú)占整個(gè)worker進(jìn)程，默認(rèn)為“無(wú)限制”。這也太霸道了。

對(duì)于nginx而言，代理靜態(tài)本地的靜態(tài)文件資源(通常是小文件)將是非常高效的，建議對(duì)一些靜態(tài)文件比如html、圖片等，開(kāi)啟此參數(shù)。

location /video { 
    sendfile on; 
    sendfile_max_chunk 128k; 
    aio on; 
} 

directio

這個(gè)指令用于開(kāi)啟對(duì)O_DIRECT標(biāo)記(BSD，linux)的使用，對(duì)應(yīng)directio()這個(gè)系統(tǒng)調(diào)用。

此參數(shù)是針對(duì)大文件而設(shè)定的，sendfile針對(duì)的是小文件。通過(guò)directio可以指定限定的尺寸大小，對(duì)于超過(guò)此size的文件，將會(huì)使用directio(而不再使用sendfile)。

根據(jù)directio的設(shè)計(jì)初衷，它具備sendfile的基本原理，只是不使用內(nèi)核cache，而是直接使用DMA，而且使用之后內(nèi)存cache(頁(yè)對(duì)齊部分)也將被釋放。

因此directio通常適用于大文件讀取，而且通常讀取頻率很低。因?yàn)閷?duì)于高頻的讀取，它并不能提高效率(因?yàn)樗粫?huì)重用cache，而是每次都DMA)。由于存在性能權(quán)衡問(wèn)題，此參數(shù)默認(rèn)為off。

location /video { 
    sendfile on; 
    directio 8m; 
    aio on; 
} 

aio

談到aio模型，其實(shí)語(yǔ)義也基本相同，就是異步文件IO，nginx默認(rèn)關(guān)閉此特性，它需要在高版本的linux平臺(tái)上才支持(2.6.22+)。

在linux上，directio只能讀取基于512字節(jié)邊界對(duì)齊的blocks，文件結(jié)束的那些未對(duì)齊的block將使用阻塞模式讀取。

同樣，如果文件在開(kāi)頭沒(méi)有對(duì)齊，整個(gè)文件都將阻塞式讀取。這里所謂的對(duì)齊，就是文件數(shù)據(jù)在內(nèi)存頁(yè)中的cache情況。

當(dāng)aio和sendfile都開(kāi)啟時(shí)，將會(huì)對(duì)那些size大于directio設(shè)定值的文件使用aio機(jī)制：即當(dāng)小于directio設(shè)定值的文件將直接使用sendfile(aio不參與)。

aio，簡(jiǎn)單而言，就是使用多線程異步模式讀取較大的文件，以提高IO效率，但是事實(shí)上可能并沒(méi)有任何提高。因?yàn)榇笪募淖x取，并不能使用cache、而且本身也是耗時(shí)的，即使是多線程，對(duì)于request的等待時(shí)間也是無(wú)法預(yù)估的，特別是并發(fā)請(qǐng)求較高的時(shí)候。但是aio能夠提高IO的并發(fā)能力，這個(gè)是確定的。

默認(rèn)情況下，多線程模式是關(guān)閉的，我們需要通過(guò)--with-threads配置來(lái)開(kāi)啟，此特性盡在支持epoll、kqueue的平臺(tái)上兼容。對(duì)于線程池的設(shè)置，我們可以通過(guò)thread_pool來(lái)聲明，并在aio指令中指定。

我們的配置文件近一步豐富了一些。

thread_pool default_pool threads=16;##main上下文 
... 
location /video { 
    sendfile on; 
    sendfile_max_chunk 128k; 
    directio 8M; 
    aio threads=default_pool; 
} 

當(dāng)線程池中所有的線程都處于busy狀態(tài)，那么新的task請(qǐng)求將會(huì)加入到等待隊(duì)列。我們可以在thread_pool中使用max_queue參數(shù)來(lái)指定隊(duì)列的大小，默認(rèn)隊(duì)列大小為65536，當(dāng)隊(duì)列已滿后續(xù)的請(qǐng)求將會(huì)拋出error。

END

nginx官方宣稱使用多線程模式，在aio讀取文件場(chǎng)景下，性能有9倍的提升，但我還是對(duì)這個(gè)測(cè)試具有一定懷疑態(tài)度。

多線程 + aio在一定程度的確可以提高文件IO的讀取性能，但是對(duì)于大文件而言，這似乎并沒(méi)有想象的那么優(yōu)秀。這受制于linux平臺(tái)底層的本身特性，除非nginx自己對(duì)文件cache做了額外的操作。

到目前為止，xjjdog仍有以下建議(供參考)：

• 對(duì)于小文件的靜態(tài)代理，我們應(yīng)該開(kāi)啟sendfile，這對(duì)性能的提升是顯著的。
• 對(duì)于大文件讀取(低頻)，我們可以嘗試開(kāi)啟aio、directio，在提升并發(fā)能力的前提下，關(guān)注request的實(shí)際響應(yīng)效率;既然官方推薦這么用，我們可以報(bào)以嘗試的態(tài)度。
• 對(duì)于高頻大文件讀取，aio、directio的性能或許提升并不顯著，但應(yīng)該不會(huì)降低性能。