漫談:HTTP網(wǎng)絡(luò)協(xié)議中Vary響應(yīng)頭
經(jīng)常抓包看 HTTP 請求的同學(xué)應(yīng)該對 Vary 這個響應(yīng)頭字段并不陌生,它有什么用?用 PageSpeed 工具檢查頁面時,經(jīng)常看到「Specify a Vary: Accept-Encoding header(請指定一個 Vary: Accept-Encoding 標(biāo)頭)」這樣的建議,為什么要這樣做?本文記錄我對 Vary 的一些研究,其中就包含這些問題的答案。
HTTP 內(nèi)容協(xié)商
要了解 Vary 的作用,先得了解 HTTP 的內(nèi)容協(xié)商機(jī)制。有時候,同一個 URL 可以提供多份不同的文檔,這就要求服務(wù)端和客戶端之間有一個選擇最合適版本的機(jī)制,這就是內(nèi)容協(xié)商。
協(xié)商方式有兩種,一種是服務(wù)端把文檔可用版本列表發(fā)給客戶端讓用戶選,這可以使用 300 Multiple Choices 狀態(tài)碼來實(shí)現(xiàn)。這種方案有不少問題,首先多一次網(wǎng)絡(luò)往返;其次服務(wù)端同一文檔的某些版本可能是為擁有某些技術(shù)特征的客戶端準(zhǔn)備的,而普通用戶不一定了解這些細(xì)節(jié)。舉個例子,服務(wù)端通常可以將靜態(tài)資源輸出為壓縮和未壓縮兩個版本,壓縮版顯然是為支持壓縮的客戶端而準(zhǔn)備的,但如果讓普通用戶選,很可能選擇錯誤的版本。
所以 HTTP 的內(nèi)容協(xié)商通常使用另外一種方案:服務(wù)端根據(jù)客戶端發(fā)送的請求頭中某些字段自動發(fā)送最合適的版本??梢杂糜谶@個機(jī)制的請求頭字段又分兩種:內(nèi)容協(xié)商專用字段(Accept 字段)、其他字段。
首先來看 Accept 字段,詳見下表:
請求頭字段 | 說明 | 響應(yīng)頭字段 |
Accept | 告知服務(wù)器發(fā)送何種媒體類型 | Content-Type |
Accept-Language | 告知服務(wù)器發(fā)送何種語言 | Content-Language |
Accept-Charset | 告知服務(wù)器發(fā)送何種字符集 | Content-Type |
Accept-Encoding | 告知服務(wù)器采用何種壓縮方式 | Content-Encoding |
例如客戶端發(fā)送以下請求頭:
Accept:*/* Accept-Encoding:gzip,deflate,sdch Accept-Language:zh-CN,en-US;q=0.8,en;q=0.6
表示它可以接受任何 MIME 類型的資源;支持采用 gzip、deflate 或 sdch 壓縮過的資源;可以接受 zh-CN、en-US 和 en 三種語言,并且 zh-CN 的權(quán)重***(q 取值 0 - 1,***為 1,***為 0,默認(rèn)為 1),服務(wù)端應(yīng)該優(yōu)先返回語言等于 zh-CN 的版本。
瀏覽器的響應(yīng)頭可能是這樣的:
Content-Type: text/javascript Content-Encoding: gzip
表示這個文檔確切的 MIME 類型是 text/javascript;文檔內(nèi)容進(jìn)行了 gzip 壓縮;響應(yīng)頭沒有 Content-Language 字段,通常說明返回版本的語言正好是請求頭 Accept-Language 中權(quán)重***的那個。
有時候,上面四個 Accept 字段并不夠用,例如要針對特定瀏覽器如 IE6 輸出不一樣的內(nèi)容,就需要用到請求頭中的 User-Agent 字段。類似的,請求頭中的 Cookie 也可能被服務(wù)端用做輸出差異化內(nèi)容的依據(jù)。
由于客戶端和服務(wù)端之間可能存在一個或多個中間實(shí)體(如緩存服務(wù)器),而緩存服務(wù)最基本的要求是給用戶返回正確的文檔。如果服務(wù)端根據(jù)不同 User-Agent 返回不同內(nèi)容,而緩存服務(wù)器把 IE6 用戶的響應(yīng)緩存下來,并返回給使用其他瀏覽器的用戶,肯定會出問題 。
所以 HTTP 協(xié)議規(guī)定,如果服務(wù)端提供的內(nèi)容取決于 User-Agent 這樣「常規(guī) Accept 協(xié)商字段之外」的請求頭字段,那么響應(yīng)頭中必須包含 Vary 字段,且 Vary 的內(nèi)容必須包含 User-Agent。同理,如果服務(wù)端同時使用請求頭中 User-Agent 和 Cookie 這兩個字段來生成內(nèi)容,那么響應(yīng)中的 Vary 字段看上去應(yīng)該是這樣的:
Vary: User-Agent, Cookie
也就是說 Vary 字段用于列出一個響應(yīng)字段列表,告訴緩存服務(wù)器遇到同一個 URL 對應(yīng)著不同版本文檔的情況時,如何緩存和篩選合適的版本。
有 BUG 的緩存服務(wù)
再來看 PageSpeed 的「Specify a Vary: Accept-Encoding header」這個提示,按照上面的說明,Accept-Encoding 屬于內(nèi)容協(xié)商專用字段,服務(wù)端只需要在響應(yīng)頭中增加 Content-Encoding 字段,用來指明內(nèi)容壓縮格式;或者不輸出 Content-Encoding 表明內(nèi)容未經(jīng)過壓縮就可以了。而緩存服務(wù)器,應(yīng)該針對不同的 Content-Encoding 緩存不同內(nèi)容,再根據(jù)具體請求中的 Accept-Encoding 字段返回最合適的版本。
但是有些實(shí)現(xiàn)得有 BUG 的緩存服務(wù)器,會忽略響應(yīng)頭中的 Content-Encoding,從而可能給不支持壓縮的客戶端返回緩存的壓縮版本。有兩個方案可以避免這種情況發(fā)生:
將響應(yīng)頭中的 Cache-Control 字段設(shè)為 private,告訴中間實(shí)體不要緩存它;
增加 Vary: Accept-Encoding 響應(yīng)頭,明確告知緩存服務(wù)器按照 Accept-Encoding 字段的內(nèi)容,分別緩存不同的版本;
通常為了更好的利用中間實(shí)體的緩存功能,我們都用第二種方案。
對于 css、js 這樣的靜態(tài)資源,只要客戶端支持 gzip,服務(wù)端應(yīng)該總是啟用它;同時為了避免有 BUG 的緩存服務(wù)器給用戶返回錯誤的版本,還應(yīng)該輸出 Vary: Accept-Encoding。
Nginx 和 SPDY
通常,上面說的這些工作,Web Server 都可以幫我們搞定。對于 Nginx 來說,下面這個配置可以自動給啟用了 gzip 的響應(yīng)加上 Vary: Accept-Encoding:
gzip_vary on;
#p#
用 curl 驗證我博客的 js 文件,響應(yīng)頭如下:
jerry@www:~$ curl --head https://imququ.com/.../xx.js HTTP/1.1 200 OK Server: nginx Date: Tue, 31 Dec 2013 16:34:48 GMT Content-Type: application/x-javascript Content-Length: 66748 Last-Modified: Tue, 31 Dec 2013 14:30:52 GMT Connection: keep-alive Vary: Accept-Encoding
ETag: "52c2d51c-104bc"
Expires: Fri, 29 Dec 2023 16:34:48 GMT
Cache-Control: max-age=315360000
Strict-Transport-Security: max-age=31536000
Accept-Ranges: bytes
可以看到,服務(wù)端正確輸出了「Vary: Accept-Encoding」,一切正常。
但是用 Chrome 自帶抓包工具看下,這個響應(yīng)頭卻是這樣:
HTTP/1.1 200 OK cache-control: max-age=315360000 content-encoding: gzip content-type: application/x-javascript date: Tue, 31 Dec 2013 16:35:27 GMT expires: Fri, 29 Dec 2023 16:35:27 GMT last-modified: Tue, 31 Dec 2013 14:30:52 GMT server: nginx status: 200 strict-transport-security: max-age=31536000 version: HTTP/1.1
我的博客支持 SPDY/2 協(xié)議,用 Chrome 訪問我博客會走 SPDY,所以上面的響應(yīng)頭看上有點(diǎn)不同尋常,例如字段名都變成了小寫;多了 status、version 等字段,這些變化下次專門介紹(注:見。神奇的是盡管服務(wù)端沒任何變化,但響應(yīng)中的 Vary: Accept-Encoding 卻不見了。
SPDY 規(guī)定客戶端必須支持壓縮,這意味著 SPDY 服務(wù)器可以直接啟用壓縮而不用關(guān)心請求頭中的 Accept-Encoding 字段。下面這段來自 Nginx 支持的 SPDY/2 協(xié)議:
User-agents are expected to support gzip and deflate compression. Regardless of the Accept-Encoding sent by the user-agent, the server may select gzip or deflate encoding at any time. [via]
于是,對于支持 SPDY 的客戶端來說,Vary: Accept-Encoding 沒有用途,Nginx 選擇直接去掉它,可以節(jié)省一點(diǎn)流量。curl 或其他不支持 SPDY 協(xié)議的客戶端還是走 HTTP 協(xié)議,所以看到的響應(yīng)頭是常規(guī)的。
Nginx 的這個做法是否合適一直有爭論,實(shí)際上并不是所有支持 SPDY 的 Web Server 都會這么做。例如即使通過 SPDY 協(xié)議訪問 Google 首頁的 js 文件,依然可以看到 vary: Accept-Encoding:
HTTP/1.1 200 OK status: 200 OK version: HTTP/1.1 age: 25762 alternate-protocol: 443:quic cache-control: public, max-age=31536000 content-encoding: gzip content-length: 154614 content-type: text/javascript; charset=UTF-8 date: Tue, 31 Dec 2013 23:23:51 GMT expires: Wed, 31 Dec 2014 23:23:51 GMT last-modified: Mon, 16 Dec 2013 21:54:35 GMT server: sffe vary: Accept-Encoding x-content-type-options: nosniff x-xss-protection: 1; mode=block
另外,現(xiàn)階段 Chrome 和 Firefox 都支持 SPDY 協(xié)議,但 PageSpeed Chrome 版和 Firefox 版都沒有針對 SPDY 協(xié)議做特別處理,所以用它們測試我的博客,還是會提示「Specify a Vary: Accept-Encoding header」,這有點(diǎn)讓人哭笑不得。不過 PageSpeed 在線版 已經(jīng)更新規(guī)則,估計擴(kuò)展版也快了。如果你有潔癖,可以在 Nginx 配置里加上「add_header vary accept-encoding;」手動輸出 Vary 響應(yīng)頭。