[[175875]]

實(shí)習(xí)中的一個(gè)主要工作就是分析 HTTP 中的協(xié)議，自己也用 Python 寫過正則表達(dá)式對(duì) HTTP 請(qǐng)求和響應(yīng)的內(nèi)容進(jìn)行匹配，然后把關(guān)鍵字段抽離出來放到一個(gè)字典中以備使用(可以稍微改造一下就是一個(gè)爬蟲工具)。

HTTP 協(xié)議中的很多坑，自己都遇到過，我就針對(duì)自己遇到的幾種 HTTP 常見的數(shù)據(jù)格式，來做一個(gè)總結(jié)。

Zlib 壓縮數(shù)據(jù)

對(duì)于 Zlib，一點(diǎn)也不陌生，我們平時(shí)用它來壓縮文件，常見類型有 zip、rar 和 7z 等。Zlib 是一種流行的文件壓縮算法，應(yīng)用十分廣泛，尤其是在 Linux 平臺(tái)。當(dāng)應(yīng)用 Zlib 壓縮到一個(gè)純文本文件時(shí)，效果是非常明顯的，大約可以減少70%以上的文件大小,這取決于文件中的內(nèi)容。

Zlib 也適用于 Web 數(shù)據(jù)傳輸，比如利用 Apache 中的 Gzip (后面會(huì)提到，一種壓縮算法) 模塊，我們可以使用 Gzip 壓縮算法來對(duì) Apache 服務(wù)器發(fā)布的網(wǎng)頁內(nèi)容進(jìn)行壓縮后再傳輸?shù)娇蛻舳藶g覽器。這樣經(jīng)過壓縮后實(shí)際上降低了網(wǎng)絡(luò)傳輸?shù)淖止?jié)數(shù)，最明顯的好處就是可以加快網(wǎng)頁加載的速度。

網(wǎng)頁加載速度加快的好處不言而喻，節(jié)省流量，改善用戶的瀏覽體驗(yàn)。而這些好處并不僅僅限于靜態(tài)內(nèi)容，PHP 動(dòng)態(tài)頁面和其他動(dòng)態(tài)生成的內(nèi)容均可以通過使用 Apache 壓縮模塊壓縮，加上其他的性能調(diào)整機(jī)制和相應(yīng)的服務(wù)器端 緩存規(guī)則，這可以大大提高網(wǎng)站的性能。因此，對(duì)于部署在 Linux 服務(wù)器上的 PHP 程序，在服務(wù)器支持的情況下，建議你開啟使用 Gzip Web 壓縮。

Gzip 壓縮兩種類型

壓縮算法不同，可以產(chǎn)生不同的壓縮數(shù)據(jù)(目的都是為了減小文件大小)。目前 Web 端流行的壓縮格式有兩種，分別是 Gzip 和 Defalte。

Apache 中的就是 Gzip 模塊，Deflate 是同時(shí)使用了 LZ77 算法與哈夫曼編碼(Huffman Coding)的一個(gè)無損數(shù)據(jù)壓縮算法。Deflate 壓縮與解壓的源代碼可以在自由、通用的壓縮庫 zlib 上找到。

更高壓縮率的 Deflate 是 7-zip 所實(shí)現(xiàn)的。AdvanceCOMP 也使用這種實(shí)現(xiàn)，它可以對(duì) gzip、PNG、MNG 以及 ZIP 文件進(jìn)行壓縮從而得到比 zlib 更小的文件大小。在 Ken Silverman的 KZIP 與 PNGOUT 中使用了一種更加高效同時(shí)要求更多用戶輸入的 Deflate 程序。

deflate 使用 inflateInit()，而 gzip 使用 inflateInit2() 進(jìn)行初始化，比 inflateInit() 多一個(gè)參數(shù): -MAX_WBITS，表示處理 raw deflate 數(shù)據(jù)。因?yàn)?gzip 數(shù)據(jù)中的 zlib 壓縮數(shù)據(jù)塊沒有 zlib header 的兩個(gè)字節(jié)。使用 inflateInit2 時(shí)要求 zlib 庫忽略 zlib header。在 zlib 手冊(cè)中要求 windowBits 為 8..15，但是實(shí)際上其它范圍的數(shù)據(jù)有特殊作用，如負(fù)數(shù)表示 raw deflate。

其實(shí)說這么多，總結(jié)一句話，Deflate 是一種壓縮算法,是 huffman 編碼的一種加強(qiáng)。 deflate 與 gzip 解壓的代碼幾乎相同，可以合成一塊代碼。

更多知識(shí)請(qǐng)見 維基百科 zlib。

Web 服務(wù)器處理數(shù)據(jù)壓縮的過程

Web服務(wù)器接收到瀏覽器的HTTP請(qǐng)求后，檢查瀏覽器是否支持HTTP壓縮(Accept-Encoding 信息);

如果瀏覽器支持HTTP壓縮，Web服務(wù)器檢查請(qǐng)求文件的后綴名;

如果請(qǐng)求文件是HTML、CSS等靜態(tài)文件，Web服務(wù)器到壓縮緩沖目錄中檢查是否已經(jīng)存在請(qǐng)求文件的***壓縮文件;

如果請(qǐng)求文件的壓縮文件不存在，Web服務(wù)器向?yàn)g覽器返回未壓縮的請(qǐng)求文件，并在壓縮緩沖目錄中存放請(qǐng)求文件的壓縮文件;

如果請(qǐng)求文件的***壓縮文件已經(jīng)存在，則直接返回請(qǐng)求文件的壓縮文件;

如果請(qǐng)求文件是動(dòng)態(tài)文件，Web服務(wù)器動(dòng)態(tài)壓縮內(nèi)容并返回瀏覽器，壓縮內(nèi)容不存放到壓縮緩存目錄中。

舉個(gè)栗子

說了這么多，下面舉一個(gè)例子，打開抓包軟件，訪問我們學(xué)校的官網(wǎng)( www.ecnu.edu.cn )，請(qǐng)求頭如下:

GET /_css/tpl2/system.css HTTP/1.1 
Host: www.ecnu.edu.cn 
Connection: keep-alive 
User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.59 Safari/537.36 
Accept: text/css,*/*;q=0.1 
Referer: http://www.ecnu.edu.cn/ 
Accept-Encoding: gzip, deflate 
Accept-Language: zh-CN,zh;q=0.8 
Cookie: a10-default-cookie-persist-20480-sg_bluecoat_a=AFFIHIMKFAAA  

在第七行， Accept-Encoding 顯示的是 gzip, deflate，這句話的意思是，瀏覽器告訴服務(wù)器支持 gzip 和 deflate 兩種數(shù)據(jù)格式，服務(wù)器收到這種請(qǐng)求之后，會(huì)進(jìn)行 gzip 或 deflate 壓縮(一般都是返回 gzip 格式的數(shù)據(jù))。

Python 的 urllib2 就可以設(shè)置這個(gè)參數(shù)：

request = urllib2.Request(url) 
request.add_header('Accept-encoding', 'gzip') 
//或者設(shè)置成 deflate 
request.add_header('Accept-encoding', 'deflate') 
//或者兩者都設(shè)置 
request.add_header('Accept-encoding', 'gzip, deflate')  

服務(wù)器給的響應(yīng)一般如下：

HTTP/1.1 200 OK 
Date: Sat, 22 Oct 2016 11:41:19 GMT 
Content-Type: text/javascript;charset=utf-8 
Transfer-Encoding: chunked 
Connection: close 
Vary: Accept-Encoding 
tracecode: 24798560510951725578102219 
Server: Apache 
Content-Encoding: gzip 
 
400a 
............ks#I. ...W...,....>..T..]..Z...Y..].MK..2..L..(略) 
//響應(yīng)體為壓縮數(shù)據(jù)  

從響應(yīng)頭來看，Content-Encoding: gzip 這段話說明響應(yīng)體的壓縮方式是 gzip 壓縮，一般有幾種情況，字段為空表示明文無壓縮，還有 Content-Encoding: gzip 和 Content-Encoding: deflate 兩種。

實(shí)際上 Gzip 網(wǎng)站要遠(yuǎn)比 Deflate 多，之前寫過一個(gè)簡(jiǎn)單爬蟲從 hao123的主頁開始爬，爬幾千個(gè)網(wǎng)頁(基本涵蓋所有常用的)，專門分析響應(yīng)體的壓縮類型，得到的結(jié)果是：

1. Accept-Encoding 不設(shè)置參數(shù)：會(huì)返回一個(gè)無壓縮的響應(yīng)體(瀏覽器比較特別，他們會(huì)自動(dòng)設(shè)置 Accept-Encoding: gzip： deflate 來提高傳輸速度);
2. Accept-Encoding: gzip，100% 的網(wǎng)站都會(huì)返回 gzip 壓縮，但不保證互聯(lián)網(wǎng)所有網(wǎng)站都支持 gzip(萬一沒開啟);
3. Accept-Encoding: deflate：只有不到 10% 的網(wǎng)站返回一個(gè) deflate 壓縮的響應(yīng)，其他的則返回一個(gè)沒有壓縮的響應(yīng)體。
4. Accept-Encoding: gzip, deflate：返回的結(jié)果也都是 gzip 格式的數(shù)據(jù)，說明在優(yōu)先級(jí)上 gzip 更受歡迎。

響應(yīng)頭的 Encoding 字段很有幫助，比如我們寫個(gè)正則表達(dá)式匹配響應(yīng)頭是什么壓縮：

(?<=Content-Encoding: ).+(?=\r\n) 

匹配到內(nèi)容為空說明沒有壓縮，為 gzip 說明響應(yīng)體要經(jīng)過 gzip 解壓，為 deflate 說明為 deflate 壓縮。

Python 中的 zlib 庫

在python中有zlib庫，它可以解決gzip、deflate和zlib壓縮。這三種對(duì)應(yīng)的壓縮方式分別是：

RFC 1950 (zlib compressed format) 
RFC 1951 (deflate compressed format) 
RFC 1952 (gzip compressed format)  

雖說是 Python 庫，但是底層還是 C(C++) 來實(shí)現(xiàn)的，這個(gè) http-parser 也是 C 實(shí)現(xiàn)的源碼，Nodejs 的 http-parser 也是 C 實(shí)現(xiàn)的源碼，zlib 的 C 源碼在這里。C 真的好牛逼呀!

在解壓縮的過程中，需要選擇 windowBits 參數(shù)：

to (de-)compress deflate format, use wbits = -zlib.MAX_WBITS 
to (de-)compress zlib format, use wbits = zlib.MAX_WBITS 
to (de-)compress gzip format, use wbits = zli  

例如，解壓gzip數(shù)據(jù)，就可以使用zlib.decompress(data, zlib.MAX_WBITS | 16)，解壓deflate數(shù)據(jù)可以使用zlib.decompress(data,- zlib.MAX_WBITS)。

當(dāng)然，對(duì)于gzip文件，也可以使用python的gzip包來解決，可以參考下面的代碼：

>>> import gzip 
>>> import StringIO 
>>> fio = StringIO.StringIO(gzip_data) 
>>> f = gzip.GzipFile(fileobj=fio) 
>>> f.read() 
'test' 
>>> f.close()  

也可以在解壓的時(shí)候自動(dòng)加入頭檢測(cè)，把32加入頭中就可以觸發(fā)頭檢測(cè)，例如：

>>> zlib.decompress(gzip_data, zlib.MAX_WBITS|32) 
'test' 
>>> zlib.decompress(zlib_data, zlib.MAX_WBITS|32) 
'test'  

以上參考 stackoverflow How can I decompress a gzip stream with zlib?。

剛接觸這些東西的時(shí)候，每天都會(huì)稀奇古怪的報(bào)一些錯(cuò)誤，基本上 Google 一下都能解決。

分塊傳輸編碼 chunked

分塊傳輸編碼(Chunked transfer encoding)是超文本傳輸協(xié)議(HTTP)中的一種數(shù)據(jù)傳輸機(jī)制，允許 HTTP 由網(wǎng)頁服務(wù)器發(fā)送給客戶端應(yīng)用( 通常是網(wǎng)頁瀏覽器)的數(shù)據(jù)可以分成多個(gè)部分。分塊傳輸編碼只在 HTTP 協(xié)議 1.1 版本(HTTP/1.1)中提供。

通常，HTTP 應(yīng)答消息中發(fā)送的數(shù)據(jù)是整個(gè)發(fā)送的，Content-Length 消息頭字段表示數(shù)據(jù)的長(zhǎng)度。數(shù)據(jù)的長(zhǎng)度很重要，因?yàn)榭蛻舳诵枰滥睦锸菓?yīng)答消息的結(jié)束，以及后續(xù)應(yīng)答消息的開始。然而，使用分塊傳輸編碼，數(shù)據(jù)分解成一系列數(shù)據(jù)塊，并以一個(gè)或多個(gè)塊發(fā)送，這樣服務(wù)器可以發(fā)送數(shù)據(jù)而不需要預(yù)先知道發(fā)送內(nèi)容的總大小。通常數(shù)據(jù)塊的大小是一致的，但也不總是這種情況。

分塊傳輸?shù)膬?yōu)點(diǎn)

HTTP 1.1引入分塊傳輸編碼提供了以下幾點(diǎn)好處：

• HTTP 分塊傳輸編碼允許服務(wù)器為動(dòng)態(tài)生成的內(nèi)容維持 HTTP 持久鏈接。通常，持久鏈接需要服務(wù)器在開始發(fā)送消息體前發(fā)送 Content-Length 消息頭字段，但是對(duì)于動(dòng)態(tài)生成的內(nèi)容來說，在內(nèi)容創(chuàng)建完之前是不可知的。
• 分塊傳輸編碼允許服務(wù)器在***發(fā)送消息頭字段。對(duì)于那些頭字段值在內(nèi)容被生成之前無法知道的情形非常重要，例如消息的內(nèi)容要使用散列進(jìn)行簽名，散列的結(jié)果通過 HTTP 消息頭字段進(jìn)行傳輸。沒有分塊傳輸編碼時(shí)，服務(wù)器必須緩沖內(nèi)容直到完成后計(jì)算頭字段的值并在發(fā)送內(nèi)容前發(fā)送這些頭字段的值。
• HTTP 服務(wù)器有時(shí)使用壓縮 (gzip 或 deflate)以縮短傳輸花費(fèi)的時(shí)間。分塊傳輸編碼可以用來分隔壓縮對(duì)象的多個(gè)部分。在這種情況下，塊不是分別壓縮的，而是整個(gè)負(fù)載進(jìn)行壓縮，壓縮的輸出使用本文描述的方案進(jìn)行分塊傳輸。在壓縮的情形中，分塊編碼有利于一邊進(jìn)行壓縮一邊發(fā)送數(shù)據(jù)，而不是先完成壓縮過程以得知壓縮后數(shù)據(jù)的大小。

注：以上內(nèi)容來自于維基百科。

分塊傳輸?shù)母袷?/strong>

HTTP/1.1 200 OK 
Date: Wed, 06 Jul 2016 06:59:55 GMT 
Server: Apache 
Accept-Ranges: bytes 
Transfer-Encoding: chunked 
Content-Type: text/html 
Content-Encoding: gzip 
Age: 35 
X-Via: 1.1 daodianxinxiazai58:88 (Cdn Cache Server V2.0), 1.1 yzdx147:1 (Cdn  
Cache Server V2.0) 
Connection: keep-alive 
 
a 
....k.|W.. 
166 
..OO.0...&~..;........]..(F=V.A3.X..~z...-.l8......y....).?....,....j..h .6 
....s.~.>..mZ .8/..,.)B.G.`"Dq.P].f=0..Q..d.....h......8....F..y......q.....4 
{F..M.A.*..a.rAra.... .n>.D 
..o@.`^.....!@ $...p...%a\D..K.. .d{2...UnF,C[....T.....c....V...."%.`U......? 
D....#..K..<.....D.e....IFK0.<...)]K.V/eK.Qz...^....t...S6...m...^..CK.XRU?m.. 
.........Z..#Uik...... 
0  

5\r\n 
ababa\r\n 
f\r\n 
123451234512345\r\n 
14\r\n 
12345123451234512345\r\n 
0\r\n  

(?<=Transfer-Encoding: ).+(?=\r\n) 

unchunked = b'' 
pos = 0 
while pos <= len(data): 
    chunkNumLen = data.find(b'\r\n', pos)-pos 
    //從***個(gè)元素開始，發(fā)現(xiàn)***個(gè)\r\n，計(jì)算length長(zhǎng)度 
    chunkLen=int(data[pos:pos+chunkNumLen], 16) 
    //把length的長(zhǎng)度轉(zhuǎn)換成int 
    if chunkLen == 0: 
        break 
        //如果長(zhǎng)度為0，則說明到結(jié)尾 
    chunk = data[pos+chunkNumLen+len('\r\n'):pos+chunkNumLen+len('\r\n')+chunkLen] 
    unchunked += chunk 
    //將壓縮數(shù)據(jù)拼接 
    pos += chunkNumLen+len('\r\n')+chunkLen+len('\r\n') 
    //同時(shí)pos位置向后移動(dòng) 
 
return unchunked 
//此時(shí)處理后unchunked就是普通的壓縮數(shù)據(jù)，可以用zlib解壓函數(shù)進(jìn)行解壓  

POST /cgi-bin/qtest HTTP/1.1 
Host: aram 
User-Agent: Mozilla/5.0 Gecko/2009042316 Firefox/3.0.10 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 
Accept-Language: en-us,en;q=0.5 
Accept-Encoding: gzip,deflate 
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7 
Keep-Alive: 300 
Connection: keep-alive 
Referer: http://aram/~martind/banner.htm 
Content-Type: multipart/form-data; boundary=::287032381131322 
Content-Length: 514 
 
--::287032381131322 
Content-Disposition: form-data; name="datafile1"; filename="r.gif" 
Content-Type: image/gif 
 
GIF87a.............,...........D..; 
--::287032381131322 
Content-Disposition: form-data; name="datafile2"; filename="g.gif" 
Content-Type: image/gif 
 
GIF87a.............,...........D..; 
--::287032381131322 
Content-Disposition: form-data; name="datafile3"; filename="b.gif" 
Content-Type: image/gif 
 
GIF87a.............,...........D..; 
--::287032381131322—