在昨天的文章《??一日一技：反爬蟲的極致手段，幾行代碼直接炸了爬蟲服務(wù)器??》中，我講到了后端如何使用gzip返回極高壓縮率的文件，從而瞬間卡死爬蟲。

大家都知道我的公眾號風(fēng)格，兩頭得罪討好人 。昨天我?guī)土撕蠖?，今天我就幫幫爬蟲。作為爬蟲，如何避免踩中g(shù)zip炸彈?

最直接的方法，就是把你的爬蟲隱藏起來，因?yàn)間zip炸彈只能在發(fā)現(xiàn)了爬蟲以后使用，否則就會(huì)影響到正常用戶。只要你的爬蟲讓網(wǎng)站無法發(fā)現(xiàn)，那么自然就不會(huì)踩中炸彈。

如果你沒有把握隱藏爬蟲，那么，請繼續(xù)往下看。

查看gzip炸彈的URL返回的Headers，你會(huì)發(fā)現(xiàn)如下圖所示的字段：

你只需要判斷resp.headers中，是否有一個(gè)名為content-encoding，值包含gzip或deflate的字段。如果沒有這個(gè)字段，或者值不含gzip、deflate那么你就可以放心，它大概率不是炸彈。

值得一提的是，當(dāng)你不讀取resp.content、resp.text的時(shí)候，Requests是不會(huì)擅自給你解壓縮的，如下圖所示。因此你可以放心查看Headers。：

那么，如果你發(fā)現(xiàn)網(wǎng)站返回的內(nèi)容確實(shí)是gzip壓縮后的內(nèi)容了怎么辦呢?這個(gè)時(shí)候，我們?nèi)绾巫龅郊炔唤鈮嚎s，又能獲取到解壓以后的大小?

如果你本地檢查一個(gè).gz文件，那么你可以使用命令gzip -l xxx.gz來查看它的頭信息：

打印出來的數(shù)據(jù)中，第一個(gè)數(shù)字是壓縮后的大小，第二個(gè)數(shù)字是解壓以后的大小，第三個(gè)百分比是壓縮率。這些信息是儲(chǔ)存在壓縮文件的頭部信息中的，不用解壓就能獲取到。

那么當(dāng)我使用Requests的時(shí)候，如何獲得壓縮后的二進(jìn)制數(shù)據(jù)，防止它擅自解壓縮?方法其實(shí)非常簡單：

import requests

resp = requests.get(url, stream=True)
print(resp.raw.read())

運(yùn)行效果如下圖所示：

此時(shí)可以看到，這個(gè)大小是壓縮后的二進(jìn)制數(shù)據(jù)的大小?，F(xiàn)在，我們可以使用如下代碼，在不解壓的情況下，查詢到解壓縮后的文件大?。?/p>

import gzip
import io
import requests
resp = requests.get(url, stream=True)

decompressed = resp.raw.read()
with gzip.open(io.BytesIO(decompressed), 'rb') as g:
    g.seek(0, 2)
    origin_size = g.tell()
    print(origin_size)

運(yùn)行效果如下圖所示：

打印出來的數(shù)字轉(zhuǎn)成MB就是10MB，也就是我們昨天測試的解壓后的文件大小。

使用這個(gè)方法，我們就可以在不解壓的情況下，知道網(wǎng)站返回的gzip壓縮數(shù)據(jù)的實(shí)際大小。如果發(fā)現(xiàn)實(shí)際尺寸大得離譜，那就可以確定是gzip炸彈了，趕緊把它丟掉。