爬蟲和人一樣，也分善惡。

[[390650]]

像百度、谷歌這樣的搜索引擎，不斷地爬取網(wǎng)絡(luò)上的各種信息，分析這些信息，是為了給用戶提供需要的信息，同時(shí)還能給網(wǎng)站增加流量。用戶、網(wǎng)站都很開心，這樣的爬蟲我們稱之為善意爬蟲。

但是，有的爬蟲卻不是這樣的，它恨不得每秒訪問你的網(wǎng)站，點(diǎn)擊幾萬次，毫不留情的搬走網(wǎng)絡(luò)數(shù)據(jù)，一點(diǎn)點(diǎn)殘?jiān)疾涣粝?，這種就是惡意爬蟲。

著名調(diào)查機(jī)構(gòu)Aberdeen Group曾經(jīng)在2019年做過一次調(diào)查，整個(gè)互聯(lián)網(wǎng)中，惡意爬蟲產(chǎn)生的流量，占全網(wǎng)流量的24.1%。

這些流量除了消耗資源來，對(duì)互聯(lián)網(wǎng)來說，沒有產(chǎn)生任何的價(jià)值。

惡意爬蟲主要寄生在出行、社交、電商等各大行業(yè)，無時(shí)無刻不在侵?jǐn)_從業(yè)者。

出行是重災(zāi)區(qū)

哪一個(gè)行業(yè)被爬蟲襲擾最多，從驗(yàn)證碼識(shí)別難度就能看出來。出行行業(yè)中惡意爬蟲占比最高，驗(yàn)證碼識(shí)別難度首屈一指。

許多用戶都有曾經(jīng)被12306驗(yàn)證碼支配過的恐懼。如此高識(shí)別難度的驗(yàn)證碼，不是為了故意刁難，而是為了對(duì)抗惡意爬蟲。

公開數(shù)據(jù)顯示，12306最高峰時(shí)1天內(nèi)頁面瀏覽量達(dá)813.4億次，1小時(shí)最高點(diǎn)擊量59.3億次，平均每秒164.8萬次。這還是加了驗(yàn)證碼后的數(shù)據(jù)。

可想而知，惡意爬蟲是多么想爬取12306的數(shù)據(jù)。

除了鐵路購(gòu)票，航空運(yùn)輸，酒店訂購(gòu)等等，爬蟲都不挑食，照單全收。

營(yíng)銷的集中營(yíng)

爬蟲也很喜歡各大社交平臺(tái)，尤其是微博。

爬蟲會(huì)不斷地獲取某個(gè)人微博的列表、狀態(tài)和索引，不斷地瘋狂關(guān)注、點(diǎn)贊和瀏覽，將一些運(yùn)營(yíng)數(shù)據(jù)蹭蹭蹭地刷上去，營(yíng)造一種很熱鬧的假象。

這類騷操作還有很多。

比如某一明星的微博發(fā)起了一項(xiàng)活動(dòng)，他們就能指揮爬蟲大軍去搶，妥妥地將獎(jiǎng)品收入囊中。

爬電商平臺(tái)

很多人都用過類似比價(jià)、返利的APP，這些APP也有爬蟲的功勞。

它們會(huì)去各大電商平臺(tái)，爬取價(jià)格數(shù)據(jù)，聚合到APP上供用戶購(gòu)買，再通過廣告、競(jìng)價(jià)等方式獲得收入。

爬蟲違不違法?

說了這么多，難道我國(guó)現(xiàn)行的法律，不能管管嗎?

翻一翻《中華人民共和國(guó)網(wǎng)絡(luò)安全法》，我們看不到有任何一條，關(guān)于爬取網(wǎng)絡(luò)公開信息是違法行為的條款。

只要數(shù)據(jù)是公開的，而且爬取的時(shí)候，不會(huì)破壞對(duì)方的系統(tǒng)，并不會(huì)觸犯相關(guān)的法律。

但是，對(duì)于企業(yè)來說，這些爬蟲的行為，確實(shí)是傷害到自己，造成很多的資源浪費(fèi)，還會(huì)使自己在同行競(jìng)爭(zhēng)中處于不利地位。

所以，一般來說，企業(yè)往往會(huì)采取很多措施，來提高爬蟲的準(zhǔn)入門檻，比如圖片驗(yàn)證碼、滑塊驗(yàn)證、封禁IP等等。

除了這些手段，有的企業(yè)還會(huì)使用Web應(yīng)用防火墻(WAF)進(jìn)行防護(hù)，識(shí)別和管理爬蟲，抵御惡意爬蟲帶來的危害。

企業(yè)與爬蟲的戰(zhàn)爭(zhēng)，是一場(chǎng)艱難的、持久的戰(zhàn)爭(zhēng)，取得完全勝利，是不可能的，但我們相信在對(duì)抗這條戰(zhàn)線上，會(huì)達(dá)到一個(gè)精妙的平衡狀態(tài)，爬蟲的準(zhǔn)入門檻，也會(huì)不斷提升。