在整個互聯(lián)網(wǎng)中，真實訪客的流量有多少?90%?70%?還是50%?

著名調(diào)查機構(gòu)Aberdeen Group在2019年做過一次調(diào)查，真實訪客的流量，只占到全網(wǎng)流量的62.8%，其余的37.2%是機器人(Bot)刷出來的流量。

惡意Bot

在這些Bot流量中，惡意Bot占比高達(dá)24.1%，早在2015年，這一數(shù)據(jù)僅為18.6%。短短5年時間里，惡意Bot占比上升6個百分點，這個比例意味著什么?

如果企業(yè)經(jīng)營一家網(wǎng)站，可能意味著，24%的用戶是假的;策劃一個線上活動，其中24%的獎品，會被Bot刷走;24%的服務(wù)器資源會被浪費……

[[383314]]

對于一個正在成長的企業(yè)而言，是相當(dāng)致命的。惡意Bot能在各個方面對企業(yè)正常業(yè)務(wù)產(chǎn)生廣泛影響。

(1) 惡意注冊

2020年底，微信發(fā)布公告，封禁涉嫌惡意注冊的300萬個賬號，因惡意注冊被封禁的賬號，已經(jīng)超過620萬個。

如此龐大的注冊數(shù)量，將導(dǎo)致企業(yè)無法獲得真實的用戶數(shù)據(jù)，從而在做出決策時，產(chǎn)生偏差。短時間內(nèi)大量注冊，也會給服務(wù)器帶來壓力。惡意注冊的賬號如果在市場上流通，還會給企業(yè)帶來政策法規(guī)方面的風(fēng)險。

(2) 非法登錄

2018年，一名英國男子對17個網(wǎng)站發(fā)起暴力破解，竊取超過16.5萬條用戶信息，并將它們打包在暗網(wǎng)進(jìn)行售賣。

通過Bot進(jìn)行撞庫和暴力破解，攻擊者可以非法獲取賬號敏感信息，例如姓名、手機號等等，可以將這些信息打包販賣。而且還可以盜取賬號資產(chǎn)，或者權(quán)限，用于非法目的。

(3) 非法抓取

2019年，今日頭條因為大量抓取百度搜索結(jié)果，被百度以不正當(dāng)競爭為由起訴，索賠9000萬元。

非法抓取大案不止，小案不斷，因為爬蟲抓取他人信息的案件時有發(fā)生。站在企業(yè)角度上看，被惡意爬蟲光顧，業(yè)務(wù)核心數(shù)據(jù)被抓取，對手輕易獲取這些信息，會導(dǎo)致網(wǎng)站競爭力下降。

(4) 惡意刷票

大量惡意刷票搶票Bot，會讓正常用戶無法購買所需的票。競爭對手通過惡意Bot搶票，再退票，讓企業(yè)業(yè)務(wù)無法開展，造成損失。

[[383315]]

(5) 活動作弊

無論企業(yè)想舉辦什么線上活動，惡意Bot都是一大威脅。通常情況下，企業(yè)都會設(shè)置一些簡單的防刷策略，但無法完全避免被羊毛黨薅羊毛。像零元購、秒殺、搶紅包、優(yōu)惠券，被羊毛黨薅走的事情屢見不鮮。

[[383316]]

防御惡意Bot

既然惡意Bot會嚴(yán)重影響企業(yè)正常業(yè)務(wù)，那么該怎么防御呢?一般可采取六種方法。

(1) 限制源IP

直接限制源IP的請求速度，簡單粗暴。這種方式有一定風(fēng)險，例如在秒殺、搶購活動中，瞬間請求激增，如果源IP請求被限制，誤報率很高。比起惡意Bot，過高的誤報率反而會造成更嚴(yán)重的后果。限制源IP一般只作為輔助手段。

(2) Cookie支持

Cookie支持可識別一些比較簡單的Bot程序。簡單的Bot程序不支持Cookie，我們可以在服務(wù)端寫入Cookie的方式，來識別是否是Bot。由于Bot支持Cookie的時間成本很低，所以這一方式的效果較為有限。

(3) Bot行為分析

由于惡意Bot是通過模仿正常用戶行為進(jìn)行請求，具備一定的特征，通過分析和識別這些特征，即可檢測出惡意Bot。

但“行為”是一個抽象概念，判斷難度較高，一般企業(yè)難以投入大量時間和精力研究，只有專門從事安全工作的公司，會做出行為分析方案。例如蔚可云的“BotGuard爬蟲管理”，可通過情報庫、訪問控制、陷阱誘導(dǎo)、人機交互、機器學(xué)習(xí)等技術(shù)，對訪客進(jìn)行行為分析，識別惡意Bot。

(4) IP情報信息分析

正常流量在相近的一段時間內(nèi)，行為是正常的，而異常IP則不同。例如被用來發(fā)動DDoS的一臺肉雞，并不會只用來發(fā)動一次攻擊，而是會在一段時間內(nèi)，一直處于攻擊狀態(tài)。通過大數(shù)據(jù)分析技術(shù)，對歷史事件進(jìn)行威脅分析，能提前發(fā)現(xiàn)惡意Bot，并進(jìn)行防御。

《第47次互聯(lián)網(wǎng)絡(luò)發(fā)展統(tǒng)計報告》顯示，網(wǎng)站安全事件和信息系統(tǒng)漏洞，正在逐年減少，例如網(wǎng)站被篡改數(shù)量，2020年較2019年同期下降22.7%，但惡意Bot卻在逐年增加，已成為企業(yè)不可忽視的一股黑產(chǎn)勢力，防御惡意Bot任重而道遠(yuǎn)。