【51CTO.com原創(chuàng)稿件】近日，51CTO記者采訪了Akamai中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘及Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅，就惡意爬蟲攻擊演進、危害以及如何防御等話題進行了深入交流。

什么是爬蟲?

首先，我們來解讀下，什么是爬蟲(BOT)?BOT，意為搜索引擎抓取機器人，也稱爬蟲?；ヂ?lián)網(wǎng)中的數(shù)據(jù)是海量的，如何自動高效地獲取互聯(lián)網(wǎng)中我們感興趣的信息并為我們所用是一個重要的問題，而爬蟲技術(shù)就是為了解決這些問題而生的。

“其實，在互聯(lián)網(wǎng)流量中，有40%的流量是爬蟲的流量。當然，爬蟲有好有壞，善意的爬蟲主要用于網(wǎng)絡(luò)索引、內(nèi)容聚合以及提取市場或價格信息。而惡意的爬蟲由惡意攻擊者操縱，用于針對所有行業(yè)、地區(qū)和渠道的Web內(nèi)容搜刮、交易欺詐、垃圾郵件以及DDoS和撞庫攻擊。針對這些爬蟲，企業(yè)機構(gòu)需要進行識別和管理，進行有效防范。”劉炅說道。

惡意爬蟲是一種自動化的惡意軟件，通過遠程互聯(lián)網(wǎng)對目標站點進行攻擊，以達到商業(yè)欺詐的目的。常見的攻擊方式有憑證濫用、賬戶濫用、銀行卡攻擊、庫存囤積、薅羊毛。憑證濫用類攻擊是撞庫攻擊最主要的方式，它將從黑市上獲取的大量用戶數(shù)據(jù)和賬戶信息在不同的網(wǎng)站進行登錄嘗試，從而得到有效賬戶，最終把這些賬戶非法販賣給其他人。賬戶接管或稱為賬戶盜用是另一種撞庫攻擊的常見類型，指對包括電商、游戲賬戶在內(nèi)的互聯(lián)網(wǎng)賬戶的盜取。這種攻擊通常也是通過登陸嘗試或蠻力手段得到賬戶，在接管賬戶后進行信息竊取或進一步攻擊。

[[323569]]

Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅

爬蟲攻擊的演進歷程

回顧爬蟲攻擊的演進歷程，劉炅將其劃分為四個階段：

最開始，爬蟲比較簡單，都是通過單IP或者是極少的IP搭建一個惡意攻擊點。此外，針對客戶端攻擊的惡意軟件也比較簡單，均是采用命令行的攻擊方式。在這個階段，外部瀏覽器還沒有Cookie值，也沒有添加Script的可執(zhí)行腳本。所以防護這些爬蟲比較簡單，企業(yè)在找到攻擊源后實施訪問控制(采取黑名單限制等手段)，就可以進行防護。

第二階段，隨著瀏覽器引入Cookie功能和具備Script腳本執(zhí)行能力，爬蟲采用簡易瀏覽器實施攻擊，因而此前簡單的防護方式已經(jīng)無法識別爬蟲。相應(yīng)地，防護手段需要加入對Script值的驗證等能力(包括JS變量的驗證)來探測攻擊端瀏覽器的真假。

第三階段，此時的爬蟲攻擊基于真實瀏覽器，并開始模擬人的行為，因此企業(yè)需要更進一層的檢測方式。比如，Akamai的Bot Manager Premier(爬蟲管理器)產(chǎn)品可以通過鍵盤敲擊、鼠標滑動等操作來有效識別爬蟲流量。

第四階段，也是現(xiàn)在所處階段的特點是爬蟲攻擊點呈現(xiàn)分布式、且可利用更多的僵尸網(wǎng)絡(luò)發(fā)起攻擊，從而導致企業(yè)對爬蟲流量的判斷更加困難。其次，爬蟲也在模擬更多的真實人類行為，因此對爬蟲的攻擊檢測和防護模式需要采用機器學習等技術(shù)加以識別。

[[323570]]

Akamai中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘

“三年前，我發(fā)現(xiàn)大部分中國客戶對爬蟲沒有特別的概念，且對爬蟲危害的認識較淺。但從2018年開始，Akamai的中國客戶基本上都采取了多種反爬蟲手段。由此可見，國內(nèi)企業(yè)對爬蟲危害的認識提升很快。”何銘也回憶并舉例說，“很多年輕人喜歡購買限量款鞋子，因此品牌網(wǎng)站需要通過搖號排隊的方式才能售賣。但是黑客可以使用爬蟲來瞬間預(yù)定所有限量款鞋子，從而轉(zhuǎn)售盈利。類似的案例還有很多，侵占、搶占庫存，甚至發(fā)動DDoS攻擊堵塞網(wǎng)絡(luò)，而很多小網(wǎng)站是經(jīng)受不住這種打擊的。所以，從2018年開始，各個行業(yè)對爬蟲管理越發(fā)重視。”

同時，何銘也注意到了另外一個現(xiàn)象：在對惡意爬蟲管理更加重視的同時，很多網(wǎng)站開始引入善意爬蟲，通過內(nèi)嵌搜索引擎來促進物品銷售。“這也是現(xiàn)在爬蟲管理市場值得注意的方向。我們需要阻止惡意爬蟲、放行善意爬蟲，一刀切地阻止所有爬蟲會影響企業(yè)商品銷量和業(yè)務(wù)。”

爬蟲攻擊次數(shù)居高不下，手段日益復(fù)雜

談及近年來爬蟲攻擊的趨勢，劉炅告訴記者，憑借每日交付超過50 Tbps的Web流量，Akamai對互聯(lián)網(wǎng)上的攻擊流量有著極大的可視性，特別是對于爬蟲攻擊趨勢的研究。據(jù)Akamai今年二月發(fā)布的《2020年互聯(lián)網(wǎng)安全狀況報告：金融服務(wù)——惡意接管嘗試》，爬蟲攻擊呈現(xiàn)出以下趨勢：

第一，攻擊次數(shù)居高不下。在報告統(tǒng)計的約兩年內(nèi)，Akamai共發(fā)現(xiàn)了超過850億次攻擊，日均攻擊量達到1.2億次之多。

第二，攻擊手段越發(fā)復(fù)雜。攻擊者會通過多合一的工具、利用僵尸網(wǎng)絡(luò)發(fā)起分布式攻擊。鑒于當前API協(xié)議的廣泛使用，攻擊者便利用API的自動化特性、采用API作為主要攻擊手段。Akamai發(fā)現(xiàn)近20%的憑證濫用攻擊都是基于API的登錄方式。

第三，金融業(yè)已成為攻擊重災(zāi)區(qū)。根據(jù)Akamai的數(shù)據(jù)，在針對金融服務(wù)業(yè)發(fā)起的撞庫攻擊中，高達75%的攻擊直接以API為目標。

何銘表示：“其實各行各業(yè)都會受到爬蟲攻擊，零售業(yè)是受到爬蟲攻擊最為嚴重的行業(yè)之一，除此之外，爬蟲攻擊的主要目標還包括媒體、金融、酒店及旅游業(yè)。在零售業(yè)中，服裝類、電商門戶類以及百貨類的網(wǎng)站更易遭到爬蟲攻擊。”

Akamai和Ponemon Institute的聯(lián)合研究顯示，由爬蟲引起的“撞庫”攻擊每年會給企業(yè)帶來高達270萬美元的損失。爬蟲攻擊給企業(yè)造成的損失可見一斑。

抵御爬蟲攻擊，Akamai一直在行動

那么，究竟該如何應(yīng)對爬蟲攻擊?何銘認為：“對于爬蟲的管理，企業(yè)首先要做的是甄別，包括規(guī)則和策略的制定。”以電商行業(yè)為例，電商網(wǎng)站構(gòu)建起來較為復(fù)雜，一方面需要第三方爬蟲的支持來實現(xiàn)引流、實現(xiàn)讓用戶能夠訪問庫存，保證在庫存充足的前提下銷售產(chǎn)品。同時，也要防范競爭對手惡意爬取其庫存信息，搶走庫存而影響對外銷售。因此，企業(yè)IT團隊既要識別惡意爬蟲、進行阻擋，又要甄別出善意爬蟲、予以放行，還要做好DDoS攻擊等防護工作。

隨著爬蟲攻擊方式的演進，Akamai爬蟲管理產(chǎn)品和解決方案也在不斷升級迭代。就在三月，Akamai對爬蟲管理產(chǎn)品進行了升級，全面提升攻防能力。具體而言，實現(xiàn)了更多更精準的爬蟲檢測方法，加入了POW(Proof of Work)挑戰(zhàn)檢測方法;基于人工智能的威脅評分機制，根據(jù)分值可實施部署靈活的防護策略;增加更多場景支持，尤其對于跨域場景的支持，為了使跨域請求的檢測更加精準，Akamai定義了新的攻擊檢測方式，從而擴展更多的應(yīng)用防護場景;另外實現(xiàn)了與真實用戶監(jiān)控(RUM)頁面性能檢測產(chǎn)品集成，分析和判斷爬蟲對業(yè)務(wù)性能的影響，并進行可視化管理。

今年二月，F(xiàn)orrester發(fā)布了“Forrester New Wave™：2020年第一季度爬蟲程序管理評估”報告，并認定Akamai為“領(lǐng)導者”。顯然，這是對Akamai爬蟲管理能力的充分肯定。目前，無論是從產(chǎn)品功能特性還是市場占有率上，Akamai在爬蟲管理界都處于前列。從最初單一的IP攻擊到模擬瀏覽器和人類行為，爬蟲的攻擊方式不停變化。鑒于此，Akamai針對爬蟲的檢測方案也是多種多樣，包括IP攔截、速率控制、Cookie和Java參數(shù)檢測以及用戶行為的深度分析。而對于爬蟲的緩解方案，除了最基本的監(jiān)控和攔截，Akamai還會進行限速、延緩和疏導。

“有的企業(yè)希望一、兩天就能實現(xiàn)對爬蟲的管理，這是不現(xiàn)實的。但爬蟲管理解決方案部署過程的快慢，仰仗于安全廠商在業(yè)內(nèi)的技術(shù)沉淀和經(jīng)驗積累。高效的爬蟲管理需要長期積累的經(jīng)驗和能力。一旦客戶選擇了Akamai，我們就可以立即開啟甄別模式、預(yù)警模式，快速進入策略的制定和防護的開啟，這也是Akamai引以為豪之處。”何銘表示，據(jù)某電商客戶反饋，在部署Akamai爬蟲管理解決方案一段時間后，他們發(fā)現(xiàn)自己網(wǎng)站的大部分流量都是爬蟲流量，而以前他們對此根本沒有感知。此外，他們在部署Akamai方案前對爬蟲攻擊流量的發(fā)現(xiàn)率大概為10%，但部署后的識別率達到約99%。

綜上可以看出，由于與生俱來的邊緣屬性和優(yōu)勢，Akamai的爬蟲管理解決方案可以很好地應(yīng)用于多種環(huán)境，包括用戶本地的數(shù)據(jù)中心和多云環(huán)境中的防護場景。Akamai的爬蟲防護方案并非一個單點方案，而是一個分層次的、全棧的防護方案，即從DDoS和網(wǎng)頁防護到爬蟲管理乃至API攻擊都可進行防護。基于邊緣的安全能力，Akamai提供了一整套防護解決方案來幫助企業(yè)抵御目前最復(fù)雜的網(wǎng)絡(luò)攻擊。

【51CTO原創(chuàng)稿件，合作站點轉(zhuǎn)載請注明原文作者和出處為51CTO.com】