4 月 26 日，周五，宜出行，忌上班。

有些人的“五一”假期來得比法定放假早，比如雷鋒網(wǎng)編輯。。。隔壁的媒體同行，他居然告訴我，自己已經(jīng)無心上班，思想比身體先一步開啟了假期模式。

然后他掏出手機，炫耀了一把搶到的特價機票。

噢，你要說到特價機票，那就是戳到我的業(yè)務點了，讓網(wǎng)絡安全科普作者小李分析一下特價機票可能是怎么來的吧!

一個很大的可能性是，你是從爬蟲二道販子手里買的!

爬蟲占座

發(fā)布“關(guān)于調(diào)整2019年五一勞動節(jié)假期”的通知幾十分鐘后，各個航空公司的 B2C 網(wǎng)站和旅游網(wǎng)站的機票查詢量暴增，其中國際航班增長了 10 倍。在暴增的機票查詢數(shù)據(jù)背后，有普大喜奔的人民群眾，更有非法代理人操控的惡意“爬蟲”。

原來，部分航空服務代理人通過“爬蟲”非法抓取航空公司 B2C 網(wǎng)站或官方 App 等平臺上的機票信息，然后非法倒賣給他人以牟取利益。

為了搞清楚這個惡意爬蟲是怎么爬取特價機票信息，再化身二道販子牟利，編輯特意請教了有反爬蟲實戰(zhàn)經(jīng)驗的頂象公司，據(jù)說，最近他們協(xié)助警察蜀黍端掉了一起爬蟲案，這個涉案的山東某機構(gòu)專門爬取各大航空公司票務數(shù)據(jù)倒賣給其他中小代理人(該機構(gòu)的業(yè)務已被關(guān)停)。

他們是怎么開啟神(違法)操作的?

部分代理人利用“爬蟲”爬取下票務信息后，再利用虛假的身份信息預訂機票，但不付款。然后，在航空公司允許的訂票賬期內(nèi)，他們把這些機票轉(zhuǎn)售給真正需要購票的用戶。

在轉(zhuǎn)售之前，這就導致部分機票并未售出，但是用戶在航空公司查看時卻顯示已售罄，該行為稱之為“虛假占座”。

惡意爬蟲“長什么樣”

怎么判斷“占座”的不是普通用戶而是爬蟲黨呢?

惡意“爬蟲”有這么幾個特征：

1、訪問的目標網(wǎng)頁比較集中：“爬蟲”代理人目標明確，主要是爬取班次、價格、數(shù)量等核心信息，因此只瀏覽訪問幾個固定頁面，不訪問其他頁面。

2、查詢訂票等行為很有規(guī)律：由于“爬蟲”是程序化操作，按照預先設(shè)定的流程進行訪問等，因此呈現(xiàn)出毫無思維、但很有規(guī)律、有節(jié)奏且持續(xù)的行為。

3、同一設(shè)備上有規(guī)?；脑L問和操作：“爬蟲”的目的是最短時間內(nèi)抓取最多信息，因此同一設(shè)備會有大量離散的行為，包括訪問、瀏覽、查詢等。

4、訪問來源IP地址異常：正常情況下用戶在查詢、購買時，用戶的 IP 地址比較穩(wěn)定，如果是“爬蟲”“虛假占座”，IP 來源地址呈現(xiàn)不同維度上的聚集，而瀏覽、查詢、購票等操作時不停變化 IP 地址。

5、設(shè)置UA模擬瀏覽器和頻繁使用代理 IP ：很多“爬蟲”程序偽裝成瀏覽器進行訪問，比如在程序頭或者UA中默認含有類似python-requests/2.18.4等固定字符串;并且通過購買或者租用的云服務、改造路由器、租用IP代理、頻繁變更代理 IP 等進行訪問。

6、操作多集中非業(yè)務時間段：“爬蟲”程序運行時間多集中在無人值守階段。此時系統(tǒng)監(jiān)控會放松，而且平臺的帶寬等資源占用少，爬蟲密集的批量爬取不會對帶寬、接口造成影響。以下是頂象反欺詐中心監(jiān)測到，凌晨1-5點是惡意“爬蟲”的運行高峰時段。

誰的利益受損

“虛假占座”看上去只是讓薅羊毛的正常用戶買不上機票而已，對航空公司有什么影響嗎?(賣給誰不是賣?)

當然有!

大家想一想，首先，惡意“爬蟲”的虛假身份信息是從哪里來的，這里是不是有用戶信息的泄漏?

第二，這種虛假占座浪費了航空公司帶寬資源，白白消耗航空查詢費用，擾亂了航空公司的正常運營。

第三，更關(guān)鍵的是，由此帶來訂票量的波動導致航空公司收益管理系統(tǒng)算法產(chǎn)生誤判，給出不符合實際情況的運價調(diào)整，損傷了用戶權(quán)益以及平臺的口碑。

也就是說，從爬蟲二道販子手里買到特價機票一時爽，長期下來還是普通用戶買了單。

雷鋒網(wǎng)注：該文核心觀點及分析來源于微信公眾號“頂象業(yè)務安全”，作者：小象，雷鋒網(wǎng)(公眾號：雷鋒網(wǎng))經(jīng)授權(quán)轉(zhuǎn)載及改編。指路原文：《你購買的“五一”機票 可能是“二手”轉(zhuǎn)售》。

本文轉(zhuǎn)自雷鋒網(wǎng)，如需轉(zhuǎn)載請至雷鋒網(wǎng)官網(wǎng)申請授權(quán)。