你天天爬價，你咋不上天

我有特價票，你有故事嗎

我要一步一步往上爬

??

[[199820]]

一、寒冬來臨

1. 票代野蠻生長的年代

改革開放之初，坐飛機對于普通老百姓還是個稀罕事，乘坐飛機出行的人實在太少,提高航班的乘坐人數(shù)是當(dāng)時航空公司的主要目標(biāo)。

除了優(yōu)惠活動外，還出臺了各種代理鼓勵機制。比如 2002 年左右機票代理商享受“3+X”%的票代利潤模式。據(jù)業(yè)內(nèi)人士回憶，那時各大航空公司為爭奪旅客，競相給予代理企業(yè)遠超出官方規(guī)定的手續(xù)費，“X”的部分最高可達到 17% 以上。除此以外，航空公司還動輒發(fā)放動態(tài)獎勵、年終大獎等來激勵票代 。

2. 是什么導(dǎo)致了3-2-1-0%

趨之若鶩必將帶來泰極生否。網(wǎng)上票代的興起，在為用戶出行提供出行便利的同時，也催生了灰產(chǎn)、黑產(chǎn)的泛濫。無資質(zhì)票代借機渾水摸魚牟取非法利潤，有資質(zhì)票代不惜鋌而走險觸動“紅線”，視消費者的利益為魚肉。

各航司非常敏銳的洞察到了票代中的違規(guī)現(xiàn)象，馬克思說過，“人們的奮斗所爭取的一切,都同他們的利益有關(guān)。”解鈴還須系鈴人。于是，在 2014 年的各航司紛紛做同一件事情：降傭、禁廢。

國航自 2015 年 3 月 1 日(銷售日期)起，境內(nèi)代理人銷售的 BSP / B2B 國際、國內(nèi)客票不允許作廢，客票的改期、升艙、退票按照客票使用條件辦理，這將大大增加機票代理商的退票成本。

??

??

[[199821]]

3. 明日黃花

如今的航司其實早已把“提直降代”列入了重中之重，在這樣的一種訴求下，2016 年 2 月 4 日，國資委“將直銷比例提高至 50% ”、 “代理費要在 2014 年的基礎(chǔ)上下降 50% ”等通知對于航司就如同甘露一般。

其實，對機票行業(yè)里面灰產(chǎn)黑產(chǎn)現(xiàn)象，OTA 也深惡痛絕。例如 2016 年“九航企封殺去哪兒”、“李淼投訴假機票”兩個事件，違規(guī)操作對企業(yè)形象造成了巨大的負(fù)面影響。

因此，攜程在 2016 年發(fā)布了一份《關(guān)于航班銷售重要通知》，宣布暫停供應(yīng)商(即機票代理商)銷售 2016 年 9 月 1 日之后的指定航空公司的國內(nèi)客票，這些航空公司包括了中國四大航。隨后，大量代理人已經(jīng)開始退出機票銷售市場。

??

4. 前返→暗扣→傭金→后返→……

至此，航空公司重新控制銷售渠道，機票代理已走向沒落。

從 2002 年開始票代的黃金時期漸漸成為過去。之前拿著“暗扣”就很滋潤的票代們，被航司嚴(yán)格管控，如今只能靠越來越少的傭金維持。今年，本來以為“后返”也是一個出路的票代們，又遭受重創(chuàng)，不得不主動探索新的出路了。

??

二、為何航司網(wǎng)站爬蟲逐年呈現(xiàn)上升趨勢

遭遇了幾次的重創(chuàng)，傳統(tǒng)票代行業(yè)必將逐漸冷卻。但是對于曾經(jīng)和機票打交道的人們，長期打造的戰(zhàn)場就放棄的如此甘心情愿嗎?

繼續(xù)深挖傭金的方式獲取利益已然行不通了，那么還有哪些環(huán)節(jié)是有機可乘的呢?

1. 劇增的棄程現(xiàn)象

某報在采訪國航客運營銷部發(fā)現(xiàn)了如下現(xiàn)象：

國航座控中心的工作人員指著電腦屏幕，一張由北京飛往哈爾濱的某航班機票，上面旅客姓名、機票號、聯(lián)系電話等均填寫得清楚明白，但機票號前三位不是國航的代碼，也不是國內(nèi)任何一家航空公司的。顯然這個“乘客”根本不存在，內(nèi)容都是瞎編的。

四川航空公司成都售票處主任說：虛占座位，越是旺季，越是緊俏的航班，被虛占的座位相對就多，如果被虛占的座位最后沒賣掉，航空公司也沒發(fā)現(xiàn)，那么這個座位肯定就是浪費了。

2. 結(jié)合技術(shù)手段的虛占

世間沒有無緣無故的愛與恨。

沒有了傭金，代理人或者機票從業(yè)者天天琢磨著新的可持續(xù)發(fā)展的利益獲取渠道。終于，新點子有了：虛占座位。

??

[[199823]]

他們大量搶占：①長期熱門線路的各艙位;②座位數(shù)很少的艙位;③特價艙位;④黃金時期(如黃金周)的各艙位。

目的：利用因時間推移造成的艙位價格變化獲利、或通過自己的平臺自主加價轉(zhuǎn)售。

虛占座位從機票代理這個詞出現(xiàn)就有了，因為早期是為了確保一些團隊的機票冗余，當(dāng)時現(xiàn)象也并不是很多;但現(xiàn)如今主要目標(biāo)是為了囤積后伺機出售實現(xiàn)利益最大化——現(xiàn)象相同，但是體量和目的卻完全不同。

這些大量的操作靠人工已經(jīng)無法滿足需求了，因為一種網(wǎng)絡(luò)爬蟲技術(shù)對于虛占座位的人群們來說如獲至寶，因為爬蟲可替代 95% 的人工操作。

3. 倍受青睞的爬蟲

要通過虛占來取得利益，至少要知道這些目標(biāo)機票在哪?何時出現(xiàn)?最晚支付時間是?壓位后的機票確保不會被收回?處理這些問題，大致需要如下流程：

1)充分的利用各種爬蟲工具

??

[[199824]]

2)大量下訂單，規(guī)定時間內(nèi)(各航線不同)不支付，并把搶占的艙位放到 OTA 、機票 B2B 上出售;

3)規(guī)定時間內(nèi)賣不出去，在被取消訂單前，訂單失效前馬上再去追一個訂單，繼續(xù)把位置占住;

4)如果出售成功，就可以把原來占位的機票取消掉，再用客戶的身份信息訂票并出票。

雖然從虛占到變現(xiàn)過程不復(fù)雜，但是要形成暴利，就需要來回如上過程無數(shù)次。這種批量操作需要大量的交互窗口和大量追位工具操作，人力物力隨之上去了，最后搞不好賠本賺吆喝。

怎么辦?好在，人人都是“產(chǎn)品”經(jīng)理。他們有高級自動化的工具，專門針對壓位、追位。

??

這是我們在網(wǎng)上發(fā)現(xiàn)的針對某家航空公司的自動爬蟲工具， 它實現(xiàn)了：

• 多個線程自動登錄
• 實時獲取特價機票信息
• 匹配后自動下單
• 熱門、特價機票跟蹤

其實航司風(fēng)控技術(shù)部門的很快就會捕捉到使用工具的人們，他們的特征是： IP 來源單一，頻次過高，爬蟲即可被識破并且被禁止掉。

所謂道高一尺魔高一丈，只要有一絲絲希望，“產(chǎn)品”經(jīng)理就不會放棄：他們充分的利用各種資源，比如利用購買或者租用的云機房、IDC 中的 IP 資源，甚至?xí)脑炝寺酚善?，待買家購置家中后，便直接轉(zhuǎn)化成了為他們服務(wù)的爬蟲種子。

其目的：將單一 IP 的訪問動作稀釋到成千上萬的 IP 中去。

豈安風(fēng)險情報專家笑天分析了 2016 年某三個月的爬蟲來源分布圖，也證明這一點，他們分布的十分廣泛，調(diào)用順序也毫無規(guī)律可循。

綜上所述，對于一個完整的風(fēng)控體系而言，僅通過訪問頻率、Useragent 觀測角度肯定不是最全面的的風(fēng)控維度。

三、抽絲剝繭看爬蟲

爬蟲繞開技術(shù)層出不窮，防爬蟲的技術(shù)也日新月異，風(fēng)險黑名單可能是大多風(fēng)控部門采用的方式，這種存在一定局限性，從行為軌跡和用戶畫像角度出發(fā)一定是風(fēng)控的大趨勢。

針對航司的爬蟲，需求表明目前最迫切的是防止黑代理將IP分散到世界各地繞開訪問頻率的監(jiān)控，我們必須增加更多途徑實時訪問流量中獲得更多有價值信息。(前提：一定不允許在 APP 、Web 中增加代碼，大型企業(yè)對這些非?？粗?。

1. 訪問元素豐富度

普通用戶在打開網(wǎng)頁時會有比較豐富的地址訪問，而自動爬蟲通常只有少數(shù)固定的頁面訪問，比如航司活動專版、艙位價格頁面、航線動態(tài)等。

??

2. 訪問軌跡連貫性

用戶在進行頁面訪問時，通常是有一個合理的訪問軌跡，如從首頁跳轉(zhuǎn)到機票搜索，但爬蟲在自動獲取數(shù)據(jù)時，往往是對頁面地址進行逐個訪問，沒有連貫的軌跡。比如首次訪問就是登錄頁面，正常應(yīng)該從搜索或者廣告頁跳轉(zhuǎn)而來。

??

3. 訪問靜態(tài)資源比例

爬蟲獲取數(shù)據(jù)時往往只關(guān)心具體的文字內(nèi)容和數(shù)據(jù)，但不會查看圖片以及加載頁面上的 CSS 或者 JS 信息，這就為風(fēng)控平臺提供了一個較為顯著的判斷因素，這一點不用多加解釋。

4. Click 間隔時間

爬蟲在獲取頁面信息時，會出現(xiàn)連續(xù)兩個 Click 間隔時間過短，不匹配合理的人肉點擊間隔時間，這就是典型的區(qū)別人機判斷機制。

??

篇幅有限，僅僅列出以上這些在航司常出現(xiàn)的風(fēng)險特征。

小結(jié)

一入票代深似海，從此節(jié)操是路人。

對于各航空公司，爬蟲僅僅是一個風(fēng)險的開始。豈安實驗室的安全專家 James 和 Bogomil 通過調(diào)研，得出在航司還存在著信息泄露、短信轟炸、虛假注冊、羊毛黨、掃號撞庫、密碼找回等諸多風(fēng)險問題。

針對航司的行業(yè)特點，豈安科技開發(fā)了 Warden(看門者)產(chǎn)品，通過大數(shù)據(jù)分析、風(fēng)控專家梳理，研制開發(fā)了航旅版業(yè)務(wù)風(fēng)險決策系統(tǒng)，已陸續(xù)在各大航司、OTA 中交付使用，并得到了非常好的反饋。

【本文是51CTO專欄機構(gòu)“豈安科技”的原創(chuàng)文章，轉(zhuǎn)載請通過微信公眾號(bigsec)聯(lián)系原作者】

??

??戳這里，看該作者更多好文??