淺談如何利用IP數(shù)據(jù)來輔助風控和安全系統(tǒng)
互聯(lián)網(wǎng)時代,ip一直在網(wǎng)絡安全和風險控制領域占據(jù)著最為重要的地位,主要是出于以下因素:
1.所有的網(wǎng)絡請求都會帶有ip信息,因此其天然的成為訪問者的身份標識。
2.由于ip的管理和分配比較嚴格,很難造假。雖然會有代理、肉雞等掩藏蹤跡的手法。但絕大部分情況下,ip數(shù)據(jù)的真?zhèn)问强梢孕诺眠^的。
3.由于ip屬于網(wǎng)絡層,可以輕松的對其進行阻斷?,F(xiàn)有的各種網(wǎng)絡安全、負載均衡的設備和軟件,都是以ip為對象進行追蹤和管理的。
因此,常見的攻擊防范和風險控制都會利用IP來作為用戶的身份標識,來進行分析和處理。
IP常見分析方法
IP客觀屬性
目前的IP分配都由專門的機構或官方來統(tǒng)一分配和管理,所以有很多客觀上比較準確的屬性可供參考:
1. 歸屬地。目前每個ip的歸屬地在較短的時間內(nèi)都會保持固定,可以用來判斷請求來源的大概位置
- a. 歸屬地數(shù)據(jù)目前有免費和商業(yè)的服務,也可以參考這個玩具例子(簡易構建適合風控系統(tǒng)的ip庫),搭建自己的ip庫
- b. 歸屬地的變更相對來說更頻繁,在數(shù)據(jù)源的選取上需要找更新較頻繁的
- c. 現(xiàn)在3/4G的移動出口會帶來混淆,手機上網(wǎng)的ip可能只能反映手機卡歸屬地,所以要小心這一部分數(shù)據(jù)
2.所屬機構。大型組織機構申請的固定ip都需要綁定信息,可以從ASN數(shù)據(jù)獲取一些端倪。例如我們可以借此判斷IP是否屬于公有云平臺、教育網(wǎng)
3.綁定域名。通過DNS可以查詢到域名相關的ip,同樣,部分ip可以反查出相關聯(lián)的域名
- a. 一個典型的應用是通過ip將大型搜索引擎的ip查出,防止誤殺。不過只適用于google、bing、百度這樣的大型搜索引擎,才能反查出域名,國內(nèi)其他的搜索引擎還不行
4.其他。還有一些其他屬性,例如是否屬于手機基站等,可以通過其他手段來獲取。
這里是一個例子,我們通過系統(tǒng)分析發(fā)現(xiàn)了一個可疑ip,這里面ip的歸屬地、vps信息、公有云平臺信息都是ip的客觀屬性,可以輔助我們做決策。
事實上,目前看來大部分的普通攻擊行為來自于云服務器,從直覺上來說,普通用戶也不應該通過公有云平臺來訪問網(wǎng)站。所以有時候,如果發(fā)現(xiàn)客戶ip是公有云平臺的,可以直接將此請求置為高危。
IP主動探測屬性
ip除了一些客觀屬性,還可以通過主動探測來作進一步了解:
- 是否是郵件服務器
- 是否是web服務器
- 是否是vpn服務器
- 是否是代理服務器
這里可以通過包括端口掃描在內(nèi)的一系列主動探測、嘗試技術來獲取信息,來輔助判斷:
- 對于普通個人用戶或者是出口ip而言,不會有相應的服務與ip綁定;否則,極大概率是機器行為。目前互聯(lián)網(wǎng)上的流量,有很大一部分是機器行為,所以這塊信息在人機判斷上可以起到很大的作用。
- 不過現(xiàn)在有一些例外,有一些流氓的家用路由器可能會開通一些端口和服務,不過這一類用戶本身就屬于高風險來源。
IP行為
ip的屬性準確性是比較高的,但并不能覆蓋所有場景,所以有時候還需要根據(jù)ip的相關行為作出判斷:
1.該ip的請求是否有注入、撞庫、ddos、漏洞掃描等網(wǎng)絡攻擊行為。
2.該ip的用戶是否有刷單、惡意欺詐、薅羊毛等風控相關的的行為。
3.ip和用戶名、設備指紋等的關聯(lián)信息。如果發(fā)現(xiàn)某個用戶、設備上有非常多的用戶,極大的概率可以將此用戶和設備拉黑;反過來,當某個ip出現(xiàn)了大量的用戶或設備,也是風險提示,不過要排除組織出口等屬性的影響。
上圖顯示出某個ip上的用戶行為,可以看出在有規(guī)律的切換賬號進行操作,這樣就把松散的攻擊,以IP為紐帶聯(lián)系起來,方便識別。
4.ip的歸屬地特性也可以與用戶行為結合起來。常見的分析方法包括識別用戶常用ip,以及用戶是否短時間內(nèi)發(fā)生了較大的地理偏移(通過比較使用的不同ip的歸屬地)。
5.更復雜的分析包括利用ip、用戶、設備之間兩兩關聯(lián)的信息可以勾畫出網(wǎng)站內(nèi)用戶之間的關聯(lián)網(wǎng)絡、以及用戶間的資金流向,這在反洗錢、復雜欺詐行為識別等方面具有顯著效果。
IP歷史行為輔助
通過對自身網(wǎng)站用戶行為的分析,可以找出絕大部分的有害訪問,但還是有以下缺點:
- 除了少數(shù)巨頭,大部分網(wǎng)站自身的數(shù)據(jù)體量小,不足以作完善的分析
- 需要較大的技術和資源投入,普通公司無法承擔
- 比較偏向于事中和事后,很難做到事前的預防
目前,還有一種方式是借助于互聯(lián)網(wǎng)上的一些黑白名單來彌補這方面的不足,這些黑白名單來源于他人網(wǎng)站上ip的歷史行為。但這種方式有一些缺陷:
- 相對來說,風險行為跟時間和場景密切相關,所以他人的黑名單不見得對所有人合適,即使這個“他人”是巨頭
- 目前互聯(lián)網(wǎng)上的信息泛濫,這些黑白名單是否值得信賴?
- 大量的ip與使用者之間沒有強綁定,另外,后一節(jié)將會提到ip在身份識別的作用上已經(jīng)逐漸力不從心
我們自身也有提供上述信息的數(shù)據(jù)服務,但在歷史行為這一塊還是采取較保守的策略:
- 歷史行為相關的數(shù)據(jù)采用較短的過期設置,來應對ip被輪換出去的情況
- 數(shù)據(jù)來源方面,采取信任的來源。一種是自己去部署的蜜罐分析出來的結果;另一塊是我們有標準化的大數(shù)據(jù)分析平臺和策略,通過合作客戶的黑名單數(shù)據(jù)交換來擴充自身數(shù)據(jù)庫
不過即使是這樣,還是需要用戶有正確的使用姿勢,不要純粹當成黑白名單來使用,更多的是作為自身數(shù)據(jù)分析的補充。
IP的頹勢
需要指出的是,從最近幾年開始,IP在作為用戶標識的作用日漸削弱,從而極大的影響到了其在安全防范和風險控制方面的有效性:
1.IPv6 已經(jīng)不是新話題,雖然進程非常緩慢,但趨勢無法逆轉(zhuǎn);IPv6的場景下,ip唯一性會難以保證。好在現(xiàn)在IPv6的普及率都很低,不管是用戶還是網(wǎng)站。
2.目前,國內(nèi)大部分用戶是沒有獨立ip的,基本上是在公司、學校、網(wǎng)吧等地方上網(wǎng),大家共享出口ip。以教育網(wǎng)為例,它共有76000+ C類地址,雖然已經(jīng)是比較多的資源,但還是不能完全覆蓋它內(nèi)部整個網(wǎng)絡,會有很多學校只能分配到少數(shù)資源,導致大量的學生都共享同一個公網(wǎng)ip,有一個調(diào)皮了就會影響到一群人。對這類ip,需要非常小心。
3.近幾年移動化浪潮下,共享ip的問題尤其突出?,F(xiàn)在大部分網(wǎng)絡訪問來自移動設備,要么是wifi地址,要么是3/4G出口。如果是后者,同一ip下的設備數(shù)量會非常驚人,貿(mào)然采取行動的話會死的很慘。移動時代,ip的作用已經(jīng)大為減弱。
4.即使是獨立ip,也很難對其采取長時間的措施。
- a. 一種獨立ip是電信買的固定ip,但這種成本高昂,拿來做壞事是得不償失的;
- b. 一種是最普遍的adsl撥號,這種每個人分配到的都是臨時ip,會很快被換到其他人手上。目前很多高級的爬蟲會采用這種形式(甚至有專門的撥號云主機出售),當被攻擊對象進行封禁時候,只要重新?lián)芴柧涂梢垣@取新的ip,繼續(xù)攻擊行為;同時網(wǎng)站還不敢對這種ip進行長時間封禁,因為這些ip可能很快會被分配給普通用戶使用,從而影響到普通用戶的使用體驗。對于這種攻擊,只能是實時行為分析并阻斷+短時間封禁來應對,對數(shù)據(jù)分析能力和網(wǎng)站技術框架帶來很大的考驗。
ip的上述特性,使得使用者需要采取更加專業(yè)和謹慎的姿勢。
IP的正確使用姿勢
在我們和客戶的合作過程中,整理了一些對ip信息在安全防范和風險控制場景下的建議:
1.把ip信息單純的作為黑白名單會帶來一定的誤殺率,不小心的話會帶來比較嚴重的結果,需要一種合理的方式,并結合自身的情況來處理。
2.但是我們也發(fā)現(xiàn),很多用戶在分析過程中,過多的偏重于手機號等特性,忽視了ip的作用,這個其實損失了大量的風險信息,也會對誤殺率(基站數(shù)據(jù)、教育網(wǎng)、組織出口數(shù)據(jù)等信息作白名單)和覆蓋率(服務器、公有云平臺、搜索引擎等信息輔助)帶來影響。
3.對于所有的用戶來說,都需要很好的利用ip的固有屬性,無論是客觀的還是主動探測的。這些屬性分別在白名單和黑名單方面都有比較明顯的貢獻,如果自身有風控系統(tǒng),應該將這些信息補充到自己的模型或策略中,可以起到明顯的增強效果。
4.對于ip歷史行為(常見的黑白名單)的數(shù)據(jù)來說,要挑選數(shù)據(jù)源,誤殺率重于覆蓋率。而如果有自身的風控系統(tǒng),兩相印證才是最合理的使用方法。
本文轉(zhuǎn)自豈安科技微信公眾號:bigsec,已取得授權