超越黑名單,運(yùn)用機(jī)器學(xué)習(xí)檢測(cè)惡意URL——Blackhat Asia上的“防守”之音
3月28-31日,一年一度的Blackhat Asia(亞洲黑帽大會(huì))如期在新加坡海灣金沙酒店舉行。山石網(wǎng)科美國(guó)研發(fā)團(tuán)隊(duì)的論文“超越黑名單,運(yùn)用機(jī)器學(xué)習(xí)檢測(cè)惡意URL”(“Beyond The Blacklists: Detecting Malicious URLS Through Machine Learning”)受到了會(huì)議專家組的青睞,山石網(wǎng)科受邀在會(huì)上發(fā)表相關(guān)主題演講。
創(chuàng)立于1997年的Black Hat是安全領(lǐng)域的頂級(jí)峰會(huì),逾19年來(lái)向與會(huì)者提供信息安全研究、發(fā)展和趨勢(shì)方面的最新信息。
對(duì)于從全世界蜂擁到新加坡的近萬(wàn)名黑客技術(shù)的信徒來(lái)說(shuō),講臺(tái)上的大牛,不僅框定了本年度世界黑客的研究潮流,也噴薄著挑戰(zhàn)未知、突破一切的黑客精神。登上這個(gè)舞臺(tái),向世界分享自己的研究成果,對(duì)于大多數(shù)黑客大牛來(lái)說(shuō),也有如站在奧運(yùn)會(huì)的領(lǐng)獎(jiǎng)臺(tái)上,散發(fā)著非同尋常的意義。
此次峰會(huì)共有33篇論文入選,其中有3篇來(lái)自中國(guó)的網(wǎng)絡(luò)安全廠商,山石網(wǎng)科以高超的研發(fā)技術(shù)水準(zhǔn)在眾廠商中脫穎而出,在這個(gè)人人探討如何攻擊的黑帽大會(huì),以如何“防守”的主題成為了整場(chǎng)會(huì)議的獨(dú)特亮點(diǎn),將來(lái)自中國(guó)的安全研發(fā)思路輸出給全世界的頂級(jí)黑客們。
下面為大家分享這篇論文的主旨內(nèi)容:
許多類型的現(xiàn)代malwares使用基于http的通信。與傳統(tǒng)的AV簽名, 或系統(tǒng)級(jí)的行為模型相比,網(wǎng)絡(luò)級(jí)行為簽名/建模在惡意軟件檢測(cè)方面有一定的優(yōu)勢(shì)。在這里,我們提出一個(gè)新穎的基于URL的惡意軟件檢測(cè)方法行為建模。該方法利用實(shí)踐中常見的惡意軟件代碼重用的現(xiàn)象?;诖髷?shù)據(jù)內(nèi)已知的惡意軟件樣本,我們可以提煉出簡(jiǎn)潔的功能模型,代表許多不同的惡意軟件中常用的相似性連接行為。這個(gè)模型可以用于檢測(cè)有著共同的網(wǎng)絡(luò)特征的未知惡意軟件變種。
我們專注于http連接,因?yàn)檫@個(gè)協(xié)議是最主要的惡意軟件連接類型,用僵尸控制網(wǎng)絡(luò)連接,得到更新和接收命令后開始攻擊。檢查在http連接層次的特征已被證明是一種來(lái)檢測(cè)惡意連接的有效方式。
在我們的下一代防火墻設(shè)備中,我們有算法使用靜態(tài)黑名單和特征簽名來(lái)檢查連接域名,URL路徑和用戶代理以確定是否惡意。結(jié)合域生成算法(DGA)檢測(cè)的機(jī)器學(xué)習(xí)算法,我們?nèi)〉煤芎玫膼阂釻RL檢出率。然而,最復(fù)雜和富有挑戰(zhàn)性的部分是查詢URL字符串連接的動(dòng)態(tài)內(nèi)容。因?yàn)檫@些字符串非常多樣化,幾乎可以是任何東西,導(dǎo)致靜態(tài)簽名規(guī)則變得不那么有效。參數(shù)的變種和進(jìn)化使簽名生成費(fèi)時(shí)。它還需要簽名庫(kù)為新連接特性執(zhí)行頻繁的更新。
我們這個(gè)演講談到的新穎的聚類算法是非常高效的,這個(gè)算法不僅可以檢測(cè)已知的惡意URL,并且也能檢測(cè)到從未暴露(0-day)的新變種。這個(gè)模型可以對(duì)于來(lái)自全球的每周1萬(wàn)條惡意軟件樣本庫(kù)和8萬(wàn)URL地址庫(kù)進(jìn)行機(jī)器學(xué)習(xí)。