DarkBERT:誕生自暗網(wǎng)的AI,全球首個基于暗網(wǎng)訓(xùn)練的AI模型
5月25日 據(jù)外媒報(bào)道,韓國研究人員最近開發(fā)了一種基于暗網(wǎng)數(shù)據(jù)訓(xùn)練的大型語言模型DarkBERT。這個AI模型旨在幫助網(wǎng)絡(luò)安全專業(yè)人員從暗網(wǎng)提取有關(guān)網(wǎng)絡(luò)威脅的情報(bào)。
DarkBERT可以研究暗網(wǎng),以識別和標(biāo)記潛在的網(wǎng)絡(luò)安全威脅,包括數(shù)據(jù)泄露和勒索軟件。
韓國科學(xué)技術(shù)院(KAIST)的研究人員與數(shù)據(jù)情報(bào)機(jī)構(gòu)S2W開展合作,開發(fā)出生成式AI語言模型DarkBERT,該模型專門針對來自暗網(wǎng)的數(shù)據(jù)集進(jìn)行訓(xùn)練。
與ChatGPT或Bard之類的聊天機(jī)器人不同,該模型旨在創(chuàng)建一個工具來分析數(shù)據(jù)集并回答特定的查詢。DarkBERT可以驗(yàn)證使用暗網(wǎng)作為數(shù)據(jù)集是否能讓AI工具更好地理解這些環(huán)境中使用的語言,從而可以為網(wǎng)絡(luò)安全專業(yè)人員和執(zhí)法部門提供幫助。
研究人員使用Tor網(wǎng)絡(luò)訓(xùn)練AI模型
為了優(yōu)化DarkBert適應(yīng)暗網(wǎng)上使用的語言,研究小組通過爬行代理Tor網(wǎng)絡(luò)創(chuàng)建了一個大型數(shù)據(jù)庫。該研究團(tuán)隊(duì)還采用重復(fù)數(shù)據(jù)刪除、數(shù)據(jù)過濾和預(yù)處理技術(shù),以減輕與暗網(wǎng)內(nèi)容相關(guān)的道德?lián)鷳n,而暗網(wǎng)內(nèi)容通常包含大量敏感信息。
該模型在16天內(nèi)輸入了兩組數(shù)據(jù),其中預(yù)處理的數(shù)據(jù)包括受害組織的名稱、泄露數(shù)據(jù)的詳細(xì)信息、威脅聲明、非法圖像等信息。
由于暗網(wǎng)的信息存在潛在風(fēng)險(xiǎn),DarkBert在短期內(nèi)不會向公眾開放。然而,用戶可以提出將這個AI模型用于學(xué)術(shù)目的的請求。