早在一年前，美國(guó)國(guó)防部先進(jìn)研究項(xiàng)目局(DARPA)曾透漏過(guò)一個(gè)秘密項(xiàng)目——一款新型搜索引擎，通過(guò)深度挖掘暗網(wǎng)(Dark Web)，獲取Google搜索和其他商業(yè)搜索引擎未能涉及到的所有隱秘信息。現(xiàn)在，它已經(jīng)悄然問(wèn)世。

科普：什么是暗網(wǎng)

暗網(wǎng)并非十分龐大，甚至沒(méi)有想象中那樣特別的神秘。事實(shí)上，所謂“暗網(wǎng)”都是公共可見(jiàn)的網(wǎng)站，但卻將真實(shí)的服務(wù)器IP隱藏了而已。這意為著，任何人都可以訪問(wèn)暗網(wǎng)，但“暗”就暗在這些網(wǎng)站隱藏極深，難以調(diào)查的幕后。

黑客辭典：暗網(wǎng)(the Dark Web)

神秘的“暗網(wǎng)搜索引擎”

暗網(wǎng)搜索引擎項(xiàng)目被命名為“Memex”，測(cè)試顯示項(xiàng)目運(yùn)營(yíng)效果良好。

上周日晚，Memex首度亮相于公眾，我們有幸搶先一睹這款特別的搜索引擎的風(fēng)采——這是一款以打擊犯罪為目的搜索引擎，美國(guó)國(guó)防部五角大樓的研究機(jī)構(gòu)批準(zhǔn)Scientific American新聞網(wǎng)預(yù)睹其真容，然后讓60分鐘節(jié)目組獨(dú)家對(duì)這款新技術(shù)的結(jié)晶進(jìn)行了視頻報(bào)道。

Memex這個(gè)單詞來(lái)自于記憶(memory)與索引(index)的組合，它基于開(kāi)源的數(shù)字可視化搜索分析程序，通過(guò)與后端服務(wù)器軟件交互，完成復(fù)雜的計(jì)算和數(shù)據(jù)分析。

通過(guò)用戶搜索的信息，Memex搜索引擎會(huì)對(duì)相關(guān)內(nèi)容進(jìn)行抓取。經(jīng)過(guò)爬蟲(chóng)對(duì)頁(yè)面內(nèi)容的遞歸獲取，有效地識(shí)別不同數(shù)據(jù)塊之間的關(guān)系。研究人員能夠利用搜索到的空間和時(shí)間的數(shù)據(jù)構(gòu)建數(shù)據(jù)圖，進(jìn)行可視化分析。

視頻介紹

下面附上的視頻能給各位FreeBuf讀者更直觀的感受和理解。

暗網(wǎng)是一個(gè)遍布婦女兒童綁架、色情信息、毒品交易、網(wǎng)絡(luò)犯罪和人口販賣(mài)的邪惡聚集地，但是由于暗網(wǎng)的隱秘性極高，所以它能輕易躲避主流引擎的搜索。

當(dāng)然，隨著暗網(wǎng)搜索引擎的誕生，相信它們的好運(yùn)也就到此為止了。

設(shè)計(jì)理念

暗網(wǎng)搜索引擎Memex用于保護(hù)網(wǎng)絡(luò)免受黑客、人販子或者其他類型罪犯的的侵害。它的設(shè)計(jì)理念即：擴(kuò)展搜索引擎的能力，根據(jù)特定人物的興趣迅速進(jìn)行信息的全面整合。

Memex搜索引擎的研究發(fā)起者Chris White等人詳談了整個(gè)暗網(wǎng)搜索引擎的工作原理，以及它是如何幫助執(zhí)法機(jī)構(gòu)進(jìn)行調(diào)查的。

White表示：“互聯(lián)網(wǎng)比人們想得要復(fù)雜得多。據(jù)統(tǒng)計(jì)分析，Google、微軟bing以及雅虎搜索，只收錄了網(wǎng)絡(luò)上大約5%的web內(nèi)容。”很明顯，這給網(wǎng)絡(luò)犯罪留下了很大的潛在發(fā)展空間。

在上述有關(guān)Memex搜索引擎的視頻片段里，大家還能看到美國(guó)國(guó)防部先進(jìn)研究項(xiàng)目局的Dan Kaufman。這位主管在視頻里表示：“Memex的理念簡(jiǎn)化來(lái)說(shuō)就是——如何挖掘不易被發(fā)現(xiàn)的東西。”

White嚴(yán)肅地說(shuō)：“大多數(shù)網(wǎng)民都是守法公民，但是也肯定會(huì)存在一些網(wǎng)絡(luò)寄生蟲(chóng)。我們會(huì)剝奪其利用網(wǎng)絡(luò)侵害我們的能力，創(chuàng)造一個(gè)更加美好的網(wǎng)絡(luò)環(huán)境。”

項(xiàng)目進(jìn)度

Memex如今還處于beta階段，現(xiàn)有一個(gè)政府機(jī)構(gòu)和一個(gè)非政府組織負(fù)責(zé)測(cè)試。當(dāng)然，在幾周后的下一測(cè)試階段，Memex還會(huì)擴(kuò)大內(nèi)測(cè)范圍。

“這一輪的測(cè)試，其中一個(gè)主要目標(biāo)就是分析照片。比如對(duì)于毒販面部的匹配，或者是根據(jù)圖片背景中電視屏幕映出圖像，進(jìn)行模糊搜索匹配。另一個(gè)目標(biāo)，則是嘗試用不同用戶界面，嘗試使用流媒體結(jié)構(gòu)來(lái)評(píng)估時(shí)間敏感的數(shù)據(jù)。”

這意味著在暗網(wǎng)搜索引擎Memex的幫助下，美國(guó)國(guó)防部先進(jìn)研究項(xiàng)目局(DARPA)有可能會(huì)根據(jù)圖片中電視屏幕的上的倒影圖像，通過(guò)圖像模糊匹配技術(shù)進(jìn)行分析定位，在使用一定手段確認(rèn)后對(duì)罪犯實(shí)施抓捕。

這聽(tīng)起來(lái)似乎如好萊塢電影一般富有奇幻色彩，不過(guò)Memex團(tuán)隊(duì)強(qiáng)調(diào)，這一切“黑科技”本意只是降低犯罪率，而不是侵犯大多數(shù)人的隱私。