[[315483]]

上手開(kāi)源的對(duì)等 Web 索引器 YaCy。

很久以前，互聯(lián)網(wǎng)很小，小到幾個(gè)人就可以索引它們，這些人收集了所有網(wǎng)站的名稱和鏈接，并按主題將它們分別列在頁(yè)面或印刷書籍中。隨著萬(wàn)維網(wǎng)網(wǎng)絡(luò)的發(fā)展，形成了“網(wǎng)站環(huán)”形式，具有類似的內(nèi)容、主題或敏感性的站點(diǎn)捆綁在一起，形成了通往每個(gè)成員的循環(huán)路徑。環(huán)中任何站點(diǎn)的訪問(wèn)者都可以單擊按鈕以轉(zhuǎn)到環(huán)中的下一個(gè)或上一個(gè)站點(diǎn)，以發(fā)現(xiàn)與其興趣相關(guān)的新站點(diǎn)。

又過(guò)了一段時(shí)間，互聯(lián)網(wǎng)似乎變得臃腫不堪了。每個(gè)人都在網(wǎng)絡(luò)上，有很多冗余信息和垃圾郵件，多到讓你無(wú)法找到任何東西。Yahoo 和 AOL、CompuServe 以及類似的服務(wù)各自采用了不同的方法來(lái)解決這個(gè)問(wèn)題，但是直到谷歌出現(xiàn)后，現(xiàn)代的搜索模型才得以普及。按谷歌的做法，互聯(lián)網(wǎng)應(yīng)該通過(guò)搜索引擎進(jìn)行索引、排序和排名。

為什么選擇開(kāi)源替代品？

像谷歌和 DuckDuckGo 這樣的搜索引擎顯然是卓有成效的。你可能是通過(guò)搜索引擎訪問(wèn)的本站。盡管對(duì)于因主機(jī)沒(méi)有選擇遵循優(yōu)化搜索引擎的最佳實(shí)踐從而導(dǎo)致會(huì)內(nèi)容陷入困境這件事仍存在爭(zhēng)論，但用于管理豐富的文化、知識(shí)和輕率的信息（即互聯(lián)網(wǎng)）的現(xiàn)代解決方案是冷冰冰的索引。

但是也許出于隱私方面的考慮，或者你希望為使互聯(lián)網(wǎng)更加獨(dú)立而做出貢獻(xiàn)，你或許不愿意使用谷歌或 DuckDuckGo。如果你對(duì)此感興趣，那么可以考慮參加 YaCy，這是一個(gè)對(duì)等互聯(lián)網(wǎng)索引器和搜索引擎。

安裝 YaCy

要安裝并嘗試 YaCy，請(qǐng)首先確保已安裝 Java。如果你使用的是 Linux，則可以按照我的《如何在 Linux 上安裝 Java》中的說(shuō)明進(jìn)行操作。如果你使用 Windows 或 MacOS，請(qǐng)從 AdoptOpenJDK.net 獲取安裝程序。

安裝 Java 后，請(qǐng)根據(jù)你的平臺(tái)下載安裝程序。

如果你使用的是 Linux，請(qǐng)解壓縮 tarball 并將其移至 /opt 目錄：

$ sudo tar --extract --file  yacy_*z --directory /opt

根據(jù)下載的安裝程序的說(shuō)明啟動(dòng) YaCy。

在 Linux 上，啟動(dòng)在后臺(tái)運(yùn)行的 YaCy：

$ /opt/startYACY.sh &

在 Web 瀏覽器中，導(dǎo)航到 localhost:8090 并進(jìn)行搜索。

YaCy start page

將 YaCy 添加到你的地址欄

如果你使用的是 Firefox Web 瀏覽器，則只需單擊幾下，即可在 Awesome Bar（Mozilla 給 URL 欄起的名稱）中將 YaCy 設(shè)置為默認(rèn)搜索引擎。

首先，如果尚未顯示，在 Firefox 工具欄中使專用搜索欄顯示出來(lái)（你不必使搜索欄保持一直可見(jiàn)；只需要激活它足夠長(zhǎng)的時(shí)間即可添加自定義搜索引擎）。Firefox 右上角的“漢堡”菜單中的“自定義”菜單中提供了搜索欄。在 Firefox 工具欄上的搜索欄可見(jiàn)后，導(dǎo)航至 localhost:8090，然后單擊剛添加的 Firefox 搜索欄中的放大鏡圖標(biāo)。單擊選項(xiàng)將 YaCy 添加到你的 Firefox 的搜索引擎中。

Adding YaCy to Firefox

完成此操作后，你可以在 Firefox 首選項(xiàng)中將其標(biāo)記為默認(rèn)值，或者僅在 Firefox 搜索欄中執(zhí)行的搜索中選擇性地使用它。如果將其設(shè)置為默認(rèn)搜索引擎，則可能不需要專用搜索欄，因?yàn)?Awesome Bar 也使用默認(rèn)引擎，因此可以將其從工具欄中刪除。

對(duì)等搜索引擎如何工作

YaCy 是一個(gè)開(kāi)源的分布式搜索引擎。它是用 Java 編寫的，因此可以在任何平臺(tái)上運(yùn)行，并且可以執(zhí)行 Web 爬網(wǎng)、索引和搜索。這是一個(gè)對(duì)等（P2P）網(wǎng)絡(luò)，因此每個(gè)運(yùn)行 YaCy 的用戶都將努力地不斷跟蹤互聯(lián)網(wǎng)的變化情況。當(dāng)然，沒(méi)有單個(gè)用戶能擁有整個(gè)互聯(lián)網(wǎng)的完整索引，因?yàn)檫@將需要一個(gè)數(shù)據(jù)中心來(lái)容納，但是該索引分布在所有 YaCy 用戶中且是冗余的。它與 BitTorrent 非常相似（因?yàn)樗褂梅植际焦１?DHT 來(lái)引用索引條目），只不過(guò)你所共享的數(shù)據(jù)是單詞和 URL 關(guān)聯(lián)的矩陣。通過(guò)混合哈希表返回的結(jié)果，沒(méi)人能說(shuō)出誰(shuí)搜索了哪些單詞，因此所有搜索在功能上都是匿名的。這是用于無(wú)偏見(jiàn)、無(wú)廣告、未跟蹤和匿名搜索的有效系統(tǒng)，你只需要使用它就加入了它。

搜索引擎和算法

索引互聯(lián)網(wǎng)的行為是指將網(wǎng)頁(yè)分成單個(gè)單詞，然后將頁(yè)面的 URL 與每個(gè)單詞相關(guān)聯(lián)。在搜索引擎中搜索一個(gè)或多個(gè)單詞將獲取與該查詢關(guān)聯(lián)的所有 URL。YaCy 客戶端在運(yùn)行時(shí)也是如此。

客戶端要做的另一件事是為你的瀏覽器提供搜索界面。你可以將 Web 瀏覽器指向 localhost:8090 來(lái)搜索 YaCy，而不是在要搜索時(shí)導(dǎo)航到谷歌。你甚至可以將其添加到瀏覽器的搜索欄中（取決于瀏覽器的可擴(kuò)展性），因此可以從 URL 欄中進(jìn)行搜索。

YaCy 的防火墻設(shè)置

首次開(kāi)始使用 YaCy 時(shí)，它可能運(yùn)行在“初級(jí)”模式下。這意味著你的客戶端爬網(wǎng)的站點(diǎn)僅對(duì)你可用，因?yàn)槠渌?YaCy 客戶端無(wú)法訪問(wèn)你的索引條目。要加入對(duì)等環(huán)境，必須在路由器的防火墻（或者你正在運(yùn)行的軟件防火墻）中打開(kāi)端口 8090，這稱為“高級(jí)”模式。

如果你使用的是 Linux，則可以在《使用防火墻讓你的 Linux 更加強(qiáng)大》中找到有關(guān)計(jì)算機(jī)防火墻的更多信息。在其他平臺(tái)上，請(qǐng)參考操作系統(tǒng)的文檔。

互聯(lián)網(wǎng)服務(wù)提供商（ISP）提供的路由器上幾乎總是啟用了防火墻，并且有太多種類的防火墻無(wú)法準(zhǔn)確說(shuō)明。大多數(shù)路由器都提供了在防火墻上“打洞”的選項(xiàng)，因?yàn)樵S多流行的聯(lián)網(wǎng)游戲都需要雙向流量。

如果你知道如何登錄路由器（通常為 192.168.0.1 或 10.1.0.1，但可能因制造商的設(shè)置而異），則登錄并查找配置面板來(lái)控制“防火墻”或“端口轉(zhuǎn)發(fā)”或“應(yīng)用”。

找到路由器防火墻的首選項(xiàng)后，將端口 8090 添加到白名單。例如：

Adding YaCy to an ISP router

如果路由器正在進(jìn)行端口轉(zhuǎn)發(fā)，則必須使用相同的端口將傳入的流量轉(zhuǎn)發(fā)到計(jì)算機(jī)的 IP 地址。例如：

Adding YaCy to an ISP router

如果由于某種原因無(wú)法調(diào)整防火墻設(shè)置，那也沒(méi)事。YaCy 將繼續(xù)以初級(jí)模式運(yùn)行并作為對(duì)等搜索網(wǎng)絡(luò)的客戶端運(yùn)行。

你的互聯(lián)網(wǎng)

使用 YaCy 搜索引擎可以做的不僅僅是被動(dòng)搜索。你可以強(qiáng)制抓取不太顯眼的網(wǎng)站，可以請(qǐng)求對(duì)網(wǎng)站進(jìn)行網(wǎng)絡(luò)抓取，可以選擇使用 YaCy 進(jìn)行本地搜索等等。你可以更好地控制你的互聯(lián)網(wǎng)的所呈現(xiàn)的一切。高級(jí)用戶越多，索引的網(wǎng)站就越多。索引的網(wǎng)站越多，所有用戶的體驗(yàn)就越好。加入吧！