收集電子郵件地址、競爭分析、網(wǎng)站檢查、定價分析和客戶數(shù)據(jù)收集 — 這些可能只是你需要從 HTML 文檔中提取文本和其他數(shù)據(jù)的幾個原因。不幸的是，手動做這種事是很痛苦的而且效率很低，在某些情況下甚至不可能實現(xiàn)。幸運的是，現(xiàn)在有各種各樣的工具可以實現(xiàn)這些需求。下面的 7 個工具包括了由為初學(xué)者和小項目而設(shè)計的非常簡單的工具到需要一定的編碼知識，旨在用于更大，更困難的任務(wù)的高級工具。

Iconico HTML 文本提取器 (Iconico HTML Text Extractor)

試想一下，你正在瀏覽競爭對手的網(wǎng)站，然后想提取出文本內(nèi)容，又或是想看看頁面背后的 HTML 代碼。但十分不幸，你發(fā)現(xiàn)右鍵被禁用了，復(fù)制和粘貼也是如此?，F(xiàn)在許多 Web 開發(fā)人員正在采取措施禁用查看源代碼，否則鎖定其頁面。幸運的是，Iconico 有一個 HTML 文本提取器，你可以用來繞過所有的這些限制，而且這個產(chǎn)品非常易于使用。你可以高亮和復(fù)制文本，提取功能的運行使用輕易得像上網(wǎng)一樣。

UiPath

UIPath 有一套自動化過程工具，里面包含了一個 Web 內(nèi)容抓取實用程序。要使用該工具，并獲得所需的幾乎任何數(shù)據(jù)十分簡單 — 只需打開頁面，轉(zhuǎn)到工具中的設(shè)計菜單，然后單擊“網(wǎng)絡(luò)抓取(web scraping)”。 除了網(wǎng)絡(luò)抓取工具，屏幕抓取工具允許您從網(wǎng)頁中拉取任何內(nèi)容。 使用這兩種工具意味著您可以從任何網(wǎng)頁抓取文本，表格數(shù)據(jù)和其他相關(guān)信息。

Mozenda

Mozenda 允許用戶提取 Web數(shù)據(jù)，并將該信息導(dǎo)出到各種智能商務(wù)工具。它不僅可以提取文本內(nèi)容，還可以從 PDF 文件中提取出圖像，文件和內(nèi)容。然后，你可以將這些數(shù)據(jù)導(dǎo)出到 XML 文件，CSV 文件，JSON 或者可以選擇使用 API。 提取和導(dǎo)出數(shù)據(jù)后，就可以使用 BI 工具進行分析和報告。

HTMLtoText

這款在線工具可以從 HTML 源代碼中提取文本，甚至只是一個 URL 也可以。你所需要做的只是復(fù)制和粘貼，提供一個 URL 或者上傳文件。 單擊選項按鈕，讓工具知道你需要的輸出格式和一些其他的細(xì)節(jié)，然后點擊轉(zhuǎn)換，你將獲得你需要的文本信息。

(還有一個類似的工具 — www.htmlnest.com/htmltotext.aspx)

Octoparse

Octoparse 的特征是它提供的是“點擊”用戶界面。即便是沒有過編碼知識的用戶也可以從網(wǎng)站提取數(shù)據(jù)并將其發(fā)送到各種文件格式。這個工具包括從頁面中提取電子郵件地址，從招聘板上提取職位列表等功能。該工具適用于動態(tài)和靜態(tài)網(wǎng)頁以及云采集(配置好采集任務(wù)關(guān)機也能采集數(shù)據(jù))。它提供了一個免費版本，對于大多數(shù)使用場景應(yīng)該足夠應(yīng)付，而付費版本則有更多豐富的功能。

如果你是為了進行競爭分析而抓取網(wǎng)站，可能會因為此活動而被禁止。因為 Octoparse 包含一個循環(huán)識別你的 IP 地址的功能，并能通過你的 IP 禁止你使用。

Scrapy

這個免費的開源工具使用網(wǎng)絡(luò)爬蟲從網(wǎng)站提取信息，使用這個工具需要一些高級技能和編碼知識。但如果你愿意以你的方式去學(xué)習(xí)使用它，Scrapy 是抓取大型 Web 項目的理想選擇。該工具已被 CareerBuilder 和其他主要品牌使用。因為它是一個開源工具，所以這為用戶提供了很多良好的社區(qū)支持。

Kimono

Kimono 是一個免費的工具，從網(wǎng)頁獲取非結(jié)構(gòu)化數(shù)據(jù)，并將該信息提取為具有 XML 文件的結(jié)構(gòu)化格式。該工具可以交互使用，也可以創(chuàng)建計劃作業(yè)以在特定時間提取你需要的數(shù)據(jù)。你可以從搜索引擎結(jié)果、網(wǎng)頁、甚至幻燈片演示中提取數(shù)據(jù)。最重要的是，當(dāng)你設(shè)置好每個工作流時，Kimono 會創(chuàng)建一個 API。這意味著當(dāng)你返回到網(wǎng)站以提取更多數(shù)據(jù)時，不必再重新造輪子。

結(jié)論

如果你遇到需要從一個或多個網(wǎng)頁中提取非結(jié)構(gòu)化數(shù)據(jù)的任務(wù)，那么此列表中至少有一個工具應(yīng)該包含你需要的解決方案。而且無論你的期望價格是什么，你都應(yīng)該能找到你所需要的工具。了解清楚然后決定哪個是最適合你的。要知道，大數(shù)據(jù)在企業(yè)蓬勃發(fā)展中的重要性，并且收集所需信息的能力對于你來說也是至關(guān)重要。