在數(shù)據(jù)科學(xué)或人工智能領(lǐng)域，除了算法之外，最重要的應(yīng)該是數(shù)據(jù)了。甚至可以說(shuō)一個(gè)模型到最后決定其準(zhǔn)確度的往往不是算法而是數(shù)據(jù)。在現(xiàn)實(shí)中，缺少足夠的數(shù)據(jù)成了數(shù)據(jù)分析師獲得優(yōu)秀模型的主要阻礙?？上驳氖牵F(xiàn)在網(wǎng)絡(luò)爬蟲(chóng)技術(shù)已經(jīng)相當(dāng)成熟，一個(gè)合格的數(shù)據(jù)分析師或者人工智能模型設(shè)計(jì)師應(yīng)該或多或少熟練掌握幾種網(wǎng)絡(luò)爬蟲(chóng)技術(shù)。

Python提供了大量的爬蟲(chóng)庫(kù)，每個(gè)庫(kù)都有各自不同的特點(diǎn)，而在項(xiàng)目中如何選擇適合你的庫(kù)呢?本文主要列舉了5個(gè)當(dāng)前非常流行的Python爬蟲(chóng)庫(kù)，并列出了各自的優(yōu)勢(shì)和劣勢(shì)，希望可以在你的工作和學(xué)習(xí)中有所幫助。

Requests庫(kù)

這是Web爬蟲(chóng)最基本的庫(kù)。 “請(qǐng)求”的意思是向網(wǎng)站的服務(wù)器發(fā)出HTML請(qǐng)求，以檢索其頁(yè)面上的內(nèi)容。獲取網(wǎng)頁(yè)的HTML內(nèi)容是Web爬蟲(chóng)的首要步驟。Requests用于發(fā)出各種類(lèi)型的HTTP請(qǐng)求，例如GET，POST等。

優(yōu)點(diǎn)：

• 使用簡(jiǎn)單
• 支持基本身份驗(yàn)證
• 支持國(guó)際域名和URL
• 支持分塊請(qǐng)求
• 支持HTTP和HTTPS代理

缺點(diǎn)：

• 只檢索頁(yè)面的靜態(tài)內(nèi)容
• 不能用于解析HTML
• 無(wú)法處理純JavaScript制作的網(wǎng)站

lxml庫(kù)

Ixml是一種性能較高的HTML和XML的解析庫(kù)。特別適適合用于大型數(shù)據(jù)集的爬取解析。通?？梢詫equests庫(kù)和Ixml庫(kù)結(jié)合使用。Ixml還允許你使用XPath和CSS選擇器從HTML提取數(shù)據(jù)。

優(yōu)點(diǎn)：

• 速度快，效率高
• 比較輕巧
• 使用元素樹(shù)
• 支持Pythonic API接口

缺點(diǎn)：

• 不適用于設(shè)計(jì)不當(dāng)?shù)腍TML
• 官方文檔不夠詳細(xì)，不太適合初學(xué)者

BeautifulSoup庫(kù)

BeautifulSoup庫(kù)因?yàn)槠湟子眯圆⑶曳浅＿m合初學(xué)者，所以可以說(shuō)是當(dāng)前Web爬取中使用最廣泛的Python庫(kù)。BeautifulSoup創(chuàng)建了一個(gè)解析樹(shù)，用于解析HTML和XML文檔。BeautifulSoup會(huì)自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode，將輸出文檔轉(zhuǎn)換為UTF-8。我們可以將BeautifulSoup與其他解析器(如lxml)結(jié)合使用。BeautifulSoup庫(kù)的一個(gè)主要優(yōu)點(diǎn)是它可以與設(shè)計(jì)欠佳的HTML一起很好地工作。

優(yōu)點(diǎn)：

• 簡(jiǎn)單，非常簡(jiǎn)單
• 功能強(qiáng)大
• 文檔比較全面
• 特別適合初學(xué)者
• 自動(dòng)編碼檢測(cè)

缺點(diǎn)：

• 性能比lxml慢
• Selenium庫(kù)

前面講到的3種Python庫(kù)都有一定的局限性，既無(wú)法輕易地從動(dòng)態(tài)填充的網(wǎng)站中抓取數(shù)據(jù)，這是因?yàn)閯?dòng)態(tài)網(wǎng)站的許多內(nèi)容是通過(guò)JavaScript加載的。換句話(huà)說(shuō)，如果頁(yè)面不是靜態(tài)的，那么前面提到的Python庫(kù)就很難從中抓取數(shù)據(jù)。Selenium庫(kù)就是用來(lái)解決上述問(wèn)題。Selenium庫(kù)最初是用于網(wǎng)絡(luò)自動(dòng)化測(cè)試的，在其他庫(kù)無(wú)法運(yùn)行JavaScript的地方，Selenium能夠完美的解決。Selenium可以在網(wǎng)頁(yè)上實(shí)現(xiàn)控件點(diǎn)擊、填寫(xiě)表格、滾動(dòng)頁(yè)面等操作。

優(yōu)點(diǎn)：

• 有足夠的學(xué)習(xí)文檔，適合初學(xué)者
• 自動(dòng)爬取信息
• 可以抓取動(dòng)態(tài)填充的網(wǎng)頁(yè)
• 可以在網(wǎng)頁(yè)上實(shí)現(xiàn)與人工相似的任何操作

缺點(diǎn)：

• 速度非常慢
• 設(shè)置比較困難
• CPU和內(nèi)存使用率較高
• 不適用于大型項(xiàng)目

Scrapy庫(kù)

Python網(wǎng)絡(luò)爬蟲(chóng)庫(kù)里的超級(jí)大BOSS。Scrapy提供的蜘蛛機(jī)器人(spider bots)可以爬取多個(gè)網(wǎng)站并提取數(shù)據(jù)。Scrapy最大的優(yōu)點(diǎn)是異步爬取，它可以同時(shí)發(fā)出多個(gè)HTTP請(qǐng)求，所以爬取效率很高。

優(yōu)點(diǎn)：

• 異步
• 幫助文檔較多
• 支持各種插件
• 創(chuàng)建自定義管道和中間件
• CPU和內(nèi)存使用率低
• 有大量可用的在線(xiàn)資源

缺點(diǎn)：

• 學(xué)習(xí)難度比前幾種大
• 不適合初學(xué)者

總結(jié)

Python網(wǎng)絡(luò)爬蟲(chóng)庫(kù)，每個(gè)庫(kù)都是針對(duì)不同的使用場(chǎng)景設(shè)計(jì)的，沒(méi)有哪個(gè)最好，只有哪個(gè)更適合你，在使用過(guò)程中需要你綜合考慮使用場(chǎng)景，畢竟在數(shù)據(jù)分析的人工智能的世界中往往是性能和計(jì)算機(jī)資源不可兼得。