在開發(fā)實(shí)際項(xiàng)目的時(shí)候，你經(jīng)常沒有足夠多的數(shù)據(jù)，需要自己去想辦法獲取，這個(gè)時(shí)候常常需要用到爬蟲。然而找來找去，很可能找了很久都找不到既免費(fèi)又好用的爬蟲，今天就從好的爬蟲開始說起，這很可能是項(xiàng)目成功的開始。

1 綜述類項(xiàng)目與學(xué)習(xí)資料

首先給大家介紹一些非常優(yōu)秀的綜述和學(xué)習(xí)類項(xiàng)目，方便大家快速索引找到所需要的資源。

1.1、awesome-spider

地址：https://github.com/facert/awesome-spider

這是ID為facert的一個(gè)知乎工程師開源的，頭像如下，鑒定為大佬。

star6000+，內(nèi)容如下：

這一款爬蟲，里面搜集了幾乎所有可以爬取的中文網(wǎng)址，從知乎豆瓣到知網(wǎng)，抖音微博到QQ，還有很多的不可描述的網(wǎng)站，你懂的。

1.2、Nyspider

地址：https://github.com/Nyloner/Nyspider

這是ID為Nyloner的一個(gè)今日頭條的工程師弄的，頭像如下：

star1000+，風(fēng)格與上面的項(xiàng)目大有不同。

可以看出，都是各類網(wǎng)址。這很頭條，跟這位小哥哥的工作內(nèi)容估計(jì)有關(guān)系。

1.3、awesome-python-login-model

地址：https://github.com/CriseLYJ/awesome-python-login-model

這是ID為CriseLYJ(職業(yè)不詳)的用戶，頭像如下。

這個(gè)項(xiàng)目用于模擬各種網(wǎng)址登陸，也包含一些簡(jiǎn)單的爬蟲，star6000+。

先從這個(gè)項(xiàng)目開始分析各大網(wǎng)站的登錄方式，非常有用，可謂摸清對(duì)手再動(dòng)手。

1.4、python-spider

地址：https://github.com/Jack-Cherish/python-spider

這是ID為Jack-Cherish的東北大學(xué)的一個(gè)學(xué)生整理的學(xué)習(xí)python爬蟲的資料，這個(gè)頭像很學(xué)生。

star6000+，包含不少的實(shí)戰(zhàn)項(xiàng)目，非常適合想學(xué)習(xí)的朋友。

其他還有一些項(xiàng)目，不再一一介紹。

https://github.com/jhao104/proxy_pool
https://github.com/Ehco1996/Python-crawler

2 優(yōu)秀圖片/視頻項(xiàng)目

筆者的精力多在圖像和視頻，所以下面各自介紹一個(gè)功能強(qiáng)大，簡(jiǎn)單好用的圖片和視頻爬蟲。

工具親測(cè)長(zhǎng)期有效，省去了很多找爬蟲工具的時(shí)間，早用早好。

2.1、Google，Baidu，Bing三大搜素引擎圖片爬蟲

地址：https://github.com/sczhengyabin/Image-Downloader

這個(gè)爬蟲由ID為sczhengyabin的用戶整理，看頭像就知道不好惹。

可以按要求爬取百度、Bing、Google上的圖片，我已經(jīng)用了幾年了，提供了非常人性化的GUI方便操作，使用方法如下：

使用python image_downloader_gui.py調(diào)用GUI界面，配置好參數(shù)(關(guān)鍵詞，路徑，爬取數(shù)目等)，關(guān)鍵詞可以直接在這里輸入也可以選擇從txt文件中選擇。

可以配置需要爬取的樣本數(shù)目，這里一次爬了2000張，妥妥的3分鐘搞定。

這個(gè)爬蟲足夠滿足小型項(xiàng)目初始數(shù)據(jù)集的積累(爬幾千張高質(zhì)量圖片妥妥的)，結(jié)果命名也非常整齊規(guī)范，***的優(yōu)勢(shì)就是穩(wěn)定啊，不會(huì)三天兩天不能用了。

2.2、各大視頻網(wǎng)站爬蟲

地址：https://github.com/iawia002/annie

由ID為iawia002的用戶整理，看頭像來路也不簡(jiǎn)單。

Annie是一款以go語言編碼的視頻下載工具，使用便捷并支持youtube，騰訊視頻，抖音等多個(gè)網(wǎng)站視頻和圖像的下載，收錄站點(diǎn)如下，可以說是該有的都有的：

雖然這個(gè)項(xiàng)目可以下載圖片，但是我們還是來用它下載視頻吧，使用方法很簡(jiǎn)單：

annie ［可選參數(shù)］http://… (視頻網(wǎng)址) 

視頻會(huì)下載到當(dāng)前目錄，至于那些可選參數(shù)，趕緊去摸索吧。

要說互聯(lián)網(wǎng)圈里最有權(quán)勢(shì)的那些人，搞爬蟲的高手一定位列其中，他們大概是掌握信息最多的那批人了，善于整合抓取資源，如果身邊有這樣的大佬，一定要牢牢抱著。