這幾個(gè)案例以前是給一些想進(jìn)入Python行業(yè)的朋友寫的，看到大家都比較滿意，所以就再次拿了出來，如果你已經(jīng)開始學(xué)python，對(duì)爬蟲沒有頭緒，不妨看看這幾個(gè)案例！
二、環(huán)境準(zhǔn)備
Python 3
requests庫(kù) 、lxml庫(kù)、beautifulsoup4庫(kù)
pip install XX XX XX一并安裝。
三、Python爬蟲小案例
1、獲取本機(jī)的公網(wǎng)IP地址
利用python的requests庫(kù)+公網(wǎng)上查IP的接口，自動(dòng)獲取IP地址
2、利用百度的查找接口，Python編寫url采集工具
需要用到requests庫(kù)、BeautifulSoup庫(kù)，觀察百度搜索結(jié)構(gòu)的URL鏈接規(guī)律，繞過百度搜索引擎的反爬蟲機(jī)制的方法為在程序中設(shè)置User-Agent請(qǐng)求頭。
Python源代碼：
Python語言編寫好程序后，利用關(guān)鍵詞inurl:/dede/login.php 來批量提取某網(wǎng)cms的后臺(tái)地址：
3、利用Python打造搜狗壁紙自動(dòng)下載爬蟲
搜狗壁紙的地址是json格式，所以用json庫(kù)解析這組數(shù)據(jù)，爬蟲程序存放圖片的磁盤路徑改成欲存圖片的路徑就可以了。
效果圖：
4、Python自動(dòng)填寫問卷調(diào)查
與一般網(wǎng)頁一樣，多次提交數(shù)據(jù)會(huì)要輸入驗(yàn)證碼，這就是反爬機(jī)制。
如圖：
那么如何繞過驗(yàn)證碼的反爬措施？利用X-Forwarded-For偽造IP地址訪問即可，Python代碼如下：
效果：
5、獲取西刺代理上的IP，驗(yàn)證這些代理被封禁掉的可能性與延遲時(shí)間
可以把Python爬取的代理IP添加到proxychain里面，就可以進(jìn)行一般的滲透任務(wù)了。這里直接調(diào)用了linux的系統(tǒng)命令ping -c 1 " + ip.string + " | awk 'NR==2{print}' - ，在Windows中運(yùn)行此程序需要修改倒數(shù)第三行os.popen里的命令，修改為Windows能夠執(zhí)行的就可以了。
爬取到的數(shù)據(jù)如圖：
演示：
