[[398005]]

本文轉(zhuǎn)載自微信公眾號(hào)「菜J學(xué)Python」，作者游世九黎。轉(zhuǎn)載本文請(qǐng)聯(lián)系菜J學(xué)Python公眾號(hào)。

大家好，我是J哥，本文來(lái)自我的好友游世久黎的投稿。

相信很多設(shè)計(jì)小伙伴有好的靈感，但是沒有好的設(shè)計(jì)素材,今天它來(lái)了。攝圖網(wǎng)4000張?jiān)O(shè)計(jì)素材，取之不盡，如下圖所示：

好了，廢話不多說(shuō)，開始用Python采集。

01需求分析

采集攝圖網(wǎng)的素材圖片，目標(biāo)網(wǎng)址-->請(qǐng)求數(shù)據(jù)-->解析數(shù)據(jù)-->提取數(shù)據(jù)-->保存數(shù)據(jù)。

02技術(shù)棧

首先我們用到的技術(shù)包括：urllib，requests，bs4等。

03采集流程

1、分析網(wǎng)頁(yè)結(jié)構(gòu)

打開網(wǎng)址:https://699pic.com/paihang/tupian.html,分析網(wǎng)頁(yè)結(jié)構(gòu),我們可以看到首頁(yè)圖片數(shù)據(jù)雜論,這里我們爬取的是"今日熱門"的圖片,點(diǎn)擊發(fā)現(xiàn)更多:來(lái)到目標(biāo)頁(yè)面,拖動(dòng)滾輪滑到底部,發(fā)現(xiàn)有40個(gè)分頁(yè),也就是我們今天要爬取的4000張?jiān)O(shè)計(jì)圖片：

2、發(fā)起請(qǐng)求

接著對(duì)列表中的每一條url進(jìn)行遍歷,然后發(fā)起請(qǐng)求：

for url in urllist: 
    resp = requests.get(url,headers=hd) 
    html = resp.content.decode('utf-8') 

3、數(shù)據(jù)解析

得到了一個(gè)html對(duì)象,爬取頁(yè)面數(shù)據(jù)信息后,需要對(duì)頁(yè)面進(jìn)行解析,這里我使用到的解析庫(kù)是bs4(偏愛),當(dāng)然xpath也是可以的。通過(guò)分析頁(yè)面元素,我們發(fā)現(xiàn)每個(gè)翻頁(yè)里面的圖片都有這樣的規(guī)律：

因此可以通過(guò)bs4的select方法抓取所有class='lazy'的img標(biāo)簽,得到一個(gè)列表,然后通過(guò)測(cè)試發(fā)現(xiàn)圖片的鏈接存放在img標(biāo)簽的data-original屬性里,通過(guò)img.attrs['data-original']得到,再與'https:'進(jìn)行字符串拼接,得到完整圖片鏈接。

for img in imgs: 
           img_url = img.attrs['data-original'] 
           total_url = base_http_str + img_url 
           print(total_url) 
           # print('--'*60) 
           imgurllist.append(total_url) 

4.提取保存數(shù)據(jù)

最后運(yùn)用urllib中的urlretrive方法,把圖片保存到本地。

def writeData(imgurllist): 
    for index,url in enumerate(imgurllist): 
        urllib.request.urlretrieve(url,'image/'+ '%s.png'%index) 
        print('第%s張圖片下載完成'%index) 

04運(yùn)行爬蟲

運(yùn)行爬蟲代碼，效果如下：

圖片就下載完成了，不過(guò)運(yùn)用傳統(tǒng)方法有點(diǎn)慢，下次試試多線程，提升爬蟲效率。