[[351342]]

 爬蟲在采集網(wǎng)站的過程中，部分?jǐn)?shù)據(jù)價值較高的網(wǎng)站，會限制訪客的訪問行為。這種時候建議通過登錄的方式，獲取目標(biāo)網(wǎng)站的cookie，然后再使用cookie配合代理IP進(jìn)行數(shù)據(jù)采集分析。

1 使用表單登陸

這種情況屬于post請求，即先向服務(wù)器發(fā)送表單數(shù)據(jù)，服務(wù)器再將返回的cookie存入本地。

#! -*- encoding:utf-8 -*- 
 
import requests 
 
import random 
 
import requests.adapters 
 
 
 
# 要訪問的目標(biāo)頁面 
 
targetUrlList = [ 
 
    "https://httpbin.org/ip", 
 
    "https://httpbin.org/headers", 
 
    "https://httpbin.org/user-agent", 
 
] 
 
 
 
# 代理服務(wù)器(產(chǎn)品官網(wǎng) www.16yun.cn) 
 
proxyHost = "t.16yun.cn" 
 
proxyPort = "31111" 
 
 
 
# 代理隧道驗證信息 
 
proxyUser = "username" 
 
proxyPass = "password" 
 
 
 
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { 
 
    "host": proxyHost, 
 
    "port": proxyPort, 
 
    "user": proxyUser, 
 
    "pass": proxyPass, 
 
} 
 
 
 
# 設(shè)置 http和https訪問都是用HTTP代理 
 
proxies = { 
 
    "http": proxyMeta, 
 
    "https": proxyMeta, 
 
} 
 
 
 
# 訪問三次網(wǎng)站，使用相同的Session(keep-alive)，均能夠保持相同的外網(wǎng)IP 
 
s = requests.session() 
 
 
 
# 設(shè)置cookie 
 
cookie_dict = {"JSESSION":"123456789"} 
 
cookies = requests.utils.cookiejar_from_dict(cookie_dict, cookiejar=None, overwrite=True) 
 
s.cookies = cookies 
 
 
 
for i in range(3): 
 
    for url in targetUrlList: 
 
        r = s.get(url, proxies=proxies) 
 
        print r.text 

2 使用cookie登陸 

使用cookie登陸，服務(wù)器會認(rèn)為你是一個已登陸的用戶，所以就會返回給你一個已登陸的內(nèi)容。因此，需要驗證碼的情況可以使用帶驗證碼登陸的cookie解決。

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！ 

若存在驗證碼，此時采用response = requests_session.post(url=url_login, data=data)是不行的，做法應(yīng)該如下：

response_captcha = requests_session.get(url=url_login, cookies=cookies) 
  
response1 = requests.get(url_login) # 未登陸 
  
response2 = requests_session.get(url_login) # 已登陸，因為之前拿到了Response Cookie！ 
  
response3 = requests_session.get(url_results) # 已登陸，因為之前拿到了Response Cookie！ 
  

 【編輯推薦】