[[440669]]

當我們使用模擬瀏覽器訪問一個網(wǎng)站的時候，可能會遇到網(wǎng)站需要登錄的情況。我的爬蟲練習網(wǎng)站提供了這樣一個登錄練習[1]的案例。

如果你手動用瀏覽器測試，你會發(fā)現(xiàn)這樣一個現(xiàn)象：第一次訪問的時候，自動跳轉(zhuǎn)到登錄頁面。輸入賬號kingname和密碼genius以后，可以看到登錄成功的頁面，如下圖所示：

現(xiàn)在，你把瀏覽器關了再打開，然后再次訪問這個網(wǎng)址，你會發(fā)現(xiàn)瀏覽器直接就能進入到登錄成功的頁面，不會再出現(xiàn)登錄頁面。

我們都知道，這是因為瀏覽器記住了網(wǎng)站的Cookies，即使關閉了瀏覽器再打開，這個Cookies依然存在，所以可以繞過登錄功能。

但如果你使用Selenium或者Puppeteer/Pyppeteer，那么情況就不是這樣了。當你第一次登錄成功了以后，退出程序。第二次重新運行程序的時候，爬蟲又要重新登錄一次。這個過程一來拖慢了爬蟲的運行速度，二來容易讓網(wǎng)站檢測到你的賬號異常——難道自動登錄功能失效了?為什么其他人的都正常，他的賬號每小時都要重新登錄一次?可能是爬蟲，發(fā)個驗證碼過去探探虛實。

同理，還有時候，網(wǎng)站登錄會出現(xiàn)很麻煩的驗證碼，但是一旦登錄成功，這個驗證碼就再也不會出現(xiàn)了。處理這種驗證碼最簡單的辦法就是直接人工參與。那么如果爬蟲每小時都要運行一次，豈不是每小時都要人來過一次驗證碼?能不能讓爬蟲只登錄一次，之后就再也不登陸了呢?

方法有兩個。第一個方法，也是大家最直觀能想到的方法：登陸成功以后，把Cookies保存下來。下一次要重新登陸的時候直接把這個Cookies設置到瀏覽器里面可以了。這個方法網(wǎng)上有很多例子，你可以通過關鍵詞“selenium 獲取cookies”和“selenium設置cookies”搜索到，我就不再贅述了。

我們今天要講的是第二個方法，也是最簡單的方法。并且這個方法聽起來很弱智：我不關瀏覽器，它的Cookies不就不會清空了嗎?

但你仔細想一下，根據(jù)你之前的經(jīng)驗，當你的爬蟲代碼退出的時候，是不是瀏覽器也被自動關閉了?即使因為某種原因，爬蟲代碼本身崩潰了，瀏覽器沒有關閉，那你第二次啟動爬蟲的時候，怎么重新連回之前啟動的瀏覽器?

我們今天要做的，就是把啟動瀏覽器和啟動爬蟲，這兩件事情分開。首先使用某種方法單獨啟動瀏覽器，然后再啟動爬蟲代碼，并且讓爬蟲代碼接管這個瀏覽器并控制它。

Chrome瀏覽器是支持遠程調(diào)試模式的。這個模式打開的情況下，Puppeteer或者Selenium可以通過websocket連上去，進而控制它。

首先我們來啟動Chrome的遠程調(diào)試端口。你需要找到Chrome的安裝位置，在Chrome的地址欄輸入chrome://version就能找到Chrome的安裝路徑，如下圖所示：

有了這個以后，我們需要執(zhí)行命令啟動支持遠程調(diào)試功能的Chrome。如果你的電腦是Mac，那么命令是：

"/Applications/Google Chrome.app/Contents/MacOS/Google Chrome"  --remote-debugging-port=9222 --no-first-run --no-default-browser-check --user-data-dir=$(mktemp -d -t 'chrome-remote_data_dir')  

注意，由于地址中有空格，所以要把可執(zhí)行文件的路徑用引號抱起來。

如果你的電腦是Windows，那么就很簡單了，執(zhí)行命令：

文件路徑/chrome.exe --remote-debugging-port=9222 

啟動以后如下圖所示：

此時，你先不要動這個通過命令啟動的Chrome。你先打開普通的瀏覽器，輸入網(wǎng)址：http://127.0.0.1:9222/json/version，如下圖所示：

記住其中的webSocketDebuggerUrl后面的地址。這就是我們遠程鏈接的地址。

今天我們以Puppeteer為例，介紹如何連接這個遠程的Chrome。

在連之前，我們首先做一件事情，在通過命令啟動的這個Chrome中，打開我們的登錄練習頁面，然后手動登錄它。如下圖所示：

然后，我們來寫一段Puppeteer的代碼：

const puppeteer = require('puppeteer-core') 
 
async function run(){ 
  var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d' 
  const browser = await puppeteer.connect({ 
  browserWSEndpoint: address, 
}); 
  const page = await browser.newPage(); 
response = await page.goto('http://exercise.kingname.info/exercise_login_success', { waitUntil: 'load', timeout: 0 }); 
} 
run() 

這段代碼最核心的就兩行，連接遠程的Chrome：

var address = 'ws://127.0.0.1:9222/devtools/browser/f6ede2a1-cf7b-4a0d-b0ea-9c0cd24d240d' 
  const browser = await puppeteer.connect({ 
  browserWSEndpoint: address, 
}); 

運行效果如下圖所示：

可以看到，代碼控制瀏覽器打開了一個新的標簽頁，并且立刻就能打開登錄成功后的頁面，不需要再次登錄。

大家可以試一試，現(xiàn)在在終端窗口里面按下Ctrl + C把當前的爬蟲代碼強行關閉，然后再啟動一次，你會發(fā)現(xiàn)依然是登錄以后的頁面。

這樣一來，以后遇到需要登錄的網(wǎng)站，只需要使用這個遠程調(diào)試模式，先啟動一個支持遠程調(diào)試的Chrome瀏覽器，然后手動在瀏覽器上完成登錄操作，接下來爬蟲代碼就再也不需要考慮登錄這個動作了，爬蟲可以直接訪問登錄后的頁面。

你自己測試的過程中，可能會發(fā)現(xiàn)標簽頁越開越多。其實不用擔心，這是因為我為了演示登錄后的頁面，沒有關閉當前標簽頁導致的。你的爬蟲執(zhí)行完操作以后，可以使用await page.close()關閉當前標簽頁。只要至少保留一個標簽頁不關閉，那么這個瀏覽器窗口就可以一直使用。

如果本文的閱讀量突破2000，我們就來講講用Selenium怎么調(diào)用遠程調(diào)試功能的Chrome瀏覽器。

參考文獻

[1] 登錄練習: http://exercise.kingname.info/exercise_login_success

本文轉(zhuǎn)載自微信公眾號「未聞Code」，可以通過以下二維碼關注。轉(zhuǎn)載本文請聯(lián)系未聞Code公眾號。