等等我關注的信息。

User-agent: * 
Disallow: /a/ 
Disallow: /b/ 
Disallow: /c/ 

這個user-agent是HTTP協(xié)議中表示客戶端名字的字段，那個時候我剛剛入行，沒什么經(jīng)驗，不懂得偽裝，很容易就被發(fā)現(xiàn)。

為了能夠繼續(xù)爬數(shù)據(jù)，我只好改頭換面，偽裝成了瀏覽器的名字，圈子里有的兄弟還偽裝成了搜索引擎爬蟲的名字，我可不像他們那樣沒下線。

這一招管用了沒多久，這些網(wǎng)站就升級了策略，通過我們的行為來識別是不是真的瀏覽器。我們畢竟是程序，那速度比人類點擊快多了，網(wǎng)站一旦發(fā)現(xiàn)我們短時間內(nèi)發(fā)起了很多請求，那就掐斷連接。

我只好降低爬取的頻率，避免被拉入黑名單。

有些網(wǎng)站更狠，在網(wǎng)頁里面插入一些假的圖片，只有幾個像素那種，人類的眼睛是看不見的，但是我們不知道啊，對我來說都是標簽，我一訪問就中計了!立刻被拉入黑名單。

沒有辦法，攤上這種事，我只好想辦法換個IP再去爬，真是難頂。

聽說圈子里有些大佬用上了分布式技術，組團去爬，很多個IP地址，其中一個或者幾個封了也不用怕，我真是很羨慕。

前后端分離

在我的職業(yè)生涯中，遇到過一些奇怪的網(wǎng)站，明明網(wǎng)頁中有數(shù)據(jù)，但是我一訪問拿到的HTML中啥也沒有，一度讓我很郁悶。

后來才知道，原來他們用上了一個叫前后端分離開發(fā)的技術，數(shù)據(jù)不再從服務器渲染到HTML網(wǎng)頁中，而是瀏覽器通過單獨的API接口拿到后再動態(tài)加載出來，難怪我拿到的只是一個空殼子。

為了拿到數(shù)據(jù)，我只好也學著去請求這些數(shù)據(jù)接口，不過因為這些網(wǎng)站都有API網(wǎng)關，會檢查請求的Token或者Authorization之類的認證字段，再加上我不知道他們的接口參數(shù)格式，導致我經(jīng)常拿不到數(shù)據(jù)。

到了最近兩年，我拿到的網(wǎng)頁HTML越來越簡單了，在瀏覽器中豐富多彩的頁面，一查看源代碼竟然只有簡單幾行，真是見了鬼了!

終于有一天，一個前輩告訴我，現(xiàn)在流行單頁應用SPA了，頁面全都是在前端動態(tài)生成的，拿到的HTML根本沒有價值。

這簡直欺人太甚了!

一不做二不休，我決定弄一個真正的瀏覽器進來，這個內(nèi)嵌的瀏覽器沒有界面，專門為我服務，嵌入到我的程序中，讓他去真正的渲染網(wǎng)頁，渲染完成后我再去取數(shù)據(jù)!

這是真正意義上模擬人類去訪問網(wǎng)站了，再也不用模擬繁瑣的數(shù)據(jù)接口訪問，也不用擔心單頁應用，前端渲染就前端渲染，我再也不怕了!

驗證碼

到后來，不知道是誰發(fā)明的，網(wǎng)站們紛紛用上了一種叫驗證碼的技術，給我們出了難題。

開始的驗證碼還算比較簡單，一般都是些簡單的數(shù)字、英文字符做了些變形，就像這樣：

圈子里很快有大佬教我們用文字識別技術OCR來自動識別這種驗證碼，我也折騰了一下，費了老大勁終于可以識別出來，準確率不敢說100%，99%還是有的。

不過沒多久，這驗證碼就變得越來越復雜，什么漢字識別，物體識別，滑動解鎖，一個比一個難，根本超出了我的理解范圍，你瞧瞧下面這些驗證碼，這是人干的事兒嗎?

哎，這還真是人才能干的事，不是我們爬蟲能干的~

如今，這些網(wǎng)站的反爬蟲技術越來越先進，我們能發(fā)揮的空間被一步步擠壓。

前段時間，有個愣頭青爬蟲把一家公司的服務器給爬崩潰了，把人家正常業(yè)務都弄停掉了，他還被抓了起來，現(xiàn)在監(jiān)管越來越嚴，搞得大家人心惶惶。

內(nèi)憂外患不斷，不少爬蟲兄弟失業(yè)的失業(yè)，轉行的轉行，爬蟲這碗飯，真是越來越不好吃了。。。