隨著中數(shù)經(jīng)緯爬蟲PK賽在程序員圈子持續(xù)曝光，業(yè)界對(duì)其的期待與日俱增。此次大賽得到20000+程序員的關(guān)注與支持，參賽者自發(fā)分享爬蟲項(xiàng)目經(jīng)驗(yàn)，對(duì)代理池、公眾號(hào)內(nèi)容顯示樣式、驗(yàn)證碼、分布式等問題進(jìn)行深入探討，給正在做爬蟲項(xiàng)目的程序員開拓思路。

決賽在即，我們采訪了一些參賽選手，對(duì)其作品進(jìn)行解析，爬取的數(shù)據(jù)源有貓眼APP、豆瓣、斗圖表情包、B站、東方財(cái)富股吧、今日頭條、京東評(píng)論、社區(qū)、公眾號(hào)文章等，節(jié)選其中15位優(yōu)秀工程師發(fā)表大賽感言。

[[249374]]

1、痕跡 爬蟲愛好者

借助中數(shù)經(jīng)緯公司提供的爬蟲大賽項(xiàng)目平臺(tái)，使我更深入的了解了爬蟲強(qiáng)大的功能，對(duì)于個(gè)人學(xué)習(xí)，工作思維等方面有了顯著的提升。

2、李建國(guó)  PHP開發(fā)工程師

感謝主辦方，讓我有機(jī)會(huì)參加這次爬蟲大賽，我爬的是我們金華當(dāng)?shù)乇容^知名的一個(gè)本地社區(qū)論壇。我平時(shí)工作沒怎么接觸過爬蟲相關(guān)方面的知識(shí)，通過這次比賽，我學(xué)到了很多。給我提升最多的是有關(guān)正則表達(dá)式方面的知識(shí)，因?yàn)樵谖遗理?yè)面的時(shí)候，要過濾很多無(wú)關(guān)的信息。正則表達(dá)式就發(fā)揮了很大的作用?？傊ㄟ^這次比賽讓我受益匪淺，以后如果還有這樣的比賽，我一定會(huì)積極參加的。

3、薛祥  ETL工程師

通過參加本次中數(shù)經(jīng)緯的爬蟲比賽, 看到了參賽者在數(shù)據(jù)源獲取、去噪、分析和展示方面的多樣性, 對(duì)于爬蟲技術(shù)的理解, 爬蟲工具的使用不盡相同, 本人在其中學(xué)到了很多. 參賽者在數(shù)據(jù)源獲取方面, 主要通過html網(wǎng)頁(yè)、數(shù)據(jù)接口獲取數(shù)據(jù). 去噪方面xpath、css、正則表達(dá)式、json格式解析選擇器種類繁多。在分析方面學(xué)到了不同行業(yè)的數(shù)據(jù)分析維度和指標(biāo)，在展示方面對(duì)數(shù)據(jù)可視化的操作別具一格，通過本次比賽開拓了視野，讓我對(duì)于數(shù)據(jù)集成的理解更加深入。

恭祝商祺。

4、mason zhang  軟件工程師

參加爬蟲大賽拓寬了視野，看見小伙伴們的各種爬蟲技巧，受益頗多。要想在海量數(shù)據(jù)的互聯(lián)網(wǎng)獲取自己想要的數(shù)據(jù)，***爬蟲技術(shù)，數(shù)據(jù)無(wú)處不在。

5、老表   大三學(xué)生

通過爬蟲大賽，我把自己的爬蟲項(xiàng)目仔細(xì)梳理，從爬蟲代碼，到數(shù)據(jù)分析，可視化，使我的項(xiàng)目更加有條理，有目的性，在日后的工作中，會(huì)讓我更加突出。

6、盧文龍 數(shù)據(jù)產(chǎn)品經(jīng)理

我比較關(guān)注數(shù)據(jù)變現(xiàn)及數(shù)據(jù)價(jià)值挖掘，通過這次比賽，我在數(shù)據(jù)爬取內(nèi)容如何在個(gè)人層面變現(xiàn)進(jìn)行了一些思考，發(fā)現(xiàn)爬取東方財(cái)富股吧用于做為投資參考值的嘗試下，很多軟件也會(huì)提供一些類似的參考分析，但里面算法很多不知其所以然，且收費(fèi)的多，不如自己搞一搞。***在爬蟲技術(shù)，NLP技術(shù)，數(shù)據(jù)挖掘，理財(cái)投資方面都得到了鍛煉和提高。

7、杜寬  爬蟲愛好者

感謝中數(shù)經(jīng)緯舉辦的爬蟲PK賽，讓我重拾了自己的爬蟲項(xiàng)目，也認(rèn)識(shí)了很多做爬蟲的朋友，經(jīng)過這次比賽，自己對(duì)反爬蟲和反反爬蟲又有了新的認(rèn)知，也讓自己在這場(chǎng)沒有硝煙的戰(zhàn)爭(zhēng)中更上一層樓。

8、尹強(qiáng) Python爬蟲工程師

參加這個(gè)比賽不僅是對(duì)工作的總結(jié)，也可以很好的和大家一起分享心得體會(huì)。爬蟲的百分之九十的失敗不是被各種防爬，而是自己放棄了成功的希望。成功與失敗就因這一點(diǎn)點(diǎn)的耐性而被劃為兩種截然不同的“人生”結(jié)果。世界上最難超越的人是你自己，贏自己一把！

9、吳樂偉 Python爬蟲工程師

參加爬蟲大賽，于我而言，獲獎(jiǎng)倒是其次，更重要的在于學(xué)習(xí)交流，通過這個(gè)機(jī)會(huì)可以了解其他人的爬蟲作品。

10、常懷德 Python爬蟲工程師

我覺得參加比賽是一種特別有效的學(xué)習(xí)方式。多參加類似的比賽可以積累技術(shù)經(jīng)驗(yàn)，檢驗(yàn)一個(gè)階段的能力提升。

11、南海九哥  C++爬蟲工程師

大賽中各大高手的PK讓我認(rèn)識(shí)到了自己的不足，山外有山，天外有天，我還需要充實(shí)自己。加油！

12、莫莫UP  運(yùn)維工程師

中數(shù)經(jīng)緯的這次爬蟲大賽讓我開拓了視野，讓我看到了專業(yè)領(lǐng)域的更多榜樣；給了我希望，讓我看到了未來爬蟲工程師的方向；給了我鞭策，讓我在今后的工作中更加努力。

13、可心 Python爬蟲工程師

溫室的花朵無(wú)法體會(huì)大自然的美麗，參加了這次比賽讓我看到了爬蟲界美麗，同時(shí)也認(rèn)識(shí)到了自己的不足，完善自己。完善代碼。加油！

14、劉海濱   C++爬蟲工程師

學(xué)海無(wú)涯, 在軟件開發(fā)的漫漫長(zhǎng)路上, 除了進(jìn)行自我的軟件開發(fā)學(xué)習(xí), 還要在實(shí)際的開發(fā)項(xiàng)目中進(jìn)行實(shí)踐, 參加公開的編程大賽, 才能取人之長(zhǎng), 補(bǔ)己之短。

15、千年老妖    開發(fā)工程師

剛接觸golang不久，用go試著完成了一套程序用來爬取CSDN的首頁(yè)，得到的感悟就是編程思想駕馭編程語(yǔ)言，一個(gè)好的coder不在意他會(huì)多少語(yǔ)言，更在意他具備什么思想。

感謝廣大開發(fā)者對(duì)中數(shù)經(jīng)緯爬蟲PK賽的大力支持與關(guān)注，小伙伴們?cè)诜窒眄?xiàng)目經(jīng)驗(yàn)的同時(shí)也解決了爬蟲中遇到的困惑，技能得到提升。技術(shù)在分享與討論中深化鞏固，這也是爬蟲PK賽的宗旨。

預(yù)知后事如何，請(qǐng)聽下回分曉。

閱讀原文請(qǐng)點(diǎn)擊：http://www.chinadata8.com/reptilian_competition.html