熱議 | 爬蟲究竟是合法還是違法的？
據(jù)說互聯(lián)網(wǎng)上 50%以上的流量都是爬蟲創(chuàng)造的，也許你看到很多熱門數(shù)據(jù)都是爬蟲所創(chuàng)造的，所以可以說無爬蟲就無互聯(lián)網(wǎng)的繁榮。
前天寫了一篇文章《 只因?qū)懥艘欢闻老x，公司200多人被抓!》，講述程序員因?qū)懪老x而被刑偵的事件。文章傳播很廣，評(píng)論中討論最熱是：爬蟲究竟是合法還是違法的?
這個(gè)話題涉及到我們很多程序員的日常工作，所以有必要和大家細(xì)聊一下。
1.技術(shù)無罪?
很多朋友給我留言：技術(shù)是無罪的，技術(shù)本身確實(shí)是沒有對(duì)錯(cuò)的，但使用技術(shù)的人是有對(duì)錯(cuò)的，公司或者程序員如果明知使用其技術(shù)是非法的，那么公司或者人就需要為之付出代價(jià)。
在今年國(guó)家頒布《中華人民共和國(guó)網(wǎng)絡(luò)安全法》之后，很多以前處于灰色地帶的業(yè)務(wù)都不能做了。
君不見之前曾經(jīng)非常火的各種社工庫網(wǎng)站，現(xiàn)在絕大部分都已經(jīng)消失匿跡了嗎?因?yàn)樾碌陌踩◤?qiáng)調(diào)：販賣個(gè)人信息超過50條屬于“情節(jié)嚴(yán)重”，需要追求其法律責(zé)任。
很多草根站長(zhǎng)都紛紛主動(dòng)關(guān)閉了網(wǎng)站;還有很多涉及版權(quán)信息的網(wǎng)站，比如書籍、影視劇、課程等后期也會(huì)面臨越來越嚴(yán)格的審查，這就是目前大的形勢(shì)。
2014年12月20日，人人影視字幕站發(fā)布微博稱，人人影視正式關(guān)閉，并表示或?qū)⒗^續(xù)為正版商提供翻譯服務(wù)，也可能轉(zhuǎn)變?yōu)橛懻撋鐓^(qū)的形式。
2019年6月，吾愛破解因版權(quán)問題關(guān)站整改........
隨著中國(guó)經(jīng)濟(jì)的不斷往前走，知識(shí)產(chǎn)權(quán)問題會(huì)越來越重視，非法爬蟲是現(xiàn)在一個(gè)重要的打擊部分，如果有程序員走在灰色的邊緣盡早收手，不要因?yàn)橐稽c(diǎn)小的收益導(dǎo)致觸犯法律，從而得不償失。
技術(shù)是無罪的，但是用到了錯(cuò)的地方代價(jià)也是非常巨大的。
2.爬蟲崗位人人自危
我在拉鉤上搜索： 爬蟲工程師，顯示有 217 條相關(guān)招聘信息，薪資從10-60k 都有，說明市場(chǎng)上對(duì)爬蟲的需求是很大的。
前天文章發(fā)出去之后有很多程序員給我留言：
- 我們領(lǐng)導(dǎo)安排我爬取公司內(nèi)部的信息，這算不算犯罪呢?
- 爬取網(wǎng)上公開的信息，這算不算犯罪呢?
- 寫了一段代碼上傳到 Github，被人用了犯法嗎?
簡(jiǎn)單回答一下這些問題：
- 爬取公司內(nèi)部信息有公司授權(quán)當(dāng)然不算犯罪的，但是公司內(nèi)部不用接口而用爬蟲不知道是為什么?
- 爬取網(wǎng)上公開信息不犯法，但如果大量開啟爬蟲導(dǎo)致對(duì)方服務(wù)器崩潰也是違法的，這屬于暴力攻擊的范疇了。
- 寫了一段代碼上傳到 Github 上面，有人利用你的代碼做了其它非法的事情，絕大多數(shù)都沒有問題的，但如果你寫的軟件涉及到入侵、暴力破解、病毒等就不好說了。
還有朋友認(rèn)為這事責(zé)任在企業(yè)不在程序員，日常工作中項(xiàng)目初期設(shè)計(jì)和最后上線需要通過公司的法務(wù)批準(zhǔn)，所有代碼必須有其他程序員同事評(píng)審?fù)ㄟ^才能提交。
這位朋友說的挺對(duì)的，按道理每個(gè)公司都應(yīng)該有法務(wù)和風(fēng)控在前面，后面才是產(chǎn)品設(shè)計(jì)和程序員開發(fā)的事情，但如果一家公司為了利益，老板可以直接讓這兩個(gè)部門閉嘴，后面程序員可以不干嗎?
更甚至很多公司其實(shí)就沒有這兩個(gè)部門或者說形同虛設(shè)。那么做為程序員自己也需要操一份心，凡是涉及到入侵類的程序都不能干，因?yàn)橛幸粋€(gè)東西叫做：?jiǎn)挝环缸铩?/p>
單位犯罪，是指公司、企業(yè)、事業(yè)單位、機(jī)關(guān)、團(tuán)體為單位謀取利益，經(jīng)單位決策機(jī)構(gòu)或者負(fù)責(zé)人決定實(shí)施的，法律規(guī)定應(yīng)當(dāng)負(fù)刑事責(zé)任的危害社會(huì)的行為。
我國(guó)刑法對(duì)單位犯罪原則上采取雙罰制度，即單位犯罪的，對(duì)單位判處罰金，并對(duì)其直接負(fù)責(zé)的主管人員和其他直接責(zé)任人員判處刑罰。
3.什么樣的爬蟲是非法的?
爬蟲不能涉及個(gè)人隱私!
如果爬蟲程序采集到公民的姓名、身份證件號(hào)碼、通信通訊聯(lián)系方式、住址、賬號(hào)密碼、財(cái)產(chǎn)狀況、行蹤軌跡等個(gè)人信息，并將之用于非法途徑的，則肯定構(gòu)成非法獲取公民個(gè)人信息的違法行為。
也就是說你爬蟲爬取信息沒有問題，但不能涉及到個(gè)人的隱私問題，如果涉及了并且通過非法途徑收益了，那肯定是違法行為。
另外，還有下列三種情況，爬蟲有可能違法，嚴(yán)重的甚至構(gòu)成犯罪：
- 爬蟲程序規(guī)避網(wǎng)站經(jīng)營(yíng)者設(shè)置的反爬蟲措施或者破解服務(wù)器防抓取措施，非法獲取相關(guān)信息，情節(jié)嚴(yán)重的，有可能構(gòu)成“非法獲取計(jì)算機(jī)信息系統(tǒng)數(shù)據(jù)罪”。
- 爬蟲程序干擾被訪問的網(wǎng)站或系統(tǒng)正常運(yùn)營(yíng)，后果嚴(yán)重的，觸犯刑法，構(gòu)成“破壞計(jì)算機(jī)信息系統(tǒng)罪”
- 爬蟲采集的信息屬于公民個(gè)人信息的，有可能構(gòu)成非法獲取公民個(gè)人信息的違法行為，情節(jié)嚴(yán)重的，有可能構(gòu)成“侵犯公民個(gè)人信息罪”。
現(xiàn)在網(wǎng)上有很多付費(fèi)的課程，比如極客時(shí)間、Gitchat、慕課網(wǎng)、知識(shí)星球等等，這些付費(fèi)內(nèi)部信息如果被非法爬取手法出售獲利，一種違法行為。
之前我就遇到一個(gè)網(wǎng)友，把各個(gè)知識(shí)星球的內(nèi)容都抓下來，合到一起自己去賣，自作聰明覺得發(fā)現(xiàn)了一個(gè)大的商機(jī)，其實(shí)自己不知道這個(gè)行為其實(shí)很危險(xiǎn)，風(fēng)險(xiǎn)和收益明顯不對(duì)等。
我這兩天看的時(shí)候，他的一個(gè)公眾號(hào)都被封了，后來又轉(zhuǎn)移了一個(gè)小號(hào)繼續(xù)搞，遲早又是被封的命運(yùn)，真的很不值當(dāng)。最可憐是那些買他服務(wù)的用戶，因?yàn)樗麄鲿r(shí)承諾永久，肯定永久不了。
4.什么樣的爬蟲是合法的?
（1） 遵守 Robots協(xié)議
Robots 協(xié)議也叫 robots.txt(統(tǒng)一小寫)是一種存放于網(wǎng)站根目錄下的 ASCII 編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器(又稱網(wǎng)絡(luò)蜘蛛)，此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。
Robots 協(xié)議就是告訴爬蟲，哪些信息是可以爬取，哪些信息不能被爬取，嚴(yán)格按照 Robots 協(xié)議 爬取網(wǎng)站相關(guān)信息一般不會(huì)出現(xiàn)太大問題。
（2）不能造成對(duì)方服務(wù)器癱瘓
但不是說只要遵守 Robots 協(xié)議的爬蟲就沒有問題，還涉及到兩個(gè)因素，第一不能大規(guī)模爬蟲導(dǎo)致對(duì)方服務(wù)器癱瘓，這等于網(wǎng)絡(luò)攻擊。
2019年05月28日國(guó)家網(wǎng)信辦發(fā)布的《數(shù)據(jù)安全管理辦法(征求意見稿)》中，擬通過行政法規(guī)的形式，對(duì)爬蟲的使用進(jìn)行限制：
網(wǎng)絡(luò)運(yùn)營(yíng)者采取自動(dòng)化手段訪問收集網(wǎng)站數(shù)據(jù)，不得妨礙網(wǎng)站正常運(yùn)行;此類行為嚴(yán)重影響網(wǎng)站運(yùn)行，如自動(dòng)化訪問收集流量超過網(wǎng)站日均流量三分之一，網(wǎng)站要求停止自動(dòng)化訪問收集時(shí)，應(yīng)當(dāng)停止。
（3）不能非法獲利
惡意利用爬蟲技術(shù)抓取數(shù)據(jù)，攫取不正當(dāng)競(jìng)爭(zhēng)的優(yōu)勢(shì)，甚至是牟取不法利益的，則可能觸犯法律。實(shí)踐中，非法使用爬蟲技術(shù)抓取數(shù)據(jù)而產(chǎn)生的糾紛其實(shí)數(shù)量并不少，大多是以不正當(dāng)競(jìng)爭(zhēng)為由提請(qǐng)?jiān)V訟。
舉個(gè)例子，如果你把大眾點(diǎn)評(píng)上的所有公開信息都抓取了下來，自己復(fù)制了一個(gè)一模一樣的網(wǎng)站，并且還通過這個(gè)網(wǎng)站獲取了大量的利潤(rùn)，這樣也是有問題的。
一般情況下，爬蟲都是為了企業(yè)獲利的，因此需要爬蟲開發(fā)者的道德自持和企業(yè)經(jīng)營(yíng)者的良知才是避免觸碰法律底線的根本所在。
5.最后
最近看了很多關(guān)于程序員出事的事件，東南亞程序員被打，多個(gè)大數(shù)據(jù)公司被查等等。做為一名普通的程序員，希望大家也可以多關(guān)注此類事件，從而提醒自己。
有風(fēng)險(xiǎn)的行業(yè)謹(jǐn)慎進(jìn)入，比如現(xiàn)金貸、不合規(guī)的P2P、賭博類游戲、黑五類產(chǎn)品的行業(yè)。如果公司安排入侵某個(gè)網(wǎng)站數(shù)據(jù)，或者有同事/朋友邀請(qǐng)泄露公司信息的都需要保持警惕，有時(shí)候一個(gè)很小的動(dòng)作都有可能導(dǎo)致出問題。
我們絕大多數(shù)公司和個(gè)人使用的爬蟲都是沒有問題的，不必人人自危，只要把握住不要爬取個(gè)人信息，不要利用爬蟲非法獲利，不要爬取網(wǎng)站的付費(fèi)內(nèi)容，基本上不會(huì)有問題。
程序員是世界上最單純的一批人，也是一批高智商低情商的人，工作是工作但也需要適當(dāng)保持謹(jǐn)慎，對(duì)于一些游走在法律邊緣的事情請(qǐng)保持距離。
敬畏法律，遵紀(jì)守法，從我做起。
