用Python寫爬蟲就很low?你贊同嘛?
之前換了份工作,不再是單純的Web開發(fā)了,要學(xué)習(xí)的東西真的挺多的。入職的第1天,就讓我入手寫個(gè)爬蟲,只是這個(gè)爬蟲沒有采集幾個(gè)億數(shù)據(jù)量的業(yè)務(wù)場景。
于是,整理了下需求,簡單的設(shè)計(jì)了下方案就草草開始了。小B是我大學(xué)時(shí)候的舍友,那天這哥們約我吃飯,想看下能否順帶介紹幾個(gè)妹子。酒過三巡,不勝酒力,于是便聊起了最近的工作。
當(dāng)他知曉我竟然在寫爬蟲,便起了憐憫之心,覺得我懷才不遇。仿佛寫爬蟲是件很低級很low的技術(shù)活。在他那家公司,招進(jìn)來的實(shí)習(xí)生就多多少少會(huì)點(diǎn)爬蟲,什么nodejs、golang,哪個(gè)不是爬蟲的好手。沒想到我畢業(yè)多年,竟然淪落到做實(shí)習(xí)生的工作,可悲可泣。
接著建議我轉(zhuǎn)到Java陣營,如果到他公司去,多多少少也能混個(gè)組長的職位。搞得自己只能一番苦笑。
不知道從何時(shí)起,程序員的世界流行起了鄙視鏈這玩意。什么寫C語言的鄙視寫C++,寫C++的鄙視寫Java的,最后鄙視鏈最低端是PHP。具體是怎樣的關(guān)系,就不再深究了。
然而,縱觀整個(gè)行業(yè),都說Python火。具體有多火,看培訓(xùn)機(jī)構(gòu)的廣告就知道了。在16年之前,Python還是1個(gè)若不見經(jīng)傳的單詞,之后各家培訓(xùn)機(jī)構(gòu)鋪天蓋地的廣告,什么大數(shù)據(jù)、自動(dòng)化運(yùn)維全都跟Python扯上了關(guān)系。畢業(yè)學(xué)生薪資更是達(dá)到了50-100W,還老是招不到人。
更有意思的是,學(xué)Python最容易上手的過程就是寫爬蟲。什么Scrapy、Pysider是必學(xué),HTML、Javascript是重點(diǎn),外帶幾個(gè)豆瓣、花瓣網(wǎng)的實(shí)戰(zhàn)案例,讓你一下子就能解決企業(yè)的剛需。
這樣說來,難怪連實(shí)習(xí)生也能跟你搶飯碗了,技術(shù)發(fā)展的太快,各種框架完善的結(jié)果是釋放人力,降低成本。
據(jù)我了解,Python的優(yōu)勢集中于數(shù)據(jù)分析、信息安全這些領(lǐng)域。你可能聽說過Hadoop、Spark、Tensorflow這些高大上的名詞,但是對于數(shù)據(jù)取證、DLL注入等內(nèi)容可能從無聽聞。舉個(gè)簡單的例子,在數(shù)據(jù)取證中,由于犯罪人員不配合檢查機(jī)關(guān)的工作,通過數(shù)據(jù)取證技術(shù)我們可以進(jìn)行一些信息的提取,從而輔助證實(shí)其犯罪記錄,如獲取系統(tǒng)密碼、瀏覽器中賬號及密碼。
聽起來感覺挺高大上的,但是如果我跟你說其過程就是對sqlite3文件數(shù)據(jù)庫查詢一下SQL,不知道你會(huì)不會(huì)覺得上述取證的例子瞬間挺low的。但是,當(dāng)你不小心把微信消息的圖片刪掉想找回的時(shí)候,或許你能在Python中找到對應(yīng)的方案,而其他的語言還真沒發(fā)現(xiàn)有合適的。
于是,我安慰他說,搞完這波爬蟲騷操作,下一次就是數(shù)據(jù)分析了,你看不有前進(jìn)了一步?
還數(shù)據(jù)分析,你反倒想的挺遠(yuǎn)的。小B打斷了我的話,你覺得人家會(huì)讓你搞數(shù)據(jù)分析,沒有數(shù)據(jù)何來的分析。況且,沒有哪家公司會(huì)笨到把所有數(shù)據(jù)都暴露在互聯(lián)網(wǎng)上。你能看到的只是那冰山的一角。即使你想深入進(jìn)去,沒有分布式技術(shù)支撐和幾十個(gè)億的數(shù)據(jù)業(yè)務(wù),你簡歷上也不會(huì)有亮點(diǎn)。
然后,又聊到他公司近期招了個(gè)大數(shù)據(jù)的開發(fā),薪資比他還要高出一大截,但是技術(shù)卻不咋地。我從小B的話里聽出了一絲不屑了。于是,又慫恿我不要再搞什么爬蟲了,還是搞Spark才有未來。既不用擔(dān)心大半夜服務(wù)掛了,又不用擔(dān)心完不成采集數(shù)量。完全是實(shí)打?qū)嵉臄?shù)據(jù),何樂而不為呢?
這話聽得我都有點(diǎn)動(dòng)心了,沒有攀比就沒有傷害。但是一想到Java是加班加點(diǎn)工作,我還是打消了這個(gè)念頭。
我不知道該說些什么,只是覺得時(shí)間過得很慢,是種煎熬。于是只能岔開了話題,免得吃頓飯都艱辛。
結(jié)語
技術(shù)沒有l(wèi)ow不low,沒有爛的技術(shù),只有不會(huì)用的人。重要的是人家能給你多少錢,你能做成怎樣的結(jié)果。
這年頭會(huì)有多少公司愿意給實(shí)習(xí)生稅后1W+的月薪,而這一切都只是份養(yǎng)活自己的技能而已,別把面子太當(dāng)回事。