近期秋招進(jìn)入高峰期，28號學(xué)校有一個秋招大型招聘會，本來想在網(wǎng)上爬一下自己專業(yè)的招聘崗位，結(jié)果檢索結(jié)果寥寥無幾(攤手)，于是我就無奈的爬取并分析了一波我準(zhǔn)備轉(zhuǎn)行的大數(shù)據(jù)行業(yè)的就業(yè)行情。

爬蟲的基本思路

1. 在前程無憂官網(wǎng)檢索“大數(shù)據(jù)”的結(jié)果中，每條檢索結(jié)果詳情對應(yīng)的URL存在a標(biāo)簽的href屬性中，通過組合選擇器可以找到每條檢索結(jié)果詳情的URL。
2. 前程無憂的招聘崗位信息數(shù)據(jù)固定的放在HTML的各個標(biāo)簽內(nèi)，通過id選擇器、標(biāo)簽選擇器和組合選擇器可以諸如公司名、崗位名稱和薪資等11個字段的數(shù)據(jù)。
3. 基于上述1和2，可以通過解析檢索“大數(shù)據(jù)”得到的URL得到其HTML，再從此HTML中的具體位置的a標(biāo)簽得到每個崗位的詳情對應(yīng)的URL;然后解析每個崗位的詳情對應(yīng)的URL得到其HTML，再從結(jié)果HTML的具體位置找到每個崗位的詳情。具體位置怎么確定呢?通過組合選擇器!

前程無憂爬蟲具體代碼

直接貼代碼容易破壞我的排版，具體代碼見：https://github.com/cugwhzenith/SpiderOf51job.git，其中SpiderOf51job.py就是爬蟲代碼，關(guān)鍵點的操作見注釋。其他的代碼是對爬蟲代碼的處理。

爬蟲結(jié)果

爬蟲結(jié)果我是以csv的格式存儲的，看起來不太直觀，所以我打算用wordcloud和直方圖來可視化爬蟲的結(jié)果。 

爬蟲結(jié)果處理

一般來說，應(yīng)聘者對一個工作的地點、工作名稱、薪資和需要的技術(shù)最為關(guān)心，剛好上述爬蟲的結(jié)果包含了這四個字段。

1、薪資結(jié)果的處理。在爬蟲結(jié)果中，薪資在第二列，一般是諸如“1-2萬/月”、“20萬/年”和“500/天”的結(jié)果，先判斷每個結(jié)果的最后一個字符是“年”、“月”和“天”的哪一個，確定處理的邏輯之后，再用re.sub函數(shù)將除了數(shù)字之外的字符替換為空格，最后對結(jié)果求均值就到了了每個結(jié)果的均值。具體處理見wordcloudPlotSalary.py 。

2、需要的技術(shù)的處理?？紤]到大數(shù)據(jù)要使用的技術(shù)絕大多數(shù)由外國人開發(fā)，如實我把大數(shù)據(jù)要使用的技術(shù)這一字段的中文全部替換為空格，然后用jieba剔除掉一些無意義的助詞，就得到了大數(shù)據(jù)要使用的技術(shù)的詞云圖。具體代碼見wordcloudPlotJobinfo.py 。

3、工作地點和職位名稱的處理和上述2類似參見wordcloudPlotPlace.py和wordcloudPlotName.py，此處不再贅余，直接放結(jié)果。

工作地點詞云： 

職位名稱詞云： 

總結(jié)

1. 前程無憂上大數(shù)據(jù)相關(guān)崗位出現(xiàn)頻率最高的是：大數(shù)據(jù)開發(fā)工程師
2. 開出的平均工資：18K/月
3. 大數(shù)據(jù)就業(yè)崗位最多的城市是：上海、廣州和深圳、
4. 大數(shù)據(jù)工作最吃香的技能是：Hadoop、SQL和Python