脈脈是一個(gè)實(shí)名職場(chǎng)社交平臺(tái)。之前爬了脈脈職言版塊，大概爬了4027條評(píng)論，本文對(duì)爬取過程給出詳細(xì)說明，對(duì)于評(píng)論內(nèi)容僅做可視化分析，之前存了一堆這方面的文章，今天一看全都404了”。

爬蟲

仍然使用python編程，對(duì)爬蟲沒興趣的可以直接跳過看下部分，不影響悅讀。

網(wǎng)址https://maimai.cn/gossip_list。

需要先登錄才能看到里面的內(nèi)容。爬取目標(biāo)：

只爬文字部分，圖片不考慮。

在瀏覽器內(nèi)按F12打開開發(fā)者，向下滑，會(huì)看到很多gossip開頭的json文件(不行的話刷新一下)

右鍵open in new tab，里面是一條一條記錄，text后面是評(píng)論內(nèi)容。

我們感興趣的信息是下面這些

看一看每個(gè)網(wǎng)站的地址，都是page=數(shù)字結(jié)尾，所以爬的時(shí)候?qū)懸粋€(gè)循環(huán)，數(shù)字從1開始往后取就可以了。

https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=coAlLvgS-UogpI75vEgHk4O1OQivF2ofLce4&access_token=1.9ff1c9df8547b2b2c62bf58b28e84b97&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22rE8q1xp6fZlxvwygWJn1UFDjrmMXDrSE2tc6uDKNIDZtRErng0FRwvduckWMwYzn8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page=1&jsononly=1 

json的最開頭有total和remain兩個(gè)參數(shù)，給出了目前所有可見評(píng)論剩余數(shù)和總數(shù)，可以作為循環(huán)的停止條件。

但比較坑的一點(diǎn)是，脈脈并不能可見所有評(píng)論，而且評(píng)論是不斷刷新的，所有如果爬完一頁循環(huán)到下一頁或者嘗試過很多次之后，他會(huì)提示你：

直接看的時(shí)候有這樣的提示會(huì)體驗(yàn)很好，但對(duì)于爬蟲來說就不是很友好了，需要加個(gè)if判斷。

另外爬的太快，也會(huì)出錯(cuò)，記得加time.sleep。

大概把能踩的坑都踩了，所以如果順利的話，每次只能爬幾百條信息，想爬更多的話，需要過一段時(shí)間等信息更新的差不多了再爬，代碼如下

# -*- coding: utf-8 -*- 
""" 
Created on Fri Oct 19 18:50:03 2018 
""" 
import urllib 
import requests 
from fake_useragent import UserAgent 
import json 
import pandas as pd 
import time 
import datetime 
#comment_api = 'https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=7ZRpwOSi-JHa7JrTECXLA8njznQZVbi7d4Uo&access_token=1.b7e3acc5ef86e51a78f3410f99aa642a&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22xoNo1TZ8k28e0JTNFqyxlxg%2BdL%2BY6jtoUjKZwE3ke2IZ919o%2FAUeOvcX2yA03CAx8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page={}&jsononly=1' 
# 發(fā)送get請(qǐng)求 
comment_api = 'https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=FfHZIyBb-H4LEs35NcyhyoAvRM7OkMRB0Jpo&access_token=1.0d4c87c687410a15810ee6304e1cd53b&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22G7rGLEqmm1wY0HP4q%2BxpPFCDj%2BHqGJFm0mSa%2BxpqPg47egJdXL%2FriMlMlHuQj%2BgM8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page={}&jsononly=1' 
""" 
author：作者 
text：評(píng)論 
cmts ：評(píng)論數(shù) 
circles_views：被查看數(shù) 
spread ：轉(zhuǎn)發(fā)數(shù) 
likes ：點(diǎn)贊數(shù) 
time : 時(shí)間 
 
""" 
 
 
headers = { "User-Agent": UserAgent(verify_ssl=False).random} 
j = 0 
k = 0 
response_comment = requests.get(comment_api.format(0),headers = headers) 
json_comment = response_comment.text 
json_comment = json.loads(json_comment) 
num = json_comment['total'] 
cols = ['author','text','cmts','likes','circles_views','spreads','time'] 
dataall = pd.DataFrame(index = range(num),columns = cols) 
remain = json_comment['remain'] 
print(remain) 
while remain!= 0 : 
   n = json_comment['count'] 
   for i in range(n): 
       if json_comment['data'][i]['text'] !='下面內(nèi)容已經(jīng)看過了，點(diǎn)此刷新': 
           dataall.loc[j,'author'] = json_comment['data'][i]['author'] 
           dataall.loc[j,'text'] = json_comment['data'][i]['text'] 
           dataall.loc[j,'cmts'] = json_comment['data'][i]['cmts'] 
           dataall.loc[j,'likes'] = json_comment['data'][i]['likes'] 
           dataall.loc[j,'circles_views'] = json_comment['data'][i]['circles_views'] 
           dataall.loc[j,'spreads'] = json_comment['data'][i]['spreads'] 
           dataall.loc[j,'time'] = json_comment['data'][i]['time'] 
 
           j+= 1              
       else: 
           k = -1     
           break                              
   k+= 1 
   comment_api1 = comment_api.format(k)     
   response_comment = requests.get(comment_api1,headers = headers) 
   json_comment = response_comment.text 
   json_comment = json.loads(json_comment) 
   remain = json_comment['remain'] 
   print('已完成 {}% !'.format(round(j/num*100,2))) 
   time.sleep(3)           
dataall = dataall.dropna() 
dataall = dataall.drop_duplicates() 
 
dataall.to_csv('data_20181216_part3.csv',index = False) 

數(shù)據(jù)可視化

就這樣斷斷續(xù)續(xù)爬了一堆文件去重之后，得到了4027條數(shù)據(jù)，格式如下

接下來對(duì)爬到的數(shù)據(jù)做一些簡(jiǎn)單的分析。因?yàn)椴⒉粵]有爬到全量評(píng)論，只是一個(gè)小樣本，所以結(jié)果肯定是有偏的，但爬的時(shí)間很隨機(jī)，而且前前后后爬了兩周多，這樣選樣也比較隨機(jī)，還是有一定的代表性。

脈脈中發(fā)言用戶有兩類，一類是完全匿名的，用系統(tǒng)生成的昵稱，一類顯示為xx公司員工，我們統(tǒng)計(jì)爬到的樣本中這兩種用戶的數(shù)量及發(fā)帖量。4027條職言中，不同發(fā)帖人共計(jì)1100名。

匿名發(fā)帖人超過70%，大家都并不愿意用真實(shí)身份發(fā)言，畢竟被公司/學(xué)校人肉風(fēng)險(xiǎn)還是很高的。

發(fā)帖數(shù)也毫無意外，匿名發(fā)帖人貢獻(xiàn)了85%以上的帖子。

匿名發(fā)帖人無法獲取更細(xì)致的數(shù)據(jù)，但對(duì)于那些不匿名的發(fā)帖人，可以獲取他們所在公司 信息，將發(fā)帖數(shù)按公司匯總，看各大企業(yè)發(fā)帖量，可以作為整體的一個(gè)估計(jì)。統(tǒng)計(jì)時(shí)已經(jīng)考慮了公司名稱輸入不一致的情況，將螞蟻金服、支付寶等替換成了阿里巴巴，京東金融等替換成京東，今日頭條、抖音等替換為字節(jié)跳動(dòng)，取發(fā)帖數(shù)TOP20。

可以看到，發(fā)帖人大多來自互聯(lián)網(wǎng)企業(yè)，金融、地產(chǎn)等其他企業(yè)相對(duì)較少。

文本分析

對(duì)于轉(zhuǎn)發(fā)、評(píng)論數(shù)、點(diǎn)贊數(shù)，因?yàn)橛信廊r(shí)間上的差異，所以不好直接比較，給出評(píng)論數(shù)最多的前5條評(píng)論，看看大家最愿意參與的話題是什么。

1.  用一個(gè)字概括一下你的2018年。(1659條評(píng)論)
2. 【再就業(yè)求助帖】本人是剛被優(yōu)化掉的知乎程序員，工作3年。比較想去BAT等大廠，希望貴廠HR們帶公司認(rèn)證來回復(fù)一下，發(fā)一發(fā)真實(shí)有hc的崗位，祝愿兄弟們都能找到新工作。(610條評(píng)論)
3. 用兩個(gè)字概括你現(xiàn)在的工作。(477條評(píng)論)
4. 網(wǎng)易漲今年薪漲了50%.....公司是發(fā)財(cái)了嗎?(458條評(píng)論)
5. 用2個(gè)字總結(jié)你的工作。(415條評(píng)論)

1，4，5都是蠻有意思的問題，我們把1,4,5的評(píng)論都爬下來，做成詞云，看看大家都在說些什么。

用一個(gè)字概括你的2018年

爬蟲過程跟上面基本是一樣的，找到j(luò)son，不過這個(gè)可以爬到全部評(píng)論。

# -*- coding: utf-8 -*- 
""" 
Created on Fri Oct 19 18:50:03 2018 
""" 
import urllib 
import requests 
from fake_useragent import UserAgent 
import json 
import pandas as pd 
import time 
# 發(fā)送get請(qǐng)求 
comment_api = 'https://maimai.cn/sdk/web/gossip/getcmts?gid=18606987&page={}&count=50&hotcmts_limit_count=1&u=206793936&channel=www&version=4.0.0&_csrf=38244DlN-X0iNIk6A4seLXFx6hz3Ds6wfQ0Y&access_token=1.9ff1c9df8547b2b2c62bf58b28e84b97&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22rE8q1xp6fZlxvwygWJn1UFDjrmMXDrSE2tc6uDKNIDZtRErng0FRwvduckWMwYzn8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22' 
""" 
author：作者 
text：評(píng)論 
、 
 
""" 
 
 
#headers = { "User-Agent": UserAgent(verify_ssl=False).random,'Cookie':cookie} 
headers = { "User-Agent": UserAgent(verify_ssl=False).random} 
j = 0 
k = 0 
response_comment = requests.get(comment_api.format(0),headers = headers) 
json_comment = response_comment.text 
json_comment = json.loads(json_comment) 
 
 
num = json_comment['total'] 
cols = ['author','text'] 
dataall = pd.DataFrame(index = range(num),columns = cols) 
 
while j < num : 
   n = json_comment['count'] 
   for i in range(n): 
 
       dataall.loc[j,'author'] = json_comment['comments'][i]['name'] 
       dataall.loc[j,'text'] = json_comment['comments'][i]['text'] 
       j+= 1              
   k += 1 
   comment_api1 = comment_api.format(k)  
    
   response_comment = requests.get(comment_api1,headers = headers) 
   json_comment = response_comment.text 
   json_comment = json.loads(json_comment) 
   print('已完成 {}% !'.format(round(j/num*100,2))) 
   time.sleep(3) 
    
         
dataall.to_excel('用一個(gè)字概括你的2018年.xlsx') 

爬下來之后，刪掉超過一個(gè)字的評(píng)論，按詞頻確定大小，做詞云圖如下

[[256539]]

用兩個(gè)字概括你現(xiàn)在的工作|用2個(gè)字總結(jié)你的工作

2,5是一樣的，爬下來合并到一起后分析。代碼不再重復(fù)，實(shí)際上用上面那段代碼，找到j(luò)son地址后替換，任何一個(gè)話題下的評(píng)論都可以全爬到，刪掉不是2個(gè)字的評(píng)論后根據(jù)詞頻作圖。

使用SnowNLP對(duì)評(píng)論進(jìn)行情感分析，最終4027條中，積極的有2196條，消極的有1831條。

積極

消極

模型對(duì)大部分評(píng)論的情感傾向判斷的比較準(zhǔn)確，小部分有誤。

***對(duì)所有評(píng)論提取關(guān)鍵詞做詞云收尾。