獲取數(shù)據(jù)

其實(shí)邏輯并不復(fù)雜：

• 爬取歌單列表里的所有歌單url。
• 進(jìn)入每篇歌單爬取所有歌曲url，去重。
• 進(jìn)入每首歌曲首頁(yè)爬取熱評(píng)，匯總。

歌單列表是這樣的：

翻頁(yè)并觀察它的url變化，注意下方動(dòng)圖，每次翻頁(yè)末尾變化35。 

采用requests+pyquery來(lái)爬取：

def get_list(): 
 list1 = [] 
 for i in range(0,1295,35): 
 url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i) 
 print('已成功采集%i頁(yè)歌單\n' %(i/35+1)) 
 data = [] 
 html = restaurant(url) 
 doc = pq(html) 
 for i in range(1,36): # 一頁(yè)35個(gè)歌單 
 a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href') 
 a1 = 'https://music.163.com/api' + a.replace('?','/detail?') 
 data.append(a1) 
 list1.extend(data) 
 time.sleep(5+random.random()) 
 return list1 

這樣我們就可以獲得38頁(yè)每頁(yè)35篇歌單，共1300+篇歌單。

下面我們需要進(jìn)入每篇歌單爬取所有歌曲url，并且要注意最后“去重”，不同歌單可能包含同一首歌曲。

點(diǎn)開(kāi)一篇歌單，注意紅色圈出的id。 

觀察一下，我們要在每篇歌單下方獲取的信息也就是紅框圈出的這些，利用剛剛爬取到的歌單id和網(wǎng)易云音樂(lè)的api可以構(gòu)造出： 

不方便看的話我們解析一下json。 

def get_playlist(url): 
 data = [] 
 doc = get_json(url) 
 obj=json.loads(doc) 
 jobs=obj['result']['tracks'] 
 for job in jobs: 
 dic = {} 
 dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名稱 
 dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID 
 data.append(dic) 
 return data  

這樣我們就獲取了所有歌單下的歌曲，記得去重。

#去重 
data = data.drop_duplicates(subset=None, keep='first', inplace=True)  

剩下就是獲取每首歌曲的熱評(píng)了，與前面獲取歌曲類似，也是根據(jù)api構(gòu)造，很容易就找到了。 

def get_comments(url,k): 
 data = [] 
 doc = get_json(url) 
 obj=json.loads(doc) 
 jobs=obj['hotComments'] 
 for job in jobs: 
 dic = {} 
 dic['content']=jsonpath.jsonpath(job,'$..content')[0]  
 dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) 
 dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用戶ID 
 dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用戶名 
 dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]  
 dic['name']= k 
 data.append(dic) 
 return data  

匯總后就獲得了44萬(wàn)條音樂(lè)熱評(píng)數(shù)據(jù)。 

數(shù)據(jù)分析

清洗填充一下。

def data_cleaning(data): 
 cols = data.columns 
 for col in cols: 
 if data[col].dtype == 'object': 
 data[col].fillna('缺失數(shù)據(jù)', inplace = True) 
 else: 
 data[col].fillna(0, inplace = True) 
 return(data) 

按照點(diǎn)贊數(shù)排個(gè)序。

#排序 
df1['likedCount'] = df1['likedCount'].astype('int') 
df_2 = df1.sort_values(by="likedCount",ascending=False) 
df_2.head() 

再看看哪些熱評(píng)是被復(fù)制粘貼搬來(lái)搬去的。

#排序 
df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False) 
df_line.head() 

第一個(gè)和第三個(gè)只是末尾有沒(méi)有句號(hào)的區(qū)別，可以歸為一類。這樣的話，重復(fù)次數(shù)最多個(gè)這句話竟然重復(fù)了412次，額~~

看看上熱評(píng)次數(shù)次數(shù)最多的是哪位大神?從他的身上我們能學(xué)到什么經(jīng)驗(yàn)?

df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False) 
df_user.head() 

按照 user_id 匯總一下，排序。 

成功“捕獲”一枚“段子手”，上熱評(píng)次數(shù)高達(dá)347，我們?cè)倏纯催@位大神究竟都評(píng)論些什么?

df_user_max = df.loc[(df['userId'] == 101***770)] 
df_user_max.head() 

這位“失眠的陳先生”看來(lái)各種情話嫻熟于手啊，下面就以他舉例來(lái)看看如何成為網(wǎng)易云音樂(lè)評(píng)論里的熱評(píng)段子手吧。

數(shù)據(jù)可視化

先看看這347條評(píng)論的贊數(shù)分布。

#贊數(shù)分布圖 
import matplotlib.pyplot as plt 
data = df_user_max['likedCount'] 
#data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig') 
plt.hist(data,100,normed=True,facecolor='g',alpha=0.9) 
plt.show() 

很明顯，贊數(shù)并不多，大部分都在500贊之內(nèi)，幾百贊卻能躋身熱評(píng)，這也側(cè)面說(shuō)明了這些歌曲是比較小眾的，看來(lái)是經(jīng)常在新歌區(qū)廣撒網(wǎng)。

我們使用len() 求出每條評(píng)論的字符串長(zhǎng)度，再畫個(gè)分布圖： 

評(píng)論的字?jǐn)?shù)集中在18—30字之間，這說(shuō)明在留言時(shí)要注意字?jǐn)?shù)，保險(xiǎn)的做法是不要太長(zhǎng)讓人讀不下去，也不要太短以免不夠經(jīng)典。

做個(gè)詞云。