一件有趣的事:我用 Python 爬了爬自己的微信朋友
最近幾天干啥都不來勁,昨晚偶然了解到 Python 里的 itchat 包,它已經完成了 wechat 的個人賬號 API 接口,使爬取個人微信信息更加方便。鑒于自己很早之前就想知道諸如自己微信好友性別比例都來自哪個城市之類的問題,于是乎玩心一起,打算爬一下自己的微信。
首先,在終端安裝一下 itchat 包。
- pip install itchat
安裝完成后導入包,再登陸自己的微信。過程中會生產一個登陸二維碼,掃碼之后即可登陸。登陸成功后,把自己好友的相關信息爬下來。
- import itchat
- itchat.login()
- #爬取自己好友相關信息, 返回一個json文件
- friends = itchat.get_friends(update=True)[0:]
有了上面的 friends 數據,我們就可以來做分析啦。
自己微信好友的男女比例
仔細觀察了一下返回的數據結構,發(fā)現(xiàn)”性別“是存放在一個字典里面的,key 是”Sex“,男性值為 1,女性為 2,其他是不明性別的(就是沒有填的)??梢詫憘€循環(huán)獲取想要的性別數據,得到自己微信好友的性別比例。
- 初始化計數器
- male = female = other = 0
- #friends[0]是自己的信息,所以要從friends[1]開始
- for i in friends[1:]:
- sex = i["Sex"]
- if sex == 1:
- male += 1
- elif sex == 2:
- female += 1
- else:
- other +=1
- #計算朋友總數
- total = len(friends[1:])
- #打印出自己的好友性別比例
- print("男性好友: %.2f%%" % (float(male)/total*100) + "\n" +
- "女性好友: %.2f%%" % (float(female) / total * 100) + "\n" +
- "不明性別好友: %.2f%%" % (float(other) / total * 100))
打印的結果為:
男性好友:37.65%
女性好友:59.23%
不明性別好友:3.12%
啊,一不小心就暴露了自己女性朋友比較多的事實。然而為什么我現(xiàn)在還是一只汪?!好了,再把這個數據用R畫成圖看看(Python 作圖真的是忍不了,代碼就不放了):
自己微信好友的城市分布
再仔細觀察 friends 列表,發(fā)現(xiàn)里面還包含了好友昵稱、省份、城市、個人簡介等等的數據,剛好可以用來分析好友城市分布,最好的方式是定義一個函數把數據都爬下來,存到數據框里,再進行分析。
- #定義一個函數,用來爬取各個變量
- def get_var(var):
- variable = []
- for i in friends:
- value = i[var]
- variable.append(value)
- return variable
- #調用函數得到各變量,并把數據存到csv文件中,保存到桌面
- NickName = get_var("NickName")
- Sex = get_var('Sex')
- Province = get_var('Province')
- City = get_var('City')
- Signature = get_var('Signature')
- from pandas import DataFrame
- data = {'NickName': NickName, 'Sex': Sex, 'Province': Province,
- 'City': City, 'Signature': Signature}
- frame = DataFrame(data)
- frame.to_csv('data.csv', index=True)
以上便得到一個叫 data 的 csv 桌面文件, 用 R 打開并簡單做一下數據預處理,得到如下(涉及隱私的已被預處理):
接著先根據省份、城市進行數據的分組和聚合,選擇排名前二十的,利用 ggplot2 包畫出如下的城市分布圖(代碼太長,不放了,就是這么任性,有需要參考的直接向我拿):
看來我大部分的朋友都是在廣東的(不是廢話嗎),其中廣東的朋友大部分集中在廣、深、珠,第二名是在奧克蘭, 接著是四川、澳門等?;疑?NA 值是指沒有設置自己所在地的朋友,一共有 70 多人。
另外,在國外的朋友由于微信的設置問題(很多是直接跳過省份,只有城市可以選擇的),很多國外的城市被誤當成了省份。
再來一張圖看看自己微信朋友在廣東的具體分布(取前八):
自己微信好友個性簽名的自定義詞云圖
好玩的來了。之前已經爬下了每個好友的個性簽名,剛好可以分析一下大伙兒個性簽名時使用的高頻詞語是什么,順便可以做個詞云圖。
先把原先爬下來的個性簽名(Signature)打印出來,發(fā)現(xiàn)有很多本來是表情的,變成了 emoji、span、class 等等這些無關緊要的詞,需要先替換掉,另外,還有類似<>/= 之類的符號,也需要寫個簡單的正則替換掉,再把所有拼起來,得到 text 字串。
- import re
- siglist = []
- for i in friends:
- signature = i["Signature"].strip().replace("span","").replace("class","").replace("emoji","")
- rep = re.compile("1f\d+\w*|[<>/=]")
- signature = rep.sub("", signature)
- siglist.append(signature)
- text = "".join(siglist)
接著就可以把 JB,啊不,把結巴分詞這個包搞進來分詞。
- import jieba
- wordlist = jieba.cut(text, cut_all=True)
- word_space_split = " ".join(wordlist)
終于可以進入畫圖階段了??梢愿鶕约合胍膱D片、形狀、顏色畫出相似的圖形(在這里,我使用的是我的頭像,當然,為了顏色可以更加鮮艷使最后畫出的詞云圖更加好看易辨,我先對自己的頭像用 PS 做了一點小處理)。為此,我們需要把 matplotlib、wordcloud、numpy、PIL 等包搞進來。
- import matplotlib.pyplot as plt
- from wordcloud import WordCloud, ImageColorGenerator
- import numpy as np
- import PIL.Image as Image
- coloring = np.array(Image.open("/Users/apple/Desktop/wechat.jpg"))
- my_wordcloud = WordCloud(background_color="white", max_words=2000,
- mask=coloring, max_font_size=60, random_state=42, scale=2,
- font_path="/Library/Fonts/Microsoft/SimHei.ttf").generate(word_space_split)
- image_colors = ImageColorGenerator(coloring)
- plt.imshow(my_wordcloud.recolor(color_func=image_colors))
- plt.imshow(my_wordcloud)
- plt.axis("off")
- plt.show()
運行上面的代碼,得到下面的圖:
看來,在我的微信好友的個人簽名里,有人善于聆聽,有人強調善良,有人重視靈魂,有人凝視人生。一直在等待,不放棄尋找。歷盡曲折,不畏虛偽。真心如一,不能辜負。一步一生多努力,一起一切 one more dream(真編不下去了)。
最后
以上是不是很有趣呢?是不是又打開了一扇新世界的大門呢?
我微信好友也不是太多,如果微信好友有幾千個,可以得到幾千條數據,分析一下還是很有價值的。
當然,itchat 包還有很多其他的功能還有待發(fā)掘,包括自動回復微信信息、自動添加好友、管理微信群等,有時間再慢慢摸索吧。