我用Python爬了12萬條影評,告訴你《戰(zhàn)狼Ⅱ》都在說些啥
截止到 8 月 24 日,《戰(zhàn)狼Ⅱ》上映的第 29 天,它的票房已超 52 億人民幣,真正成為唯一一部挺進世界影史票房前 100 名的亞洲電影。
拋開爆炸的票房不說,電影還激起了觀眾各種情緒,甚至有人放狠話說:敢噴《戰(zhàn)狼Ⅱ》的,要么是智障,要么是公敵,就是這么簡單粗暴。
大家對《戰(zhàn)狼Ⅱ》褒貶不一,紛紛在豆瓣短評上面留言,表達自己對這部電影的看法。盡管各路評論出街,媒體鬧得沸沸揚揚,觀眾還是傻傻分不清楚哪邊意見比較靠譜。
截至目前已經(jīng)有超過十五萬的評論,在你看評論的時候,你可能在一段時間里看到的大部分是表揚或者是貶低的評論。
那么通過瀏覽評論我們很難看出大家對于這部電影的總體情況?,F(xiàn)在讓我們通過數(shù)據(jù)分析的方法看看在這些評論中究竟發(fā)生了什么有趣的事情!
本文通過 Python 爬蟲的方式獲取數(shù)據(jù),對豆瓣電影評論進行分析,制作了豆瓣影評的云圖。
現(xiàn)在,讓我們來看看,《戰(zhàn)狼Ⅱ》評論里到底藏著哪些有趣的潛臺詞。
數(shù)據(jù)的獲取
本文采用的是 Python 爬蟲的方式獲取的數(shù)據(jù),用到的主要是 requests 包與正則包 re,該程序并未對驗證碼進行處理。
之前也爬取過豆瓣的網(wǎng)頁,當時由于爬取的內(nèi)容少,所以并沒有遇到驗證碼的事情。
在寫本文爬蟲的時候,原以為也不會有驗證碼,但是當爬取到大概 15000 個評論的時候跳出來驗證碼。
然后我就想不就是十二萬嗎?最多我也就是輸入大概十幾次驗證碼,所以就沒有處理驗證碼的事情。
但是接下來的事情就有點坑到我了,爬取 15000 左右評論并輸入驗證碼的時候,我以為會接下來爬取到 30000 左右,可是才爬了 3000 左右就不行了,還是要輸驗證碼。
然后就一直這樣,跌跌撞撞,有時候爬取好長時間才需要驗證碼,有時候則不是。不過***還是把評論爬取下來了。
爬取的內(nèi)容主要是:用戶名,是否看過,評論的星星點數(shù),評論時間,認為有用的人數(shù),評論內(nèi)容。參看下圖(用戶名已隱藏):
這個是影評的起始頁:豆瓣影評。
以下是 Python 爬蟲的代碼:
- import requests
- import re
- import pandas as
- pdurl_first='https://movie.douban.com/subject/26363254/comments?start=0'
- head={'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/59.0.3071.109 Chrome/59.0.3071.109 Safari/537.36'}
- html=requests.get(url_first,headers=head,cookies=cookies)
- cookies={'cookie':'你自己的cookie'} #也就是找到你的賬號對應的cookie
- reg=re.compile(r'<a href="(.*?)&.*?class="next">') #下一頁
- ren=re.compile(r'<span class="votes">(.*?)</span>.*?comment">(.*?)</a>.*?</span>.*?<span.*?class="">(.*?)</a>.*?<span>(.*?)</span>.*?title="(.*?)"></span>.*?title="(.*?)">.*?class=""> (.*?)\n',re.S) #評論等內(nèi)容
- while html.status_code==200:
- url_next='https://movie.douban.com/subject/26363254/comments'+re.findall(reg,html.text)[0]
- zhanlang=re.findall(ren,html.text)
- data=pd.DataFrame(zhanlang)
- data.to_csv('/home/wajuejiprince/文檔/zhanlang/zhanlangpinglun.csv', header=False,index=False,mode='a+') #寫入csv文件,'a+'是追加模式
- data=[]
- zhanlang=[]
- html=requests.get(url_next,cookies=cookies,headers=head)
以上代碼注意設置你自己的 User-Agent,Cookie,CSV 保存路徑等。
爬取的內(nèi)容保存成 CSV 格式的文件,保存的文件內(nèi)容如下:
數(shù)據(jù)清洗
本文用 R 語言來處理數(shù)據(jù),雖然在爬取的時候已經(jīng)非常注意爬取內(nèi)容的結(jié)構(gòu)了,但是還是不可避免的有一些值不是我們想要的。
比如有的評論內(nèi)容會出現(xiàn)在評論者這一項中,所以還是有必要進行一下數(shù)據(jù)的清洗。
首先加載要用到的所有包:
- library(data.table)
- library(plotly)
- library(stringr)
- library(jiebaR)
- library(wordcloud2)
- library(magrittr)
導入數(shù)據(jù)并清洗:
- dt<-fread(file.choose()) #導入數(shù)據(jù)
- dt[,c("V8","V9","V10","V11","V12","V13"):=NULL] #刪除空列
- #一條命令清洗數(shù)據(jù)
- my_dt<-dt[str_detect(贊成評論數(shù),"\\d+")][評論有用=='有用'][是否看過=="看過"][五星數(shù)%in%c("很差","較差","還行","推薦","力薦")]
數(shù)據(jù)淺析
先來看一看通過星星數(shù)評論的情況:
- plot_ly(my_dt[,.(.N),by=.(五星數(shù))],type = 'bar',x=~五星數(shù),y=~N)
五角星的個數(shù)對應 5 個等級,5 顆星代表力薦,4 顆星代表推薦,3 顆星代表還行,2 顆星代表較差,1 顆星代表很差。
通過五角星的評論顯而易見,我們有理由相信絕大部分觀看者對這部影片持滿意態(tài)度。
對評論結(jié)果的云圖展示
首先我們應該先進行評論的分詞:
- wk <- worker()
- sw<-function(x){wk<=x}
- segwords<-lapply(my_dt[,評論內(nèi)容],sw)
- my_segwords<-unlist(segwords) #不要列表
- #去除停止詞
- st<-readLines(file.choose()) #讀取停止詞
- stopwords<-c(NULL)
- for(i in 1:length(st))
- {
- stopwords[i]<-st[i]
- }
- seg_Words<-filter_segment(my_segwords,stopwords) #去除中文停止詞
總體評論云圖展示:
- words<-table(seg_Words)%>%data.table()
- setnames(words,"N","pinshu")
- words[pinshu>1000] #去除較低頻數(shù)的詞匯(小于1000的)
- wordcloud2(words[pinshu>1000], size = 2, fontFamily = "微軟雅黑",color = "random-light", backgroundColor = "grey")
由于數(shù)據(jù)太多,導致我的破電腦卡頓,所以在制作云圖的時候去掉了頻數(shù)低于 1000 的詞匯。
云圖結(jié)果如下:
整體來看,大家對這不影片的評論還是不錯呀!劇情,動作,愛國等話題是大家談論的焦點。
評價關鍵詞:吳京、個人英雄主義、主旋律、中國、主角光環(huán)、達康書記、很燃。
可見,“燃”并不是看完之后的最多反饋,觀眾更多是對吳京本人的贊嘆,以及對愛國主義和個人主義的評價。
不同評論等級的云圖展示
但是如果把不同評價的人的評論分別展示會是什么樣子呢?也就是對五個等級(力薦,推薦,還行,較差,很差)的評論內(nèi)容制作云圖,代碼如下(只要改變代碼中力薦為其他即可):
力薦的評論人的評論云圖
推薦的評論人的評論云圖
還行的評論人的評論云圖
較差的評論人的評論云圖
很差的評論人的評論云圖
結(jié)論
從不同的評論的分詞結(jié)果來看,他們都有一個共同的話題:愛國。
在力薦的評論中可能愛國話題的基數(shù)比很差的評論中的多,在力薦的評論中人們更愿意討論的是愛國話題之外的事情。在很差的評論中人們討論的大多是愛國話題。而且他們占的比例很有意思,從力薦的人到評論很差的人,愛國話題的比例逐漸增加。
我們不能主觀的認為誰對誰錯,只能說他們站在的角度不一樣,所以看到的結(jié)果也不太一樣。當我們和別人意見不同時,往往是所處的角度不同。評論很差的人考慮的更多的是愛國的話題吧(這里只是愛國話題的討論,并不是誰愛不愛國)!!
分析完了,這部《戰(zhàn)狼2》之所以能獲得這么多人的支持,根本原因還是在于從制作上實現(xiàn)了《戰(zhàn)狼1》所沒有的美國大片級大場面,同時在愛國主義上引起了共鳴,激起了民心。
電影結(jié)尾預告了《戰(zhàn)狼3》,我想必然會是一部更成功的電影,50 億的票房預示著吳京在 3 上容易吸引更豐厚的資本投資。
投資多了意味著特效也會更牛逼,而《戰(zhàn)狼2》里劇情上還有很大的進步空間,更有深度的劇情+更炫的畫面+愛國主義+個人英雄主義+吳京口碑,《戰(zhàn)狼3》絕對上天。