Python爬取北京二手房數(shù)據(jù),分析北漂族買得起房嗎? | 附完整源碼
房?jī)r(jià)高是北漂們一直關(guān)心的話題,本文就對(duì)北京的二手房數(shù)據(jù)進(jìn)行了分析。
本文主要分為兩部分:Python爬取趕集網(wǎng)北京二手房數(shù)據(jù),R對(duì)爬取的二手房房?jī)r(jià)做線性回歸分析,適合剛剛接觸Python&R的同學(xué)們學(xué)習(xí)參考。
01、Python爬取趕集網(wǎng)北京二手房數(shù)據(jù)
入門爬蟲(chóng)一個(gè)月,所以對(duì)每一個(gè)網(wǎng)站都使用了Xpath、Beautiful Soup、正則三種方法分別爬取,用于練習(xí)鞏固。數(shù)據(jù)來(lái)源如下:
Xpath爬?。?/strong>
這里主要解決運(yùn)用Xpath如何判斷某些元素是否存在的問(wèn)題,比如如果房屋沒(méi)有裝修信息,不加上判斷,某些元素不存在就會(huì)導(dǎo)致爬取中斷。
- import requests
- from lxml import etree
- from requests.exceptions import RequestException
- import multiprocessing
- import time
- headers = {
- 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
- def get_one_page(url):
- try:
- response = requests.get(url, headers=headers)
- if response.status_code == 200:
- return response.text
- return None
- except RequestException:
- return None
- def parse_one_page(content):
- try:
- selector = etree.HTML(content)
- ALL = selector.xpath('//*[@id="f_mew_list"]/div[6]/div[1]/div[3]/div[1]/div')
- for div in ALL:
- yield {
- 'Name': div.xpath('dl/dd[1]/a/text()')[0],
- 'Type': div.xpath('dl/dd[2]/span[1]/text()')[0],
- 'Area': div.xpath('dl/dd[2]/span[3]/text()')[0],
- 'Towards': div.xpath('dl/dd[2]/span[5]/text()')[0],
- 'Floor': div.xpath('dl/dd[2]/span[7]/text()')[0].strip().replace('\n', ""),
- 'Decorate': div.xpath('dl/dd[2]/span[9]/text()')[0],
- #地址需要特殊處理一下
- 'Address': div.xpath('dl/dd[3]//text()')[1]+div.xpath('dl/dd[3]//text()')[3].replace('\n','')+div.xpath('dl/dd[3]//text()')[4].strip(),
- 'TotalPrice': div.xpath('dl/dd[5]/div[1]/span[1]/text()')[0] + div.xpath('dl/dd[5]/div[1]/span[2]/text()')[0],
- 'Price': div.xpath('dl/dd[5]/div[2]/text()')[0]
- }
- if div['Name','Type','Area','Towards','Floor','Decorate','Address','TotalPrice','Price'] == None:##這里加上判斷,如果其中一個(gè)元素為空,則輸出None
- return None
- except Exception:
- return None
- def main():
- for i in range(1, 500):#這里設(shè)置爬取500頁(yè)數(shù)據(jù),在數(shù)據(jù)范圍內(nèi),大家可以自設(shè)置爬取的量
- url = 'http://bj.ganji.com/fang5/o{}/'.format(i)
- content = get_one_page(url)
- print('第{}頁(yè)抓取完畢'.format(i))
- for div in parse_one_page(content):
- print(div)
- if __name__ == '__main__':
- main()
Beautiful Soup爬取:
- import requests
- import re
- from requests.exceptions import RequestException
- from bs4 import BeautifulSoup
- import csv
- import time
- headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
- def get_one_page(url):
- try:
- response = requests.get(url,headers = headers)
- if response.status_code == 200:
- return response.text
- return None
- except RequestException:
- return None
- def parse_one_page(content):
- try:
- soup = BeautifulSoup(content,'html.parser')
- items = soup.find('div',class_=re.compile('js-tips-list'))
- for div in items.find_all('div',class_=re.compile('ershoufang-list')):
- yield {
- 'Name':div.find('a',class_=re.compile('js-title')).text,
- 'Type': div.find('dd', class_=re.compile('size')).contents[1].text,#tag的 .contents 屬性可以將tag的子節(jié)點(diǎn)以列表的方式輸出
- 'Area':div.find('dd',class_=re.compile('size')).contents[5].text,
- 'Towards':div.find('dd',class_=re.compile('size')).contents[9].text,
- 'Floor':div.find('dd',class_=re.compile('size')).contents[13].text.replace('\n',''),
- 'Decorate':div.find('dd',class_=re.compile('size')).contents[17].text,
- 'Address':div.find('span',class_=re.compile('area')).text.strip().replace(' ','').replace('\n',''),
- 'TotalPrice':div.find('span',class_=re.compile('js-price')).text+div.find('span',class_=re.compile('yue')).text,
- 'Price':div.find('div',class_=re.compile('time')).text
- }
- #有一些二手房信息缺少部分信息,如:缺少裝修信息,或者缺少樓層信息,這時(shí)候需要加個(gè)判斷,不然爬取就會(huì)中斷。
- if div['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price'] == None:
- return None
- except Exception:
- return None
- def main():
- for i in range(1,50):
- url = 'http://bj.ganji.com/fang5/o{}/'.format(i)
- content = get_one_page(url)
- print('第{}頁(yè)抓取完畢'.format(i))
- for div in parse_one_page(content):
- print(div)
- with open('Data.csv', 'a', newline='') as f: # Data.csv 文件存儲(chǔ)的路徑,如果默認(rèn)路徑就直接寫(xiě)文件名即可。
- fieldnames = ['Name', 'Type', 'Area', 'Towards', 'Floor', 'Decorate', 'Address', 'TotalPrice', 'Price']
- writer = csv.DictWriter(f, fieldnames=fieldnames)
- writer.writeheader()
- for item in parse_one_page(content):
- writer.writerow(item)
- time.sleep(3)#設(shè)置爬取頻率,一開(kāi)始我就是爬取的太猛,導(dǎo)致網(wǎng)頁(yè)需要驗(yàn)證。
- if __name__=='__main__':
- main()
正則爬?。何已芯苛撕镁茫€是沒(méi)有解決。
這一過(guò)程中容易遇見(jiàn)的問(wèn)題有:
- 有一些房屋缺少部分信息,如缺少裝修信息,這個(gè)時(shí)候需要加一個(gè)判斷,如果不加判斷,爬取就會(huì)自動(dòng)終止(我在這里跌了很大的坑)。
Data.csv知識(shí)點(diǎn)存儲(chǔ)文件路徑默認(rèn)是工作目錄,關(guān)于Python中如何查看工作目錄:
- import os
- #查看pyhton 的默認(rèn)工作目錄
- print(os.getcwd())
- #修改時(shí)工作目錄
- os.chdir('e:\\workpython')
- print(os.getcwd())
- #輸出工作目錄
- e:\workpython
- 爬蟲(chóng)打印的是字典形式,每個(gè)房屋信息都是一個(gè)字典,由于Python中excel相關(guān)庫(kù)是知識(shí)盲點(diǎn),所以爬蟲(chóng)的時(shí)候?qū)⒆值溲h(huán)直接寫(xiě)入了CSV。
Pycharm中打印如下:
將字典循環(huán)直接寫(xiě)入CSV效果如下:
- 很多初學(xué)者對(duì)于Address不知如何處理,這里強(qiáng)調(diào)一下Beautiful Soup 中.contents的用法,親身體會(huì),我在這里花了好多時(shí)間才找到答案。
02、R對(duì)爬取的二手房房?jī)r(jià)做一般線性回歸分析
下面我們用R對(duì)抓取的趕集網(wǎng)北京二手房數(shù)據(jù)做一些簡(jiǎn)單的分析。
數(shù)據(jù)的說(shuō)明
- Name:主要是商家的醒目標(biāo)題,不具備分析參考意義
- Type:臥室數(shù)、客廳數(shù)、衛(wèi)生間數(shù)
- Area:面積(平方米)
- Towards:朝向
- Floor:樓層
- Decorate:裝修情況,如精裝修、簡(jiǎn)單裝修、毛坯房
- Address:二手房的地址
- TotalPrice:總價(jià)
- Price:均價(jià)(元/平方米)
數(shù)據(jù)清洗
- data<-read.csv("E://Data For R/RData/data.csv")
- DATA<-data[,-c(1,7)]#將Name和Address兩列去掉
- DATA[sample(1:nrow(DATA),size=10),]
- #在爬取的時(shí)候加入了判斷,所以不知道爬取的數(shù)據(jù)中是否存在缺失值,這里檢查一下
- colSums(is.na(DATA))
- #這里將Type的臥室客廳和衛(wèi)生間分為三個(gè)不同的列
- ##這里需要注意,有一些房屋沒(méi)有客廳如:1室1衛(wèi)這時(shí)候需要單獨(dú)處理,還有一些沒(méi)有廁所信息。
- library(tidyr)
- library(stringr)
- DATA=separate(data=DATA,col=Type,into = c("Bedrooms","Halls"),sep="室")
- DATA=separate(data=DATA,col=Halls,into = c("Halls","Toilet"),sep="廳")
- ##將衛(wèi)生間后面的漢字去掉
- DATA$Toilet<-str_replace(DATA$Toilet,"衛(wèi)","")
- ###如圖六,將Halls中帶有漢字去掉,因?yàn)橛幸恍┓课菪畔](méi)有客廳,如:1室1廳,在分成臥室和客廳時(shí),會(huì)將衛(wèi)生間分到客廳一列。
- DATA$Halls<-str_replace(DATA$Halls,"衛(wèi)","")
- ##取出沒(méi)有客廳信息的數(shù)據(jù),這些數(shù)據(jù)被separate到Halls列
- newdata<-DATA[which(DATA$Toilet %in% NA),2]
- newdata
- ##將沒(méi)有客廳的房屋信息Halls列填充為0
- DATA[which(DATA$Toilet %in% NA),2]<-0
- DATA[which(DATA$Toilet %in% NA),3]<-newdata
- colSums(DATA=="")
- Bedrooms Halls Toilet Area Towards Floor Decorate
- 0 0 2 0 0 0 0
- TotalPrice Price
- 0 0
- ##發(fā)現(xiàn)有2個(gè)廁所沒(méi)有信息,將其填寫(xiě)為0。
- DATA$Toilet[DATA$Toilet == ""]<-0
- ##這里將Area后的㎡去掉
- DATA$Area<-str_replace(DATA$Area,"㎡","")
- ##查看Towards的類型
- table(DATA$Towards)
- Towards 北向 東北向 東南向 東西向 東向 南北向 南向 西北向
- 51 25 23 50 65 32 1901 678 38
- 西南向 西向
- 28 26
- ##將Floor信息帶括號(hào)的全部去除
- DATA$Floor<-str_replace(DATA$Floor,"[(].*[)]","")##正則表達(dá)式
- #查看Floor的類別信息
- 低層 地下 高層 共1層 共2層 共3層 共4層 共5層 中層
- 632 32 790 36 61 101 68 130 1016
- #分別將TotalPrice和Price后面的萬(wàn)元、元/㎡去掉
- DATA$TotalPrice<-str_replace(DATA$TotalPrice,"萬(wàn)元","")
- DATA$Price<-str_replace(DATA$Price,"元/㎡","")
- head(DATA)
- ##將數(shù)據(jù)轉(zhuǎn)換格式
- DATA$Bedrooms<-as.factor(DATA$Bedrooms)
- DATA$Halls<-as.factor(DATA$Halls)
- DATA$Toilet<-as.factor(DATA$Toilet)
- DATA$Area<-as.numeric(DATA$Area)
- DATA$TotalPrice<-as.numeric(DATA$TotalPrice)
- DATA$Price<-as.numeric(DATA$Price)
- DATA$Towards<-as.factor(DATA$Towards)
- DATA$Decorate<-as.factor(DATA$Decorate)
- str(DATA)
以上數(shù)據(jù)清洗完畢。
03、描述性分析
這部分的主要思路是探究單個(gè)自變量對(duì)因變量的影響,對(duì)房?jī)r(jià)的影響因素進(jìn)行模擬探究之前,首先對(duì)各變量進(jìn)行描述性分析,以初步判斷房?jī)r(jià)的影響因素。這里探究各個(gè)因素對(duì)總價(jià)影響。
探究Bedrooms與TotalPrice的關(guān)系
- table(DATA$Bedrooms)
- 1 2 3 4 5 6 7 9
- 541 1225 779 193 102 20 5 1
- ##由于擁有6、7、9個(gè)臥室數(shù)的數(shù)量較少,這里我們排出這些數(shù)據(jù)。
- DATA<-DATA[-(which(DATA$Bedrooms %in% "6")),]
- DATA<-DATA[-(which(DATA$Bedrooms %in% "7")),]
- DATA<-DATA[-(which(DATA$Bedrooms %in% "9")),]
- table(DATA$Bedrooms)
- 1 2 3 4 5
- 541 1225 779 193 102
- library(ggplot2)
- ggplot(DATA,aes(x=Bedrooms,y=TotalPrice))+geom_boxplot(col="red")
- DATA$Bedrooms<-as.numeric(DATA$Bedrooms)
- ##這里將臥室數(shù)為1、2、3命名為A,4為B,5為C
- DATA$Bedrooms[DATA$Bedrooms=='1']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='2']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='3']<-"A"
- DATA$Bedrooms[DATA$Bedrooms=='4']<-"B"
- DATA$Bedrooms[DATA$Bedrooms=='5']<-"C"
不同臥室數(shù),TotalPrice不同。且隨著臥室數(shù)的增多,總價(jià)越高,符合大眾的認(rèn)知。
探究Halls與TotalPrice的關(guān)系
- table(DATA$Halls)
- 0 1 2 3 4 5 9
- 20 1674 1050 77 18 1 0
- ##5個(gè)客廳只有一個(gè)個(gè)體,我們這里將其排出
- DATA<-DATA[-(which(DATA$Halls %in% "5")),]
- table(DATA$Halls)
- 0 1 2 3 4 5 9
- 20 1674 1050 77 18 0 0
- ggplot(DATA,aes(x=Halls,y=TotalPrice))+geom_boxplot(col="red")
客廳數(shù)為3時(shí)候總價(jià)***,客廳數(shù)為0、1和2的時(shí)候總價(jià)低于客廳數(shù)3和客廳數(shù)4。
探究Toilet與TotalPrice的關(guān)系
- #探究衛(wèi)生間與總價(jià)的關(guān)系
- table(DATA$Toilet)
- 0 1 2 3 4 5 6 7 9
- 2 2142 470 116 74 26 7 2 0
- #這里將衛(wèi)生間數(shù)為0、6和7的去掉
- DATA<-DATA[-(which(DATA$Toilet %in% "0")),]
- DATA<-DATA[-(which(DATA$Toilet %in% "6")),]
- DATA<-DATA[-(which(DATA$Toilet %in% "7")),]
- table(DATA$Toilet)
- 0 1 2 3 4 5 6 7 9
- 0 2142 470 116 74 26 0 0 0
- ggplot(DATA,aes(x=Toilet,y=TotalPrice))+geom_boxplot(col="red")
一般臥室數(shù)越多,衛(wèi)生間數(shù)也越多,即衛(wèi)生間數(shù)越多,總價(jià)越高。
探究Area與TotalPrice的關(guān)系
- ggplot(DATA, aes(x=Area, y=TotalPrice)) + geom_point(col='red')
這個(gè)完全符合住房面積越大,總價(jià)越高。
探究Towards與TotalPrice的關(guān)系
- ggplot(DATA,aes(x=Towards,y=TotalPrice))+geom_boxplot(col="red")
探究Floor與TotalPrice的關(guān)系
- ggplot(DATA,aes(x=Floor,y=TotalPrice))+geom_boxplot(col="red")
圖中信息顯示樓層一共只有1、2、3、地下的總價(jià)較高。
探究Decorate與TotalPrice的關(guān)系
- ggplot(DATA,aes(x=Decorate,y=TotalPrice))+geom_boxplot(col="red")
不同裝修信息對(duì)總價(jià)影響較小。
04、模型建立
- fit <-lm(TotalPrice~Bedrooms+Halls+Toilet+Area+Towards+Floor+Decorate,data=DATA)
- summary(fit)
- Call:
- lm(formula = TotalPrice ~ Bedrooms + Halls + Toilet + Area +
- Towards + Floor + Decorate, data = DATA)
- Residuals:
- Min 1Q Median 3Q Max
- -1330.80 -103.49 -21.41 63.88 2961.59
- Coefficients:
- Estimate Std. Error t value Pr(>|t|)
- (Intercept) -112.7633 88.3010 -1.277 0.201697
- Bedrooms2 -43.5934 16.2533 -2.682 0.007359 **
- Bedrooms3 -82.6565 20.7641 -3.981 7.04e-05 ***
- Bedrooms4 -63.3096 34.9521 -1.811 0.070198 .
- Bedrooms5 79.0618 54.0763 1.462 0.143842
- Halls1 -5.0663 64.2764 -0.079 0.937182
- Halls2 -53.8905 65.4427 -0.823 0.410307
- Halls3 -303.9750 79.2280 -3.837 0.000127 ***
- Halls4 -528.5427 104.0849 -5.078 4.07e-07 ***
- Toilet2 112.9566 19.1171 5.909 3.87e-09 ***
- Toilet3 543.7304 38.8056 14.012 < 2e-16 ***
- Toilet4 735.1894 55.0977 13.343 < 2e-16 ***
- Toilet5 338.7906 84.2851 4.020 5.98e-05 ***
- Area 5.1091 0.1619 31.557 < 2e-16 ***
- Towards東北向 138.9088 79.3817 1.750 0.080248 .
- Towards東南向 187.1895 68.5388 2.731 0.006351 **
- Towards東西向 176.3055 65.8384 2.678 0.007453 **
- Towards東向 210.9435 73.2744 2.879 0.004022 **
- Towards南北向 75.7831 57.1199 1.327 0.184704
- Towards南向 60.1949 56.9678 1.057 0.290763
- Towards西北向 75.4326 71.1415 1.060 0.289091
- Towards西南向 169.8106 75.9626 2.235 0.025467 *
- Towards西向 234.0816 76.5585 3.058 0.002253 **
- Floor地下 -812.3578 63.3277 -12.828 < 2e-16 ***
- Floor高層 12.3525 14.2466 0.867 0.385991
- Floor共1層 -313.7278 52.1342 -6.018 2.00e-09 ***
- Floor共2層 -453.3692 41.6829 -10.877 < 2e-16 ***
- Floor共3層 -601.7032 44.3336 -13.572 < 2e-16 ***
- Floor共4層 -183.7866 36.3396 -5.057 4.52e-07 ***
- Floor共5層 -41.4184 25.7922 -1.606 0.108419
- Floor中層 -1.7223 13.5961 -0.127 0.899204
- Decorate簡(jiǎn)單裝修 -63.1591 22.0584 -2.863 0.004224 **
- Decorate精裝修 -49.3276 19.8544 -2.484 0.013033 *
- Decorate毛坯 -157.0299 24.3012 -6.462 1.22e-10 ***
- ---
- Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
- Residual standard error: 265.5 on 2794 degrees of freedom
- Multiple R-squared: 0.6852, Adjusted R-squared: 0.6815
- F-statistic: 184.3 on 33 and 2794 DF, p-value: < 2.2e-16
模型的F檢驗(yàn)拒絕原假設(shè),說(shuō)明建立的模型是顯著的;Ajusted R-squared為0.6815,模型的擬合程度尚可接受。
作者:徐麟,知乎同名專欄作者,目前就職于上海唯品會(huì)產(chǎn)品技術(shù)中心,哥大統(tǒng)計(jì)數(shù)據(jù)狗,從事數(shù)據(jù)挖掘&分析工作,喜歡用R&Python玩一些不一樣的數(shù)據(jù)。