一、描述性統(tǒng)計(jì)分析

Excel里可以用【數(shù)據(jù)分析】功能里的【描述統(tǒng)計(jì)】功能來(lái)查看數(shù)據(jù)集常用的統(tǒng)計(jì)指標(biāo)，但這里只能是對(duì)數(shù)值型的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)。

pandas里可以用describe方法對(duì)整個(gè)數(shù)據(jù)集做一個(gè)描述性統(tǒng)計(jì)分析，當(dāng)然這里也只是對(duì)數(shù)值型數(shù)據(jù)才可以出結(jié)果，非數(shù)值型數(shù)據(jù)不在統(tǒng)計(jì)范圍內(nèi)。

# 描述性統(tǒng)計(jì)分析 
df_list.describe() 

得到結(jié)果如下，可以看到count(計(jì)數(shù))、mean(均值)、std(標(biāo)準(zhǔn)差)、min(最小值)、max(最大值)、25%、50%、75%分別表示3/4位數(shù)、中位數(shù)和1/4位數(shù)。

行列轉(zhuǎn)置

由于字段太多了，所以這里可以轉(zhuǎn)置一下，方便查看，用.T轉(zhuǎn)置

# 行列轉(zhuǎn)置 
df_list.describe().T 

結(jié)果如圖，更符合一個(gè)表格的習(xí)慣，可以看到能夠被統(tǒng)計(jì)出來(lái)的只有數(shù)值型數(shù)據(jù)，字符型的數(shù)據(jù)是統(tǒng)計(jì)不出來(lái)的。

觀察到最小入住天數(shù)(minimum_nights)這個(gè)字段最小值、1/4位數(shù)、中位數(shù)、3/4位數(shù)都是1，說(shuō)明大部分房源對(duì)最小入住天數(shù)的要求都是1天。同樣的結(jié)論適用于每月評(píng)論數(shù)(reviews_per_month)這個(gè)字段。

二、分組分析

Excel里用數(shù)據(jù)透視表可以實(shí)現(xiàn)數(shù)據(jù)分組計(jì)算的功能。

看下neighborhood_new字段都有哪些值，用value_counts方法對(duì)出現(xiàn)次數(shù)計(jì)數(shù)

# 數(shù)值計(jì)數(shù) 
df_list["neighborhood_new"].value_counts() 

結(jié)果可以看到neighborhood_new字段下總共有多少個(gè)區(qū)縣分類及其出現(xiàn)的次數(shù)按降序排列下來(lái)了，可以看到朝陽(yáng)區(qū)的房源最多，平谷區(qū)的房源最少。

還可以用groupby方法實(shí)現(xiàn)分組計(jì)數(shù)

# 分組 
df_list.groupby("neighborhood_new")["neighborhood_new"].count() 

得到的結(jié)果是一樣的

對(duì)room_type_new一列也可以分組看下結(jié)果

df_list["room_type_new"].value_counts() 

可以看到房間類型上有3種分類，整套房源(Entire home)最多，合租型的房源(Shared room)最少。

三、交叉分析

對(duì)區(qū)域分組，統(tǒng)計(jì)不同區(qū)域房?jī)r(jià)的水平，同樣用groupby方法分組，但是可以用agg方法一次使用多種匯總方式。

df_list.groupby("neighborhood_new")["price"].agg(["max","min","mean","count"]) 

結(jié)果如圖，對(duì)neighborhood_new字段分組，對(duì)分組后的價(jià)格求最大最小平均值并計(jì)數(shù)，可以看到懷柔區(qū)的房?jī)r(jià)平均值最高，豐臺(tái)區(qū)最低。

對(duì)房間類型分組，并將結(jié)果按均值降序排列

r_p = df_list.groupby("room_type_new")["price"].agg(["max","min","mean","count"]).reset_index() 
r_p.sort_values("mean",ascending = False) 

結(jié)果如圖，整租的房?jī)r(jià)均值最高，合租最低，很合理的結(jié)果。

透視

對(duì)房間類型和區(qū)域做一個(gè)透視，使用pivot_table方法，和Excel里的數(shù)據(jù)透視表是一種類型的操作，第一個(gè)參數(shù)是要透視的數(shù)據(jù)，values參數(shù)是Excel透視表中的值區(qū)域，即要進(jìn)行匯總的字段，index參數(shù)是Excel透視表中的行區(qū)域，columns參數(shù)是列區(qū)域，aggfuc參數(shù)是要對(duì)values進(jìn)行匯總的類型。

pd.pivot_table(df_list,values = "price",index = "neighborhood_new", 
                columns = "room_type_new",aggfunc = "mean",margins = True) 

結(jié)果如圖，可以看到整租、合租、單間在各個(gè)區(qū)域中的價(jià)格分布。

四、相關(guān)性分析

相關(guān)性分析是用來(lái)描述變量之間相關(guān)關(guān)系的結(jié)果，用相關(guān)系數(shù)r來(lái)表示，r>0表示正相關(guān)，r<0表示負(fù)相關(guān)，r的絕對(duì)值越接近1，表示越高度相關(guān)。Excel里用【數(shù)據(jù)分析】工具里的【相關(guān)系數(shù)】功能可以直接計(jì)算出各個(gè)字段的相關(guān)系數(shù)。

python里可以用corr函數(shù)計(jì)算數(shù)據(jù)間的相關(guān)系數(shù)，對(duì)整個(gè)數(shù)據(jù)表計(jì)算，并對(duì)結(jié)果取小數(shù)點(diǎn)后4位

# 計(jì)算相關(guān)系數(shù) 
df_list.corr().round(4) 

結(jié)果如下，就可以得到各個(gè)列之間的相關(guān)系數(shù)。

但是這里我們其實(shí)最關(guān)注的是他們同價(jià)格之間的相關(guān)性，也就是圖中標(biāo)紅的部分，可以對(duì)這列的數(shù)值排個(gè)序。

數(shù)值排序

數(shù)值排序就是讓整個(gè)數(shù)據(jù)表按照指定列升序或降序排列，用到sort_values方法。對(duì)求完相關(guān)系數(shù)后的數(shù)據(jù)框選擇其price列進(jìn)行降序，第一個(gè)參數(shù)是對(duì)哪一列進(jìn)行排序，第二個(gè)參數(shù)ascending = False是降序排列，默認(rèn)是True升序。

# 數(shù)值排序 
corr_p = df_list.corr().round(4) 
corr_p["price"].sort_values(ascending = False) 

結(jié)果如下，可以看到，房?jī)r(jià)和經(jīng)緯度(latitude、longitude)的相關(guān)性是最高的，除此以外相比其他變量，可預(yù)定天數(shù)(availability_365)和價(jià)格最正相關(guān)的，其次每月評(píng)論數(shù)量(reviews_per_month)和價(jià)格呈負(fù)相關(guān)。