程序員的選房神技,GitHub上的房源爬蟲
買房,在中國是任何一個年輕人都繞不開都話題。特別是在當(dāng)下限購搖號等多重政策打壓的情況,要選到一個自己心儀的房子可謂難度不小。
而且,伴隨著房價(jià)上漲的還有房租。買不起房的,想要租個合適的小窩也不容易啊!
正在看房路上的我,只能用下圖表達(dá)此時心情!
萬萬沒想到的是,在選房這個難題上,程序員小哥哥卻自有神技。利用爬蟲技術(shù)輕松獲取所有房源,搭配數(shù)據(jù)分析輕松就搞定了自己的小窩。
此時的你,是不是流下了“不懂技術(shù)”的眼淚。不哭不哭站起來擼,來看看 Github 上的房源爬蟲,直接拿來就用豈不更妙!
1.自如實(shí)時房源提醒
房源監(jiān)控腳本,自動檢測符合條件的高性價(jià)比房源,1個小時更新一次。一旦出現(xiàn)符合條件的房源就打印出來。代碼量不大,卻十分好用。
- 項(xiàng)目地址: facert/ziroom_realtime_spider
2.鏈家二手房租房在線數(shù)據(jù)
一個鏈家網(wǎng)全國房源爬蟲工具,輕松獲取存量房交易數(shù)據(jù)以及現(xiàn)存房源。還搭配了數(shù)據(jù)分析的教程,提供可視化。
- 項(xiàng)目地址: XuefengHuang/lianjia-scrawler
- 數(shù)據(jù)分析教程: https://www. ershoufangdata.com/
3.貝殼網(wǎng)爬蟲API:
直接通過 pip install ke 安裝即可使用,一行代碼將指定篩選條件的全量數(shù)據(jù)保存為JSON/csv。
- 項(xiàng)目地址: rangduju/Ke
使用命令:
- from Ke.ke import Ke
- %%time
- df = Ke(username='17810375258', password='abcd1234').ke_scraper_rent(url='https://bj.zu.ke.com/zufang/sanlitun/l0', keyword='北京三里屯', export='csv')
- df
4.鏈家網(wǎng)和貝殼網(wǎng)房價(jià)爬蟲
采集北京上海廣州深圳等21個中國主要城市的房價(jià)數(shù)據(jù)(小區(qū),二手房,出租房,新房),穩(wěn)定可靠快速!支持csv,MySQL, MongoDB,Excel, json存儲,并且同時支持Python2和3。具有圖表展示數(shù)據(jù)功能,并且擁有詳細(xì)注釋,可進(jìn)行功能擴(kuò)展。
- 項(xiàng)目地址: jumper2014/lianjia-beike-spider
5.北京地區(qū)鏈家房屋成交
爬下了北京所有的小區(qū)信息及北京的所有歷史成交記錄,很簡單的一個爬蟲,可供北京地區(qū)的購房者進(jìn)行價(jià)格比較。
- 項(xiàng)目地址: lanbing510/LianJiaSpider
6.號稱宇宙最快的鏈家爬蟲
直接使用鏈家API抓取數(shù)據(jù)的技術(shù)爬蟲,作者自嗨號稱宇宙最快,具體快不快,還等你親自試試呢。
- 項(xiàng)目地址: CaoZ/Fast-LianJia-Crawler
7.地圖搜租房
爬蟲全天不間斷獲取公開租房信息,匯總處理分析后落地到數(shù)據(jù)庫中。整合房源眾多,包括豆瓣租房小組】、【豆瓣租房小程序】、【Zuber合租】、【蘑菇租房】、【CCB建融家園】、【58同城品牌公寓】、【Hi住租房】、【房多多】、【貝殼租房】、【v2ex租房帖子】、【上?;ブ夥俊?。并且支持房價(jià)篩選、個人房源。可以直接利用高的地圖展示房源?,F(xiàn)在都擁有自己的官網(wǎng)產(chǎn)品了。
- 項(xiàng)目地址: liguobao/58HouseSearch
- 官網(wǎng)地址:地圖搜租房