大概一年多以前，和幾個(gè)小伙伴均認(rèn)同一個(gè)趨勢(shì)：覺得通過技術(shù)手段獲取網(wǎng)上越來越豐富的數(shù)據(jù)，并基于這些數(shù)據(jù)做分析及可視化，必能產(chǎn)生有價(jià)值的結(jié)果，幫助大家改善生活。(大數(shù)據(jù)被叫爛了，所以用低調(diào)的方式來解釋我們的初心)

第一步：開工，為基金服務(wù)

恰巧和幾個(gè)基金的朋友(包括對(duì)沖基金和VC/PE基金)聊到這個(gè)趨勢(shì)，他們非常認(rèn)同這個(gè)觀點(diǎn)并愿意付費(fèi)，認(rèn)為可以用這種實(shí)時(shí)且定量的方式來跟蹤一些上市公司或者私有公司旗下的產(chǎn)品，來確定誰是有價(jià)值的投資目標(biāo)。于是立馬獲得訂單并促使我們開干，因?yàn)榭紤]到Python靈活及各類爬蟲庫的優(yōu)勢(shì)，最終選用Python來做數(shù)據(jù)獲取的主體架構(gòu);也有新潮的小伙伴使用Go，同時(shí)用Go搭建了一個(gè)很酷的框架來制造分布式的智能爬蟲，應(yīng)對(duì)各種反爬策略。抓取數(shù)據(jù)主要來自于如下網(wǎng)站：

• 各應(yīng)用商店：獲取App的下載量及評(píng)論
• 大眾點(diǎn)評(píng)及美團(tuán)網(wǎng)：餐飲及各類線下門店消費(fèi)及評(píng)價(jià)情況
• 汽車之家及易車：汽車的相關(guān)數(shù)據(jù)
• 58及搜房;房屋租售數(shù)據(jù)
• 新浪微博：用戶的各種發(fā)言及輿論
• 財(cái)經(jīng)數(shù)據(jù)：雪球及各類財(cái)經(jīng)網(wǎng)站
• 宏觀數(shù)據(jù)網(wǎng)站：天氣、12306火車、機(jī)票網(wǎng)站

最初的產(chǎn)品純粹是為基金服務(wù)。下圖是在各個(gè)維度找出最有價(jià)值的App，各種量級(jí)范圍內(nèi)在30天/7天增長(zhǎng)最快及評(píng)價(jià)最好榜單。(順便吹一下牛，我們這個(gè)榜單很早就發(fā)現(xiàn)小紅書App的快速增長(zhǎng)趨勢(shì)以及在年輕人中的極佳口碑) 

下圖是對(duì)某個(gè)App的下載量跟蹤，幫著基金做盡職調(diào)查。 

下圖是某上市公司的門店變化情況，幫著基金跟蹤TA的增長(zhǎng)情況。 

下圖是國(guó)內(nèi)各個(gè)機(jī)場(chǎng)的實(shí)時(shí)流量，幫著基金跟蹤國(guó)內(nèi)出行的實(shí)時(shí)情況，或許能從一個(gè)側(cè)面反映經(jīng)濟(jì)是否正在走入下行通道。 

第二步：擴(kuò)展思路，開源和分享

為基金服務(wù)，雖然給錢爽快，但是也讓方向越走越窄。首先，基金希望信息是獨(dú)享的和封閉的，投資就是投資人之間的零和博弈，公開的信息就迅速會(huì)一錢不值，基金最在乎的就是信息的獨(dú)享及提前量，所以各個(gè)基金都希望我們呈現(xiàn)的數(shù)據(jù)及分析結(jié)果能夠獨(dú)家。這樣迅速讓我們的方向收窄以及工作的趣味性降低，其次，畢竟對(duì)于基金而言，能分析的投資對(duì)象及方向是非常有限的。而且現(xiàn)階段，大部分對(duì)沖基金里面的分析員的數(shù)據(jù)分析能力其實(shí)很弱：這些分析員里面能用VBA或者能在Excel里面使用矩陣及向量乘法的人幾乎可以驚為天人;能寫offset函數(shù)的人，就應(yīng)該直接提拔了;大部分人停留在一個(gè)個(gè)數(shù)網(wǎng)頁找數(shù)據(jù)的階段。所以和他們起來十分費(fèi)勁，除了提供一些粗暴的數(shù)據(jù)，并不能產(chǎn)生太有價(jià)值的結(jié)果。

還共享了一些和青年生活最相關(guān)的分析及數(shù)據(jù)。下圖是深圳市早晨高峰時(shí)段某類人群出行的熱點(diǎn)圖，通過熱點(diǎn)分析，試圖找出這類人群的居住和上班的聚集區(qū)。 

下圖反映了在各時(shí)間段在深圳科技園附近下車的人群密度。 

寫這些報(bào)告，團(tuán)隊(duì)沒有掙到一分錢，但是整個(gè)成就感和滿意度大大上升。同時(shí)，在Python及各種技術(shù)上的積累也提高頗多，數(shù)據(jù)量級(jí)的積累也越發(fā)豐富，數(shù)據(jù)相關(guān)的各項(xiàng)技術(shù)也在不斷加強(qiáng)。同時(shí)，順勢(shì)擴(kuò)大了數(shù)據(jù)源：京東、淘寶等數(shù)據(jù)也納入囊中。

第三步：擴(kuò)展客戶

在知乎上寫這些報(bào)告，除了收獲知名度，還收獲意外之喜，一些知名品牌的消費(fèi)品公司、汽車公司及互聯(lián)網(wǎng)公司，主動(dòng)找我們做一些數(shù)據(jù)抓取及分析。整個(gè)團(tuán)隊(duì)沒有一個(gè)BD，也從來不請(qǐng)客戶吃飯。

于是我們順勢(shì)做了如下的網(wǎng)站以及一個(gè)成熟的Dashboard框架(開發(fā)數(shù)據(jù)監(jiān)控的Dashboard超有效率)，目前主要監(jiān)控和分析母嬰、白酒、汽車及房地產(chǎn)四大行業(yè)，都是一些愿意花錢進(jìn)行深度了解用戶以及行業(yè)趨勢(shì)的公司。收入自動(dòng)上門，很開心! 

下圖是抓取汽車之家的數(shù)據(jù)，做出BBA(奔馳寶馬奧迪)這三大豪華品牌的交叉關(guān)注度，幫助品牌及4A公司了解他們用戶的忠誠(chéng)度以及品牌之間遷移的難度。 

下圖是抓取新浪微博的數(shù)據(jù)，分析廣東白酒的消費(fèi)場(chǎng)所 

下圖是抓取新浪微博的數(shù)據(jù)，分析廣東白酒和各類食品的相關(guān)度。