爬了知乎200萬數(shù)據(jù),圖說程序員都喜歡去哪兒工作
因為最近和朋友吃飯,大家都到了大三季,都在糾結(jié)自己該以哪里作為自己職業(yè)發(fā)展的起點?也想看看自己的背景,能不能找到靠譜的師哥師姐幫忙,那么師哥師姐都在哪里發(fā)光發(fā)亮呢?
我當時也是午休的時候想到,知乎有那么多結(jié)構(gòu)化的好的數(shù)據(jù),不如抓取之,拿來分析可以看看名校生們都在哪?
我們行業(yè)的人都喜歡哪,哪里每年帶走一堆人?
然后花半小時寫了個多線程爬蟲,爬下來幾百萬數(shù)據(jù)(其中每個學(xué)校的大圓圈占比代表該校學(xué)生在調(diào)研總數(shù)中的占比)
這次抓取的數(shù)據(jù)量有將近200萬,跑了一個下午,然后我把沒有公司或者教育學(xué)校的篩掉,就還剩25萬了~