前言

在很多網(wǎng)站上，都會(huì)以表格的形式展示數(shù)據(jù)，而我們獲取這種數(shù)據(jù)只需通過(guò)十幾行爬蟲(chóng)代碼就可以搞定，輕松搞定網(wǎng)頁(yè)爬蟲(chóng)，實(shí)現(xiàn)高效辦公

知識(shí)點(diǎn)：

• 爬蟲(chóng)基本原理
• requests的簡(jiǎn)單使用
• pandas庫(kù)
• pyecharts可視化工具

第三方庫(kù)：

• requests
• pandas

開(kāi)發(fā)環(huán)境：

• Python 3.6
• Pycharm

這里就只展示部分代碼了

爬蟲(chóng)代碼

1.導(dǎo)入工具

from urllib.parse import urlencode 
import requests 
import csv 
from bs4 import BeautifulSoup 
import pandas as pd 

2.網(wǎng)頁(yè)提取函數(shù)

def get_one_page(i): 
    paras = { 
        'reportTime': '2019-12-31', 
        # 可以改報(bào)告日期，比如2018-6-30獲得的就是該季度的信息 
        'pageNum': i  # 頁(yè)碼 
    } 
    url = 'http://s.askci.com/stock/a/?' + urlencode(paras) 
    response = requests.get(url, headers=headers) 
    if response.status_code == 200: 
        return response.text 

3.提取表格數(shù)據(jù)

def parse_one_page(html): 
    tb = pd.read_html(html)[3] 
    return tb 

4.保存數(shù)據(jù)

def save_csv(): 
    pass 
 
if __name__ == '__main__': 
    html = get_one_page(1) 
    parse_one_page(html) 

運(yùn)行代碼，效果如下圖

數(shù)據(jù)可視化代碼

ffrom pyecharts import options as opts 
from pyecharts.charts import Map 
from pyecharts.faker import Faker 
df = pd.read_csv('1.csv') 
 
 
data = [['北京',331], ['西藏',18], ['湖北',103], ['上海',298], ['天津',50], ['陜西',51], ['安徽',106], ['河北',58], ['貴州',29], ['河南',79], ['山東',206], ['廣東',603], ['江西',41], ['江蘇',420], ['浙江',443], ['湖南',105], ['黑龍江',37], ['遼寧',78], ['福建',134], ['四川',125], ['重慶',50], ['廣西',38], ['新疆',54], ['云南',37], ['山西',38], ['寧夏',14], ['海南',30], ['甘肅',33], ['吉林',42], ['內(nèi)蒙古',25], ['青海',12]] 
c = ( 
    Map() 
    .add("上市公司數(shù)量 ", data, "china") 
    .set_global_opts( 
        title_opts=opts.TitleOpts(title="上市公司數(shù)量分布"), 
        visualmap_opts=opts.VisualMapOpts(max_=700), 
    ) 
) 
 
c.render_notebook() 

最后運(yùn)行代碼，效果如下圖