本文介紹如何利用requests+正則表達(dá)式爬取TIOBE編程語言熱度數(shù)據(jù)，并使用👉openpyxl寫入數(shù)據(jù)與👉pyecharts時間輪播圖進(jìn)行可視化。

[[349825]]

一、數(shù)據(jù)獲取

我們需要爬取的目標(biāo)url為https://www.tiobe.com/tiobe-index/打開之后如下👇 

分析網(wǎng)頁源代碼可以找到想要的數(shù)據(jù)，利用正則表達(dá)式提取出想要的數(shù)據(jù)，并保存到Excel中，便于后續(xù)數(shù)據(jù)處理和可視化。 

完整爬蟲代碼如下，其中大多數(shù)語句都給出了詳細(xì)注釋，感興趣的讀者可以進(jìn)一步研究。 

# -*- coding: UTF-8 -*- 
""" 
@File    ：spider.py 
@Author  ：葉庭云 
@CSDN    ：https://yetingyun.blog.csdn.net/ 
""" 
import requests 
import re 
import openpyxl 
import logging 
 
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s: %(message)s') 
headers = { 
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1" 
} 
 
wb = openpyxl.Workbook()    # 創(chuàng)建工作簿對象 
sheet = wb.active           # 獲取活動的工作表 
# 編程語言   時間    熱度 
sheet.append(['Programing', 'Date', 'data_per']) 
 
url = 'https://www.tiobe.com/tiobe-index/' 
rep = requests.get(url, headers=headers).text 
 
# 正則匹配提取數(shù)據(jù) 
data = re.findall('{name : (.*?),data : (.*?)}', rep) 
programing = [eval(k[0]) for k in data]     # 編程語言 
dates = [i[1] for i in data] 
 
# 正則表達(dá)式處理 提取出想要的數(shù)據(jù) 
for x in range(len(dates)): 
    name = programing[x] 
    datas = re.findall(r'\[Date.UTC(.*?)\]', dates[x], re.DOTALL) 
    for m in datas: 
        date1 = re.findall(r'\d+', m)       # 正則提取出數(shù)字 
        date2 = '-'.join(date1[:3])         # 拼接得到時間 
        data_per = '.'.join(date1[-2:])     # 得到熱度數(shù)據(jù) 
        sheet.append([name, date2, data_per]) 
        logging.info([name, date2, data_per]) 
 
wb.save('language_data.xlsx') 

最終運(yùn)行效果如下： 

可以看到成功提取出想要的數(shù)據(jù)，并保存到Excel，在jupyter notebook 環(huán)境中查看數(shù)據(jù)： 

二、 數(shù)據(jù)可視化

本節(jié)使用pyecharts繪制時間輪播圖數(shù)據(jù)可視化，展示現(xiàn)在熱度排 Top10 的編程語言 2009-2019 年每年的平均熱度變化。 

# -*- coding: UTF-8 -*- 
""" 
@File    ：輪播圖.py 
@Author  ：葉庭云 
@CSDN    ：https://yetingyun.blog.csdn.net/ 
""" 
 
import pandas as pd 
import xlrd 
import pyecharts.options as opts 
from pyecharts.charts import Timeline, Bar 
from pyecharts.globals import CurrentConfig 
 
 
CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' 
 
# 提取編程語言名字 
name = list(pd.read_excel('language_data.xlsx')['Programing'].drop_duplicates()) 
 
data = xlrd.open_workbook('language_data.xlsx') 
table = data.sheets()[0] 
 
dic1 = {k: [] for k in name} 
# 各編程語言對應(yīng)每年里不同時間的熱度 
for i in range(1, table.nrows): 
 x = table.row_values(i) 
 dic1[x[0]].append((x[1], x[2])) 
 
# 與編程語言順序?qū)?yīng)  每年編程語言對應(yīng)的不同時間的熱度 
data_per = {k: [[] for x in range(10)] for k in range(2001, 2021)} 
print(data_per) 
 
count = 0 
for k, v in dic1.items(): 
 for j in v:   # v (時間，熱度)  熱度數(shù)據(jù)添加進(jìn)各年對應(yīng)的列表里 
  data_per[int(j[0][:4])][count].append(eval(j[1]))  # 一年里各編程語言不同時間時的熱度  對應(yīng)起來 
 count += 1 
 
# print(data_per) 
data_per1 = {k: [] for k in list(data_per.keys())} 
 
for k, v in list(data_per.items()): 
 for x in v: 
  if len(x) == 0:                  # 這一年里該語言沒有熱度數(shù)據(jù) 
   data_per1[k].append(0) 
  else: 
   avg = sum(x) / len(x) 
   data_per1[k].append(avg)     # 這一年里的平均熱度 
 
# 得到TOBIE現(xiàn)在排Top20的編程語言從2001年開始每年的平均熱度 
print(data_per1) 
 
 
def get_year_overlap_chart(year) -> Bar: 
 sum_info = [(m, n) for m, n in zip(name, data_per1[year])] 
 # 編程語言按每年平均熱度排序 
 sum_info.sort(key=lambda z: z[1], reverse=True) 
 name_ = [m[0] for m in sum_info] 
 datas = [m[1] for m in sum_info] 
 # 每根柱子的顏色列表 
 colors = ['#00BFFF', '#0000CD', '#000000', '#008000', '#FF1493', '#FFD700', '#FF4500', '#00FA9A', '#191970', 
     '#9932CC'] 
 x = [] 
 for i in range(10): 
  x.append( 
   opts.BarItem( 
    name=name_[i], 
    value=datas[i], 
    itemstyle_opts=opts.ItemStyleOpts(color=colors[i])   # 設(shè)置每根柱子的顏色 
   ) 
  ) 
 # 繪制柱形圖 
 bar = Bar() 
 bar.add_xaxis(name_) 
 bar.add_yaxis(series_name='熱度', yaxis_data=x, is_selected=True, 
                  label_opts=opts.LabelOpts(is_show=False)) 
 bar.set_global_opts(title_opts=opts.TitleOpts( 
      title="2009-2019編程語言熱度"), 
      tooltip_opts=opts.TooltipOpts( 
      is_show=True, trigger="axis", axis_pointer_type="shadow"), 
                  xaxis_opts=opts.AxisOpts(name='編程語言'), yaxis_opts=opts.AxisOpts(name='熱度'), 
 ) 
 return bar 
 
# 生成時間軸的圖 
timeline = Timeline(init_opts=opts.InitOpts(width="1200px", height="600px")) 
for y in range(2009, 2020): 
 timeline.add(get_year_overlap_chart(y), time_point=str(y)) 
 
timeline.add_schema(is_auto_play=True, play_interval=1000) 
timeline.render("language_2009_2019.html") 

運(yùn)行效果如下，可以看到雖然Python越來越火熱，但Java穩(wěn)坐編程語言熱度排行榜第一!(此處一位PHP程序員拍桌)

三、補(bǔ)充

本節(jié)對有時候pyecharts繪制的圖形渲染在網(wǎng)頁上無法加載js文件的問題進(jìn)行說明。

根據(jù)網(wǎng)站資源引用說明：pyecharts 使用的所有靜態(tài)資源文件存放于pyecharts-assets項(xiàng)目中

默認(rèn)掛載在 https://assets.pyecharts.org/assets/，因?yàn)槟J(rèn)優(yōu)先從遠(yuǎn)程引用資源，這就導(dǎo)致有的時候無法加載 js 文件，圖表顯示不出來。

解決辦法：下載所需 js 文件到本地，修改資源引用地址，Github地址：https://github.com/pyecharts/pyecharts-assets看網(wǎng)站的介紹，pyecharts 提供了更改全局 HOST 的快捷方式。 

from pyecharts.globals import CurrentConfig 
 
CurrentConfig.ONLINE_HOST = 'D:/python/pyecharts-assets-master/assets/' # 本地保存 js 資源的路徑