前言

在目前浮躁的互聯(lián)網(wǎng)環(huán)境下，做一件好事不難，難的是連續(xù)8年做一件有意義的事。

在微博上有這樣一位博主，從2012年7月7日開始，截至到2020年9月2日，@抗戰(zhàn)直播 以圖文形式，記錄了從1937年7月7日至1945年8月15日中華民族全面抗戰(zhàn)的這段歷史。2980 天，從未間斷，平均每天 12 條，累計 35214 篇。

2020年9月18日7時零7分，沉寂了半個月的 @抗戰(zhàn)直播 恢復(fù)更新，他們將繼續(xù)以圖文的形式記錄1931年9月18日至1937年7月7日這六年的抗戰(zhàn)歷史。

下一個 6 年，他們已經(jīng)在路上。

歷史是不能被遺忘的。

作為程序員的我，在歷史面前，我能做點什么?

除了敬佩 @抗戰(zhàn)直播 這么多年來的堅持，我更想做一點自己力所能及且有意義的事情。

在得到博主 @抗戰(zhàn)直播 的允許與支持后，于是就有了這個項目的誕生。

War Of Resistance Live

├── .github/workflows # 工作流配置文件 
├── resources # 微博數(shù)據(jù) 
├── site # 博客源碼 
└── spider # 微博爬蟲 

WarOfResistanceLive 是一個主要由 Python 爬蟲 + Hexo 博客 + Github Actions持續(xù)集成服務(wù)組成的開源項目，開源在 GitHub 上，并且部署于 Github Pages。目前包含以下功能：

• 每日定時自動同步更新數(shù)據(jù)
• 查看博主目前所有的微博數(shù)據(jù)
• 支持RSS訂閱功能
• 基于Github Actions的持續(xù)集成服務(wù)
• ...

接下來，我將簡單的給大家介紹該項目的一些核心邏輯與實現(xiàn)。

Python 爬蟲

該項目使用的爬蟲是基于 weibo-crawler 項目的簡化及修改實現(xiàn)(僅供研究使用)，感謝作者 dataabc。

實現(xiàn)原理

• 通過訪問手機版的微博繞過其登錄驗證，可查看某個博主的大部分微博數(shù)據(jù)，如：https://m.weibo.cn/u/2896390104
• 通過開發(fā)者工具查看得知，通過 json 接口 https://m.weibo.cn/api/container/getIndex 即可獲取微博數(shù)據(jù)列表：

def get_json(self, params): 
    """獲取網(wǎng)頁中json數(shù)據(jù)""" 
    url = 'https://m.weibo.cn/api/container/getIndex?' 
    r = requests.get(url, 
                     params=params, 
                     headers=self.headers, 
                     verify=False) 
    return r.json() 

如何使用

安裝依賴：

pip3 install -r requirements.txt 

使用：

python weibo.py 

注意事項

• 速度過快容易被系統(tǒng)限制：可通過加入隨機等待邏輯，可降低被系統(tǒng)限制的風(fēng)險;
• 無法獲取全部微博數(shù)據(jù)：可通過添加 cookie 邏輯獲取全部數(shù)據(jù);

更多內(nèi)容可查看 weibo-crawler。

Hexo

經(jīng)過了一番的抉擇，最終選擇 Hexo + Next 主題作為本項目的博客框架。

Hexo 是一款基于 Node.js 的靜態(tài)博客框架，依賴少易于安裝使用，可以方便的生成靜態(tài)網(wǎng)頁托管在 GitHub Pages 上，還有豐富的主題可供挑選。關(guān)于如何安裝使用 Hexo 可詳細(xì)查看官方文檔：https://hexo.io/zh-cn/docs/。

那么，如何實現(xiàn) RSS 訂閱功能呢?

得益于 Hexo 豐富的插件功能，hexo-generator-feed 可以很方便的幫我們實現(xiàn)。

首先，在博客根目錄下安裝該插件：

$ npm install hexo-generator-feed --save 

接著，在博客根目錄下的 _config.yml 文件中添加相關(guān)配置:

feed: 
  enable: true # 是否啟用插件 
  type: atom # Feed的類型，支持 atom 和 rss2，默認(rèn) atom 
  path: atom.xml # 生成文件的路徑 
  limit: 30 # 生成最大文章數(shù)，如果為 0 或 false 則生成所有的文章 
  content: true # 如果為 true 則展示文章所有內(nèi)容 
  content_limit: # 文章展示的內(nèi)容長度，僅當(dāng) content 為 false 有效 
  order_by: -date # 按照日期排序 
  template: # 自定義模板路徑 

最后，在主題根目錄下的 _config.yml 文件中添加 RSS 訂閱入口：

menu: 
  RSS: /atom.xml || fa fa-rss # atom.xml文件路徑地址和圖標(biāo)設(shè)置 

這樣，我們就可以為自己的博客添加 RSS 訂閱功能。

Github Actions 持續(xù)集成

Github Actions 是由 Github 于 2018年10月 推出的持續(xù)集成服務(wù)，在此之前，我們可能更多的使用 Travis CI 來實現(xiàn)持續(xù)集成服務(wù)。以我個人的感覺來看，Github Actions 功能非常強大，比 Travis CI 的可玩性更高，Github Actions 擁有豐富的 action 市場，將這些 action 組合起來，我們就可以很簡單的完成很多很有趣的事情。

我們先來看看Github Actions 的一些基本概念：

• workflow：工作流程。即持續(xù)集成一次運行的過程。該文件存放于倉庫的 .github/workflows 目錄中，可包含多個;
• job：任務(wù)。一個 workflow 可包含一個或多個 jobs，即代表一次集成的運行，可完成一個或多個任務(wù);
• step：步驟。一個 job 由多個 step 組成，即代表完成一個任務(wù)需要哪些步驟;
• action：動作。每個 step 里面可包含一個或多個 action，即代表一個步驟內(nèi)，可執(zhí)行多個 action 動作。

了解了 Github Actions 的這些基本概念后，我們來看看 WarOfResistanceLive 的持續(xù)集成服務(wù)是怎樣實現(xiàn)的，以下是本項目使用的 workflow 完整實現(xiàn)：

# workflow 的名稱 
name: Spider Bot 
 
# 設(shè)置時區(qū) 
env: 
  TZ: Asia/Shanghai 
 
# 設(shè)置工作流觸發(fā)方式. 
on: 
  # 定時觸發(fā)，在 8:00-24:00 間每隔 2 小時更新一次(https://crontab.guru) 
  # 由于 cron 設(shè)定的時間為 UTC 時間，所以 +8 即為北京時間 
  schedule: 
    - cron: "0 0-16/2 * * *" 
 
  # 允許手動觸發(fā) Actions 
  workflow_dispatch: 
 
jobs: 
  build: 
    # 使用 ubuntu-latest 作為運行環(huán)境 
    runs-on: ubuntu-latest 
 
    # 將要執(zhí)行的任務(wù)序列 
    steps: 
      # 檢出倉庫 
      - name: Checkout Repository 
        uses: actions/checkout@v2 

workflow 文件的配置字段非常多，配置文件中也給出了詳細(xì)的注釋。接下來，我們主要看下以下幾個比較重要的配置：

工作流的觸發(fā)方式

# 設(shè)置工作流觸發(fā)方式. 
on: 
  # 定時觸發(fā)，在 8:00-24:00 間每隔 2 小時更新一次(https://crontab.guru) 
  # 由于 cron 設(shè)定的時間為 UTC 時間，所以 +8 即為北京時間 
  schedule: 
    - cron: "0 0-16/2 * * *" 
 
  # 允許手動觸發(fā)工作流程 
  workflow_dispatch: 

我們可以使用 on 工作流程語法配置工作流程為一個或多個事件運行。支持自動與手動兩種方式觸發(fā)。schedule 事件允許我們在計劃的時間觸發(fā)工作流程，我們可以使用 POSIX cron 語法 來安排工作流程在特定的時間運行。

計劃任務(wù)語法有五個字段，中間用空格分隔，每個字段代表一個時間單位：

┌───────────── minute (0 - 59) 
│ ┌───────────── hour (0 - 23) 
│ │ ┌───────────── day of the month (1 - 31) 
│ │ │ ┌───────────── month (1 - 12 or JAN-DEC) 
│ │ │ │ ┌───────────── day of the week (0 - 6 or SUN-SAT) 
│ │ │ │ │                                    
│ │ │ │ │ 
│ │ │ │ │ 
* * * * * 

我們可以使用 https://crontab.guru 來生成計劃任務(wù)語法，你也可以查看更多的 crontab guru 示例。

另外，我們還可以通過配置 workflow_dispatch 和 repository_dispatch字段來實現(xiàn)手動觸發(fā)工作流程。

on 字段也可以配置為 push，即倉庫有 push 操作時則觸發(fā)工作流的執(zhí)行，詳細(xì)的觸發(fā)工作流配置可以查看 配置工作流程事件。

步驟序列

從配置文件中我們可以看到，該項目的一次持續(xù)集成的運行包含了以下步驟：

檢出倉庫 --> 設(shè)置 Python 環(huán)境 --> 緩存 pip 依賴 --> 安裝 pip 依賴 --> 運行爬蟲腳本 --> 獲取當(dāng)前時間 --> 提交修改 --> 推送遠端 --> 設(shè)置 Node.js 環(huán)境 --> 緩存 NPM 依賴 --> 安裝 NPM 依賴 --> 構(gòu)建 Hexo --> 發(fā)布 Github Pages

本項目的 workflow 主要有以下幾個要點：

• 運行環(huán)境：整個工作流運行在虛擬環(huán)境 ubuntu-latest。還可以指定其他虛擬環(huán)境，如 Windows Server、macOS 等;
• 緩存依賴：通過對依賴的緩存，可提升安裝相關(guān)依賴的速度。具體使用可查看：緩存依賴項以加快工作流程;
• 獲取當(dāng)前時間：后續(xù)提交修改步驟中的 commit message 中使用到了該步驟中獲取到當(dāng)前時間，這里就使用到了 step 上下文 的相關(guān)概念，我們可以為 step 指定一個 id，后續(xù) step 中我們就可以通過 steps..outputs 來獲取已經(jīng)運行的步驟相關(guān)信息;
• 構(gòu)建 Hexo：即執(zhí)行 hexo generate 命令生成靜態(tài)網(wǎng)頁;
• 工作流程中的身份驗證：提交推送及發(fā)布步驟需要進行身份驗證。GitHub 提供一個令牌，可用于代表 GitHub Actions 進行身份驗證。我們所需要做的就是創(chuàng)建一個命名為 GITHUB_TOKEN 的令牌。具體步驟如下：Settings --> Developer settings --> Personal access tokens --> Generate new token，命名為 GITHUB_TOKEN ，并勾選中你所需要的的權(quán)限，然后就可以在 step 中通過使用 ${{ secrets.GITHUB_TOKEN }} 進行身份驗證。

更多 Action 可在 Github 官方市場 查看。

結(jié)語

最后，引用博主 @抗戰(zhàn)直播 的一段話：

“我們直播抗戰(zhàn)，并非為了鼓動仇恨等負(fù)面的情緒，而是想適度喚起遺忘，當(dāng)我們時刻牢記祖輩們蒙受的苦難、恐懼和屈辱時;當(dāng)我們體味祖輩們是如何在國家民族危亡之際拋棄前嫌，實現(xiàn)民族和解時，當(dāng)我們目睹著祖輩們是如何從容慷慨的走向死亡，以身體為這個國家獻祭之時，相信我們對于現(xiàn)實將有更加成熟和理性的思考。”

銘記歷史，砥礪奮進。

勿忘國恥，吾輩自強。