使用GitHub和Python實(shí)現(xiàn)持續(xù)部署
借助 GitHub 的網(wǎng)絡(luò)鉤子,開(kāi)發(fā)者可以創(chuàng)建很多有用的服務(wù)。從觸發(fā)一個(gè) Jenkins 實(shí)例上的 CI(持續(xù)集成) 任務(wù)到配置云中的機(jī)器,幾乎有著***的可能性。這篇教程將展示如何使用 Python 和 Flask 框架來(lái)搭建一個(gè)簡(jiǎn)單的持續(xù)部署(CD)服務(wù)。
在這個(gè)例子中的持續(xù)部署服務(wù)是一個(gè)簡(jiǎn)單的 Flask 應(yīng)用,其帶有接受 GitHub 的網(wǎng)絡(luò)鉤子請(qǐng)求的 REST 端點(diǎn)。在驗(yàn)證每個(gè)請(qǐng)求都來(lái)自正確的 GitHub 倉(cāng)庫(kù)后,服務(wù)器將拉取更改到倉(cāng)庫(kù)的本地副本。這樣每次一個(gè)新的提交推送到遠(yuǎn)程 GitHub 倉(cāng)庫(kù),本地倉(cāng)庫(kù)就會(huì)自動(dòng)更新。
Flask web 服務(wù)
用 Flask 搭建一個(gè)小的 web 服務(wù)非常簡(jiǎn)單。這里可以先看看項(xiàng)目的結(jié)構(gòu)。
├── app
│ ├── __init__.py
│ └── webhooks.py
├── requirements.txt
└── wsgi.py
首先,創(chuàng)建應(yīng)用。應(yīng)用代碼在 app
目錄下。
兩個(gè)文件(__init__.py
和 webhooks.py
)構(gòu)成了 Flask 應(yīng)用。前者包含有創(chuàng)建 Flask 應(yīng)用并為其添加配置的代碼。后者有端點(diǎn)邏輯。這是該應(yīng)用接收 GitHub 請(qǐng)求數(shù)據(jù)的地方。
這里是 app/__init__.py
的內(nèi)容:
import os
from flask import Flask
from .webhooks import webhook
def create_app():
""" Create, configure and return the Flask application """
app = Flask(__name__)
app.config['GITHUB_SECRET'] = os.environ.get('GITHUB_SECRET')
app.config['REPO_PATH'] = os.environ.get('REPO_PATH')
app.register_blueprint(webhook)
return(app)
該函數(shù)創(chuàng)建了兩個(gè)配置變量:
GITHUB_SECRET
保存一個(gè)密碼,用來(lái)認(rèn)證 GitHub 請(qǐng)求。REPO_PATH
保存了自動(dòng)更新的倉(cāng)庫(kù)路徑。
這份代碼使用Flask 藍(lán)圖來(lái)組織應(yīng)用的端點(diǎn)。使用藍(lán)圖可以對(duì) API 進(jìn)行邏輯分組,使應(yīng)用程序更易于維護(hù)。通常認(rèn)為這是一種好的做法。
這里是 app/webhooks.py
的內(nèi)容:
import hmac
from flask import request, Blueprint, jsonify, current_app
from git import Repo
webhook = Blueprint('webhook', __name__, url_prefix='')
@webhook.route('/github', methods=['POST'])
def handle_github_hook():
""" Entry point for github webhook """
signature = request.headers.get('X-Hub-Signature')
sha, signature = signature.split('=')
secret = str.encode(current_app.config.get('GITHUB_SECRET'))
hashhex = hmac.new(secret, request.data, digestmod='sha1').hexdigest()
if hmac.compare_digest(hashhex, signature):
repo = Repo(current_app.config.get('REPO_PATH'))
origin = repo.remotes.origin
origin.pull('--rebase')
commit = request.json['after'][0:6]
print('Repository updated with commit {}'.format(commit))
return jsonify({}), 200
首先代碼創(chuàng)建了一個(gè)新的藍(lán)圖 webhook
。然后它使用 Flask route
為藍(lán)圖添加了一個(gè)端點(diǎn)。任何請(qǐng)求 /GitHub
URL 端點(diǎn)的 POST 請(qǐng)求都將調(diào)用這個(gè)路由。
驗(yàn)證請(qǐng)求
當(dāng)服務(wù)在該端點(diǎn)上接到請(qǐng)求時(shí),首先它必須驗(yàn)證該請(qǐng)求是否來(lái)自 GitHub 以及來(lái)自正確的倉(cāng)庫(kù)。GitHub 在請(qǐng)求頭的 X-Hub-Signature
中提供了一個(gè)簽名。該簽名由一個(gè)密碼(GITHUB_SECRET
),請(qǐng)求體的 HMAC 十六進(jìn)制摘要,并使用 sha1
哈希生成。
為了驗(yàn)證請(qǐng)求,服務(wù)需要在本地計(jì)算簽名并與請(qǐng)求頭中收到的簽名做比較。這可以由 hmac.compare_digest
函數(shù)完成。
自定義鉤子邏輯
在驗(yàn)證請(qǐng)求后,現(xiàn)在就可以處理了。這篇教程使用 GitPython 模塊來(lái)與 git 倉(cāng)庫(kù)進(jìn)行交互。GitPython 模塊中的 Repo
對(duì)象用于訪問(wèn)遠(yuǎn)程倉(cāng)庫(kù) origin
。該服務(wù)在本地拉取 origin
倉(cāng)庫(kù)的***更改,還用 --rebase
選項(xiàng)來(lái)避免合并的問(wèn)題。
調(diào)試打印語(yǔ)句顯示了從請(qǐng)求體收到的短提交哈希。這個(gè)例子展示了如何使用請(qǐng)求體。更多關(guān)于請(qǐng)求體的可用數(shù)據(jù)的信息,請(qǐng)查詢(xún) GitHub 文檔。
***該服務(wù)返回了一個(gè)空的 JSON 字符串和 200 的狀態(tài)碼。這用于告訴 GitHub 的網(wǎng)絡(luò)鉤子服務(wù)已經(jīng)收到了請(qǐng)求。
部署服務(wù)
為了運(yùn)行該服務(wù),這個(gè)例子使用 gunicorn web 服務(wù)器。首先安裝服務(wù)依賴(lài)。在支持的 Fedora 服務(wù)器上,以 sudo 運(yùn)行這條命令:
sudo dnf install python3-gunicorn python3-flask python3-GitPython
現(xiàn)在編輯 gunicorn 使用的 wsgi.py
文件來(lái)運(yùn)行該服務(wù):
from app import create_app
application = create_app()
為了部署服務(wù),使用以下命令克隆這個(gè) git 倉(cāng)庫(kù)或者使用你自己的 git 倉(cāng)庫(kù):
git clone https://github.com/cverna/github_hook_deployment.git /opt/
下一步是配置服務(wù)所需的環(huán)境變量。運(yùn)行這些命令:
export GITHUB_SECRET=asecretpassphraseusebygithubwebhook
export REPO_PATH=/opt/github_hook_deployment/
這篇教程使用網(wǎng)絡(luò)鉤子服務(wù)的 GitHub 倉(cāng)庫(kù),但你可以使用你想要的不同倉(cāng)庫(kù)。***,使用這些命令開(kāi)啟該 web 服務(wù):
cd /opt/github_hook_deployment/
gunicorn --bind 0.0.0.0 wsgi:application --reload
這些選項(xiàng)中綁定了 web 服務(wù)的 IP 地址為 0.0.0.0
,意味著它將接收來(lái)自任何的主機(jī)的請(qǐng)求。選項(xiàng) --reload
確保了當(dāng)代碼更改時(shí)重啟 web 服務(wù)。這就是持續(xù)部署的魔力所在。每次接收到 GitHub 請(qǐng)求時(shí)將拉取倉(cāng)庫(kù)的最近更新,同時(shí) gunicore 檢測(cè)這些更改并且自動(dòng)重啟服務(wù)。
*注意: *為了能接收到 GitHub 請(qǐng)求,web 服務(wù)必須部署到具有公有 IP 地址的服務(wù)器上。做到這點(diǎn)的簡(jiǎn)單方法就是使用你最喜歡的云提供商比如 DigitalOcean,AWS,Linode等。
配置 GitHub
這篇教程的***一部分是配置 GitHub 來(lái)發(fā)送網(wǎng)絡(luò)鉤子請(qǐng)求到 web 服務(wù)上。這是持續(xù)部署的關(guān)鍵。
從你的 GitHub 倉(cāng)庫(kù)的設(shè)置中,選擇 Webhook 菜單,并且點(diǎn)擊“Add Webhook”。輸入以下信息:
- “Payload URL”: 服務(wù)的 URL,比如
<http://public_ip_address:8000/github>
- “Content type”: 選擇 “application/json”
- “Secret”: 前面定義的
GITHUB_SECRET
環(huán)境變量
然后點(diǎn)擊“Add Webhook” 按鈕。
現(xiàn)在每當(dāng)該倉(cāng)庫(kù)發(fā)生推送事件時(shí),GitHub 將向服務(wù)發(fā)送請(qǐng)求。
總結(jié)
這篇教程向你展示了如何寫(xiě)一個(gè)基于 Flask 的用于接收 GitHub 的網(wǎng)絡(luò)鉤子請(qǐng)求,并實(shí)現(xiàn)持續(xù)集成的 web 服務(wù)?,F(xiàn)在你應(yīng)該能以本教程作為起點(diǎn)來(lái)搭建對(duì)自己有用的服務(wù)。