如何建立一個(gè)完美的 Python 項(xiàng)目
當(dāng)開(kāi)始一個(gè)新的 Python 項(xiàng)目時(shí),大家很容易一頭扎進(jìn)去就開(kāi)始編碼。其實(shí)花一點(diǎn)時(shí)間選擇優(yōu)秀的庫(kù),將為以后的開(kāi)發(fā)節(jié)省大量時(shí)間,并帶來(lái)更快樂(lè)的編碼體驗(yàn)。
在理想世界中,所有開(kāi)發(fā)人員的關(guān)系是相互依賴(lài)和關(guān)聯(lián)的(協(xié)作開(kāi)發(fā)),代碼要有完美的格式、沒(méi)有低級(jí)的錯(cuò)誤、并且測(cè)試覆蓋了所有代碼。另外,所有這些將在每次提交時(shí)都可以得到保證。(代碼風(fēng)格統(tǒng)一、類(lèi)型檢測(cè)、測(cè)試覆蓋率高、自動(dòng)檢測(cè))
在本文中,我將介紹如何建立一個(gè)可以做到這些點(diǎn)的項(xiàng)目。您可以按照步驟操作,也可以直接跳到 使用 cookiecutter 生成項(xiàng)目 部分(老手)。
首先,讓我們創(chuàng)建一個(gè)新的項(xiàng)目目錄:
- mkdir best_practices
- cd best_practices
pipx 安裝 Python 三方庫(kù)的命令行工具
Pipx [2] 是一個(gè)可用于快速安裝 Python 三方庫(kù)的命令行工具。我們將使用它來(lái)安裝 pipenv 和 cookiecutter。通過(guò)下面的命令安裝 pipx:
- python3 -m pip install --user pipx
- python3 -m pipx ensurepath
使用 pipenv 進(jìn)行依賴(lài)管理
Pipenv [3] 為您的項(xiàng)目自動(dòng)創(chuàng)建和管理 virtualenv(虛擬環(huán)境),并在安裝/卸載軟件包時(shí)從 Pipfile 添加/刪除軟件包。它還會(huì)生成非常重要的 Pipfile.lock 用于保證依賴(lài)的可靠性。
當(dāng)你知道,你和你的隊(duì)友正在使用相同的庫(kù)版本時(shí),這將會(huì)極大地提高編程的信心和樂(lè)趣。Pipenv 很好地解決了使用相同的庫(kù),版本不同的這一問(wèn)題,Pipenv 在過(guò)去的一段時(shí)間里獲得了廣泛的關(guān)注和認(rèn)可,你可以放心使用。安裝命令如下:
- pipx install pipenv
使用 black 和 isort 進(jìn)行代碼格式化
black [4] 可以格式化我們的代碼:
Black 是毫不妥協(xié)的 Python 代碼格式化庫(kù)。通過(guò)使用它,你將放棄手動(dòng)調(diào)整代碼格式的細(xì)節(jié)。作為回報(bào),Black 可以帶來(lái)速度、確定性和避免調(diào)整 Python 代碼風(fēng)格的煩惱,從而有更多的精力和時(shí)間放在更重要的事情上。
無(wú)論你正在閱讀什么樣的項(xiàng)目,用 black 格式化過(guò)的代碼看起來(lái)都差不多。一段時(shí)間后格式不再是問(wèn)題,這樣你就可以更專(zhuān)注于內(nèi)容。
black 通過(guò)減少代碼的差異性,使代碼檢查更快。
而 isort [5] 是對(duì)我們的 imports 部分進(jìn)行排序:
isort 為您導(dǎo)入的 Python 包部分(imports)進(jìn)行排序,因此你不必再對(duì) imports 進(jìn)行手動(dòng)排序。它可以按字母順序?qū)?dǎo)入進(jìn)行排序,并自動(dòng)將其拆分成多個(gè)部分。
使用 pipenv 安裝它,以便它們不會(huì)使部署混亂(可以指定只在開(kāi)發(fā)環(huán)境安裝):
- pipenv install black isort --dev
Black 和 isort 并不兼容的默認(rèn)選項(xiàng),因此我們將讓 isort 遵循 black 的原則。創(chuàng)建一個(gè) setup.cfg
文件并添加以下配置:
- [isort]
- multi_line_output=3
- include_trailing_comma=True
- force_grid_wrap=0
- use_parentheses=True
- line_length=88
我們可以使用以下命令運(yùn)行這些工具:
- pipenv run black
- pipenv run isort
使用 flake8 保證代碼風(fēng)格
Flake8 確保代碼遵循 PEP8 中定義的標(biāo)準(zhǔn) Python 代碼規(guī)范。使用 pipenv 安裝:
- pipenv install flake8 --dev
就像 isort 一樣,它需要一些配置才能很好地與 black 配合使用。將這些配置添加到 setup.cfg
:
- [flake8]
- ignore = E203, E266, E501, W503
- max-line-length = 88
- max-complexity = 18
- select = B,C,E,F,W,T4
現(xiàn)在我們可以運(yùn)行 flake8 了,命令: pipenv run flake8
。
使用 mypy 進(jìn)行靜態(tài)類(lèi)型檢查
Mypy [6] 是 Python 的非強(qiáng)制的靜態(tài)類(lèi)型檢查器,旨在結(jié)合動(dòng)態(tài)(或 “鴨子”)類(lèi)型和靜態(tài)類(lèi)型的優(yōu)點(diǎn)。Mypy 將 Python 的表達(dá)能力和便利性與功能強(qiáng)大的類(lèi)型系統(tǒng)的編譯時(shí)類(lèi)型檢查結(jié)合在一起,使用任何 Python VM 運(yùn)行它們,基本上沒(méi)有運(yùn)行時(shí)開(kāi)銷(xiāo)。
在 Python 中使用類(lèi)型需要一點(diǎn)時(shí)間來(lái)適應(yīng),但是好處卻是巨大的。如下:
-
靜態(tài)類(lèi)型可以使程序更易于理解和維護(hù)
-
靜態(tài)類(lèi)型可以幫助您更早地發(fā)現(xiàn)錯(cuò)誤,并減少測(cè)試和調(diào)試的時(shí)間
-
靜態(tài)類(lèi)型可以幫助您在代碼投入生產(chǎn)之前發(fā)現(xiàn)難以發(fā)現(xiàn)的錯(cuò)誤
- pipenv install mypy --dev
默認(rèn)情況下,Mypy 將遞歸檢查所有導(dǎo)入包的類(lèi)型注釋?zhuān)?dāng)庫(kù)不包含這些注釋時(shí),就會(huì)報(bào)錯(cuò)。我們需要將 mypy 配置為僅在我們的代碼上運(yùn)行,并忽略沒(méi)有類(lèi)型注釋的導(dǎo)入錯(cuò)誤。我們假設(shè)我們的代碼位于以下配置的 best_practices
包中。將此添加到 setup.cfg
:
- [mypy]
- files=best_practices,test
- ignore_missing_imports=true
現(xiàn)在我們可以運(yùn)行 mypy 了:
- pipenv run mypy
這是一個(gè)有用的 備忘單 [7] 。
用 pytest 和 pytest-cov 進(jìn)行測(cè)試
使用 pytest [8] 編寫(xiě)測(cè)試非常容易,消除編寫(xiě)測(cè)試的阻力意味著可以快速的編寫(xiě)更多的測(cè)試!
- pipenv install pytest pytest-cov --dev
這是 pytest 網(wǎng)站上的一個(gè)簡(jiǎn)單示例:
- # content of test_sample.py
- def inc(x):
- return x + 1
- def test_answer():
- assert inc(3) == 5
要執(zhí)行它:
- $ pipenv run pytest
- =========================== test session starts ============================
- platform linux -- Python 3.x.y, pytest-5.x.y, py-1.x.y, pluggy-0.x.y
- cachedir: $PYTHON_PREFIX/.pytest_cache
- rootdir: $REGENDOC_TMPDIR
- collected 1 item
- test_sample.py F [100%]
- ================================= FAILURES =================================
- _______________________________ test_answer ________________________________
- def test_answer():
- > assert inc(3) == 5
- E assert 4 == 5
- E + where 4 = inc(3)
- test_sample.py:6: AssertionError
- ========================= 1 failed in 0.12 seconds =========================
我們所有的測(cè)試代碼都放在 test
目錄中,因此請(qǐng)將此目錄添加到 setup.cfg
:
- [tool:pytest]
- testpaths=test
如果還想查看測(cè)試覆蓋率。創(chuàng)建一個(gè)新文件 .coveragerc
,指定只返回我們的項(xiàng)目代碼的覆蓋率統(tǒng)計(jì)信息。比如示例的 best_practices
項(xiàng)目,設(shè)置如下:
- [run]
- source = best_practices
- [report]
- exclude_lines =
- # Have to re-enable the standard pragma
- pragma: no cover
- # Don't complain about missing debug-only code:
- def __repr__
- if self\.debug
- # Don't complain if tests don't hit defensive assertion code:
- raise AssertionError
- raise NotImplementedError
- # Don't complain if non-runnable code isn't run:
- if 0:
- if __name__ == .__main__.:
現(xiàn)在,我們就可以運(yùn)行測(cè)試并查看覆蓋率了。
- pipenv run pytest --cov --cov-fail-under=100
--cov-fail-under=100
是設(shè)定項(xiàng)目的測(cè)試覆蓋率如果小于 100% 那將認(rèn)定為失敗。
pre-commit 的 Git hooks
Git hooks 可讓您在想要提交或推送時(shí)隨時(shí)運(yùn)行腳本。這使我們能夠在每次提交/推送時(shí),自動(dòng)運(yùn)行所有檢測(cè)和測(cè)試。 pre-commit [9] 可輕松配置這些 hooks。
Git hook 腳本對(duì)于在提交代碼審查之前,識(shí)別簡(jiǎn)單問(wèn)題很有用。我們?cè)诿看翁峤粫r(shí)都將運(yùn)行 hooks,以自動(dòng)指出代碼中的問(wèn)題,例如缺少分號(hào)、尾隨空白和調(diào)試語(yǔ)句。通過(guò)在 code review 之前指出這些問(wèn)題,代碼審查者可以專(zhuān)注于變更的代碼內(nèi)容,而不會(huì)浪費(fèi)時(shí)間處理這些瑣碎的樣式問(wèn)題。
在這里,我們將上述所有工具配置為在提交 Python 代碼改動(dòng)時(shí)執(zhí)行(git commit),然后僅在推送時(shí)運(yùn)行 pytest coverage(因?yàn)闇y(cè)試要在最后一步)。創(chuàng)建一個(gè)新文件 .pre-commit-config.yaml
,配置如下:
- repos:
- - repo: local
- hooks:
- - id: isort
- name: isort
- stages: [commit]
- language: system
- entry: pipenv run isort
- types: [python]
- - id: black
- name: black
- stages: [commit]
- language: system
- entry: pipenv run black
- types: [python]
- - id: flake8
- name: flake8
- stages: [commit]
- language: system
- entry: pipenv run flake8
- types: [python]
- exclude: setup.py
- - id: mypy
- name: mypy
- stages: [commit]
- language: system
- entry: pipenv run mypy
- types: [python]
- pass_filenames: false
- - id: pytest
- name: pytest
- stages: [commit]
- language: system
- entry: pipenv run pytest
- types: [python]
- - id: pytest-cov
- name: pytest
- stages: [push]
- language: system
- entry: pipenv run pytest --cov --cov-fail-under=100
- types: [python]
- pass_filenames: false
如果需要跳過(guò)這些 hooks,可以運(yùn)行 git commit --no-verify
或 git push --no-verify
使用 cookiecutter 生成項(xiàng)目
現(xiàn)在,我們已經(jīng)知道了理想項(xiàng)目中包含了什么,我們可以將其轉(zhuǎn)換為 模板 [10] 從而可以使用單個(gè)命令生成一個(gè)包含這些庫(kù)和配置的新項(xiàng)目:
- pipx run cookiecutter gh:sourcery-ai/python-best-practices-cookiecutter
填寫(xiě)項(xiàng)目名稱(chēng)和倉(cāng)庫(kù)名稱(chēng),將為您生成新的項(xiàng)目。
要完成設(shè)置,請(qǐng)執(zhí)行下列步驟:
- # Enter project directory
- cd <repo_name>
- # Initialise git repo
- git init
- # Install dependencies
- pipenv install --dev
- # Setup pre-commit and pre-push hooks
- pipenv run pre-commit install -t pre-commit
- pipenv run pre-commit install -t pre-push
模板項(xiàng)目包含一個(gè)非常簡(jiǎn)單的 Python 文件和測(cè)試,可以試用上面這些工具。在編寫(xiě)完代碼覺(jué)得沒(méi)問(wèn)題后,就可以執(zhí)行第一次 git commit
,所有的 hooks 都將運(yùn)行。
集成到編輯器
雖然在提交時(shí)知道項(xiàng)目的代碼始終保持最高水準(zhǔn)是件令人興奮的事情。但如果在代碼已全部修改完成之后(提交時(shí)),再發(fā)現(xiàn)有問(wèn)題還是會(huì)讓人很不爽。所以,實(shí)時(shí)暴露出問(wèn)題要好得多。
在保存文件時(shí),花一些時(shí)間確保代碼編輯器運(yùn)行這些命令。有及時(shí)的反饋,這意味著你可以在代碼還有印象的時(shí)候能迅速解決引入的任何小問(wèn)題。
我個(gè)人使用一些出色的 Vim 插件來(lái)完成此任務(wù):
-
ale [11] 實(shí)時(shí)運(yùn)行 flake8 并在保存文件時(shí)運(yùn)行 black、isort 和 mypy
-
與 projectionist 集成的 [12] vim-test [13] 在文件保存上運(yùn)行 pytest