使用Cython為Python編寫更快的C擴(kuò)展
在我們這個(gè)包含了 7 個(gè) PyPI 庫(kù)的系列文章中學(xué)習(xí)解決常見(jiàn)的 Python 問(wèn)題的方法。
Python 是當(dāng)今使用最多的流行編程語(yǔ)言之一,因?yàn)椋核情_源的,它有廣泛的用途(例如 Web 編程、業(yè)務(wù)應(yīng)用、游戲、科學(xué)編程等等),它有一個(gè)充滿活力和專注的社區(qū)支持它。這個(gè)社區(qū)可以讓我們?cè)?Python Package Index(PyPI)中有如此龐大、多樣化的軟件包,用以擴(kuò)展和改進(jìn) Python 并解決不可避免的問(wèn)題。
在本系列中,我們將介紹七個(gè)可以幫助你解決常見(jiàn) Python 問(wèn)題的 PyPI 庫(kù)。首先是 Cython,一個(gè)簡(jiǎn)化 Python 編寫 C 擴(kuò)展的語(yǔ)言。
Cython
使用 Python 很有趣,但有時(shí),用它編寫的程序可能很慢。所有的運(yùn)行時(shí)動(dòng)態(tài)調(diào)度會(huì)帶來(lái)很大的代價(jià):有時(shí)它比用 C 或 Rust 等系統(tǒng)語(yǔ)言編寫的等效代碼慢 10 倍。
將代碼遷移到一種全新的語(yǔ)言可能會(huì)在成本和可靠性方面付出巨大代價(jià):所有的手工重寫工作都將不可避免地引入錯(cuò)誤。我們可以兩者兼得么?
為了練習(xí)一下優(yōu)化,我們需要一些慢代碼。有什么比斐波那契數(shù)列的意外指數(shù)實(shí)現(xiàn)更慢?
def fib(n):
if n < 2:
return 1
return fib(n-1) + fib(n-2)
由于對(duì) fib
的調(diào)用會(huì)導(dǎo)致兩次再次調(diào)用,因此這種效率極低的算法需要很長(zhǎng)時(shí)間才能執(zhí)行。例如,在我的新筆記本電腦上,fib(36)
需要大約 4.5 秒。這個(gè) 4.5 秒會(huì)成為我們探索 Python 的 Cython 擴(kuò)展能提供的幫助的基準(zhǔn)。
使用 Cython 的正確方法是將其集成到 setup.py
中。然而,使用 pyximport
可以快速地進(jìn)行嘗試。讓我們將 fib
代碼放在 fib.pyx
中并使用 Cython 運(yùn)行它。
>>> import pyximport; pyximport.install()
>>> import fib
>>> fib.fib(36)
只使用 Cython 而不修改代碼,這個(gè)算法在我筆記本上花費(fèi)的時(shí)間減少到大約 2.5 秒。幾乎無(wú)需任何努力,這幾乎減少了 50% 的運(yùn)行時(shí)間。當(dāng)然,得到了一個(gè)不錯(cuò)的成果。
加把勁,我們可以讓它變得更快。
cpdef int fib(int n):
if n < 2:
return 1
return fib(n - 1) + fib(n - 2)
我們將 fib
中的代碼變成用 cpdef
定義的函數(shù),并添加了兩個(gè)類型注釋:它接受一個(gè)整數(shù)并返回一個(gè)整數(shù)。
這個(gè)變得快多了,大約只用了 0.05 秒。它是如此之快,以至于我可能開始懷疑我的測(cè)量方法包含噪聲:之前,這種噪聲在信號(hào)中丟失了。
當(dāng)下次你的 Python 代碼花費(fèi)太多 CPU 時(shí)間時(shí),也許會(huì)導(dǎo)致風(fēng)扇狂轉(zhuǎn),為何不看看 Cython 是否可以解決問(wèn)題呢?
在本系列的下一篇文章中,我們將看一下 Black,一個(gè)自動(dòng)糾正代碼格式錯(cuò)誤的項(xiàng)目。
(題圖:Subgrafik San)