Python之父的加速秘籍:PyPy能讓代碼運(yùn)行得更快
本文轉(zhuǎn)載自公眾號(hào)“讀芯術(shù)”(ID:AI_Discovery)。
當(dāng)我們提及Python時(shí),常常指的是CPython,即C語言實(shí)現(xiàn)的Python,這就是PyPy發(fā)揮作用的地方啦。實(shí)話講,Python很慢,而用Python(!)編寫的Python在運(yùn)行時(shí),執(zhí)行速度比CPython快4.4倍。這是如何實(shí)現(xiàn)的呢?
正如Python之父吉多·范羅蘇姆(Guido van Rossum)所說:“如果想讓代碼運(yùn)行得更快,應(yīng)該使用PyPy。”
第一批使用PyPy的程序員競(jìng)爭(zhēng)力很強(qiáng)。有時(shí)候,就算花了很多時(shí)間用Python編寫解決方案,最后也會(huì)失敗,但是在PyPy中運(yùn)行同樣的代碼就會(huì)成功。這是為什么?
不同的方法
Python是一種解釋性語言,CPython逐行讀取并執(zhí)行源代碼。解釋性語言(包括JavaScript)有很多優(yōu)點(diǎn):
- 易于編寫
- 元編程能力強(qiáng)大
- 編譯不會(huì)失敗
當(dāng)然,它也有一些缺點(diǎn):
- 在解析源代碼時(shí),性能消耗巨大
- 編譯不會(huì)失敗
可以看到,其優(yōu)缺點(diǎn)都包括了“編譯不會(huì)失敗”。這有時(shí)候基于不同的行為(比如原型設(shè)計(jì)或生產(chǎn)),但我仍然傾向于將其視為一個(gè)缺點(diǎn)。而PyPy稍有不同,它不是一個(gè)純粹的解釋器,而是實(shí)現(xiàn)了跟蹤即時(shí)(JIT)編譯。
即時(shí)編譯
即時(shí)編譯介于解釋和傳統(tǒng)提前編譯之間。即時(shí)編譯器并不執(zhí)行源代碼本身,而是生成一組可立即執(zhí)行的低層指令(通常是匯編)。
這個(gè)插圖可以幫助我們理解其中的區(qū)別。在編譯語言(C、C++、Rust)中,編譯階段嚴(yán)格按照開發(fā)環(huán)境劃分。它生成一個(gè)可運(yùn)行的二進(jìn)制文件,然后將其發(fā)送到生產(chǎn)環(huán)境中。
在解釋性語言中,情況正好相反:源代碼(在*化之后,hello JS)被全部推到生產(chǎn)環(huán)境中,由解釋器執(zhí)行。即時(shí)編譯語言也運(yùn)送源代碼(或字節(jié)碼,如Java或C#),但它是作為一種常規(guī)編譯語言編譯和運(yùn)行,而不是逐行解釋。
并不是說一種方法比另一種好,每個(gè)用例都將根據(jù)其獨(dú)特的需求指定正確的選擇。但是,如果性能非常關(guān)鍵,使用Python解釋器感覺很舒服,那么你可以選擇PyPy。
跟蹤即時(shí)編譯
與編譯或解釋一樣,實(shí)現(xiàn)即時(shí)編譯也有不同的方法。傳統(tǒng)的方法是方法/函數(shù)作用域。當(dāng)代碼調(diào)用一個(gè)函數(shù)時(shí),即時(shí)編譯器將獲得它的源代碼,進(jìn)行編譯并提供可執(zhí)行的二進(jìn)制文件。而PyPy采用的方法稍微不同,這是由Python的特性和用例決定的。
PyPy的編譯器不是按方法調(diào)用,而是計(jì)算循環(huán)。由于Python在數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、高級(jí)算法以及數(shù)據(jù)結(jié)構(gòu)中使用廣泛,這是最有意義的。簡(jiǎn)而言之,PyPy是Python之上的一個(gè)優(yōu)化層。
PyPy并不像所理解的那樣嚴(yán)格處理循環(huán)。除了常規(guī)的for和while結(jié)構(gòu)外,如果PyPy檢測(cè)到編譯工作有價(jià)值,它會(huì)優(yōu)化任意代碼塊。
缺點(diǎn)
圖源:unsplash
當(dāng)然,PyPy也有缺點(diǎn)。即使它能大大提高性能,你也需要知道以下幾點(diǎn):
- 不支持所有的Python。它支持大部分代碼,但是如果處理底層的CPython實(shí)現(xiàn)細(xì)節(jié)或者有Cython綁定,它就不起作用了。
- 回溯未來。PyPy當(dāng)前版本是3.4,而Python目前穩(wěn)定在3.8,但是回溯法是Python開發(fā)者擅長(zhǎng)的技術(shù)。
- 優(yōu)化是好事,但不是編寫糟糕代碼的借口。如果代碼無法被人讀懂, PyPy又怎能理解呢?
- 全局解釋器鎖還在。如果執(zhí)行繁重的多線程操作,請(qǐng)選擇其他實(shí)現(xiàn)方法。
與任何工具一樣,在采用之前,我們應(yīng)該考慮所有的細(xì)節(jié)。不過,下次登錄到Codeforces接受挑戰(zhàn)時(shí),不妨試用一下PyPy。有可能O(n^3)錯(cuò)誤代碼會(huì)通過,而在純Python中,只有O(n log n)會(huì)通過。
源代碼
雖然本文沒有涉及CPython和PyPy的源代碼,但是這些文件在CPython (C代碼)和PyPy (Python代碼)中實(shí)現(xiàn)了階乘函數(shù)。
- CPython:https://github.com/python/cpython/blob/master/Modules/mathmodule.c
- PyPy:https://github.com/mozillazg/pypy/blob/50d6bf76ef1f93c234ab42d4dd4a3b974f9665d6/pypy/module/math/app_math.py
其他實(shí)現(xiàn)
除了CPython和PyPy,還有其他值得注意的Python實(shí)現(xiàn):
- StacklessPython。它和Python相同,但沒有全局解釋器鎖,《星戰(zhàn)前夜》游戲后端用的就是它。
- IronPython是一種在 NET上實(shí)現(xiàn)的 Python 語言,它為Python和c#代碼提供了非常簡(jiǎn)單的交互操作。
- JPython同理,但是有Java。
去試試使用PyPy來體驗(yàn)代碼加速度吧!