前言

? 在Python中，全局解釋器鎖（Global Interpreter Lock，簡稱GIL）是一個重要的概念，它對Python解釋器的并發(fā)執(zhí)行模型產(chǎn)生了重大影響。本文將介紹GIL的概念、原理以及對Python多線程程序執(zhí)行效率的影響，并附帶詳細的代碼案例進行說明。

什么是 GIL

? GIL是Python解釋器中的一個互斥鎖，它確保在同一時刻只有一個線程能夠執(zhí)行Python字節(jié)碼。這意味著在多線程環(huán)境下，Python解釋器無法同時利用多個CPU核心進行并行執(zhí)行，因為只有一個線程能夠執(zhí)行Python字節(jié)碼指令。

GIL 的工作原理

? 當(dāng)Python解釋器運行Python代碼時，它會獲取GIL，然后執(zhí)行相應(yīng)的字節(jié)碼指令。其他線程想要執(zhí)行Python字節(jié)碼時，必須先獲取GIL，但只有在當(dāng)前線程釋放GIL后才能獲得。因此，只有一個線程能夠在任意時刻執(zhí)行Python字節(jié)碼，這就是GIL的工作原理。

GIL 的影響

多線程

? 盡管Python完全支持多線程編程， 但是解釋器的C語言實現(xiàn)部分在完全并行執(zhí)行時并不是線程安全的。 實際上，解釋器被一個全局解釋器鎖保護著，它確保任何時候都只有一個Python線程執(zhí)行。 GIL最大的問題就是Python的多線程程序并不能利用多核CPU的優(yōu)勢 （比如一個使用了多個線程的計算密集型程序只會在一個單CPU上面運行）。

? 有一點要強調(diào)的是GIL只會影響到那些嚴(yán)重依賴CPU的程序（比如計算型的）。 如果你的程序大部分只會涉及到I/O，比如網(wǎng)絡(luò)交互，那么使用多線程就很合適， 因為它們大部分時間都在等待。

? 對于依賴CPU的程序，你需要弄清楚執(zhí)行的計算的特點。 例如，優(yōu)化底層算法可能要比使用多線程運行快得多。 類似的，由于Python是解釋執(zhí)行的，如果你將那些性能瓶頸代碼移到一個C語言擴展模塊中， 速度也會提升的很快。如果你要操作數(shù)組，那么使用NumPy這樣的擴展會非常的高效。 最后，你還可以考慮下其他可選實現(xiàn)方案，比如PyPy，它通過一個JIT編譯器來優(yōu)化執(zhí)行效率。

多進程

? 在 Python 中，GIL（全局解釋器鎖）只影響到了多線程，而不會對多進程產(chǎn)生直接的影響。多進程是通過創(chuàng)建不同的 Python 解釋器來實現(xiàn)的，因此每個進程都有自己的獨立 GIL，它們之間互不影響。

如何解決 GIL 的缺點

示例代碼

? 代碼版本 Python 3.x

? 如我們?nèi)绾蝺?yōu)化下列代碼：

# Performs a large calculation (CPU bound)
def some_work(args):
    ...
    return result

# A thread that calls the above function
def some_thread():
    while True:
        ...
        r = some_work(args)
    ...

使用多進程的方式

? 如果你完全工作于Python環(huán)境中，你可以使用 multiprocessing 模塊來創(chuàng)建一個進程池， 并像協(xié)同處理器一樣的使用它，每個進程有獨立的 GIL。

# Processing pool (see below for initiazation)
pool = None

# Performs a large calculation (CPU bound)
def some_work(args):
    ...
    return result

# A thread that calls the above function
def some_thread():
    while True:
        ...
        r = pool.apply(some_work, (args))
        ...

# Initiaze the pool
if __name__ == '__main__':
    import multiprocessing
    pool = multiprocessing.Pool()

使用C擴展編程技術(shù)

? 主要思想是將計算密集型任務(wù)轉(zhuǎn)移給C，跟Python獨立，在工作的時候在C代碼中釋放GIL。 可以通過在C代碼中插入下面這樣的特殊宏來完成:

#include "Python.h"
...

PyObject *pyfunc(PyObject *self, PyObject *args) {
   ...
   Py_BEGIN_ALLOW_THREADS
   // Threaded C code
   ...
   Py_END_ALLOW_THREADS
   ...
}

? 如果使用其他工具訪問C語言，比如對于Cython的ctypes庫，你不需要做任何事。 例如，ctypes在調(diào)用C時會自動釋放GIL。

參考

? 12.9 Python的全局鎖問題