作者｜盧佳瑜，單位：中移物聯(lián)網(wǎng)有限公司

Labs 導讀

云原生時代，應用對硬件資源的需求增長巨大，但單核CPU性能的提升存在瓶頸，摩爾定律已經(jīng)失效。性能的提升更多側(cè)重于使用多核并發(fā)，而不是依賴單核性能。

俗話說再強的個人也敵不過訓練有素的團隊，便是這個道理。

但即便是對多核的利用，也分為多進程、多線程等不同的方案， 我們經(jīng)常會聽到老手說：“python下多線程是雞肋，推薦使用多進程！”

為什么這么說呢？

要知其然，更要知其所以然。所以有了下面的深入研究。

Part 01 概述 

目前算力網(wǎng)絡發(fā)展中，經(jīng)常出現(xiàn)并行計算的需求，而在python中，如果你使用多線程進行并行，那么就會面臨一個尷尬的問題：一核干活，其它圍觀。為什么會出現(xiàn)這樣一個尷尬的問題呢？是因為python中GIL鎖的存在。

GIL是什么？

GIL的全稱是Global Interpreter Lock(全局解釋器鎖)，來源是python設計之初的考慮，為了數(shù)據(jù)安全所做的決定，每個進程單獨擁有一把GIL鎖。

進程是什么？

進程是程序的一次執(zhí)行過程，是一個動態(tài)概念，是程序在執(zhí)行過程中分配和管理資源的基本單位，

線程是什么？

線程是CPU調(diào)度和分派的基本單位，它可與同屬一個進程的其他的線程共享進程所擁有的全部資源。

進程與線程的關系？

線程是進程的一部分，一個線程只能屬于一個進程，而一個進程可以有多個線程，但至少有一個線程。

為什么用多進程和多線程？

現(xiàn)代CPU通常是多核CPU，如果業(yè)務代碼是單進程/單線程，那么在運行時實際上就只能使用一個CPU核心，其他核心只能浪費，為了提升代碼運行效率，我們使用多進程or多線程，對多個CPU核心進行充分利用，以提升代碼執(zhí)行效率。

Part 02  執(zhí)行原理

每個CPU核心在同一時間只能執(zhí)行一個線程（在單核CPU下的多線程其實都只是并發(fā)，不是并行，并發(fā)和并行從宏觀上來講都是同時處理多路請求的概念。但并發(fā)和并行又有區(qū)別，并行是指兩個或者多個事件在同一時刻發(fā)生；而并發(fā)是指兩個或多個事件在同一時間間隔內(nèi)發(fā)生。）

在Python多線程下，每個線程的執(zhí)行方式：

• 獲取GIL
• 執(zhí)行代碼直到sleep或者是python虛擬機將其掛起。
• 釋放GIL

可見，某個線程想要執(zhí)行，必須先拿到GIL，我們可以把GIL看作是“通行證”，并且在一個python進程中，GIL只有一個。拿不到通行證的線程，就不允許進入CPU執(zhí)行。

在python2.x里，GIL的釋放邏輯是當前線程遇見IO操作或者ticks計數(shù)達到100（ticks可以看作是python自身的一個計數(shù)器，專門做用于GIL，每次釋放后歸零，這個計數(shù)可以通過 sys.setcheckinterval 來調(diào)整），進行釋放。

而每次釋放GIL鎖，線程進行鎖競爭、切換線程，會消耗資源。并且由于GIL鎖存在，python里一個進程永遠只能同時執(zhí)行一個線程(拿到GIL的線程才能執(zhí)行)，這就是為什么在多核CPU上，python的多線程效率并不高。

Part 03  實際場景分析

在實際應用場景中，并不是所有業(yè)務都能將CPU跑滿，也就并不是所有業(yè)務都需要使用多進程，接下來我們分類進行討論：

1、CPU密集型業(yè)務(各種循環(huán)處理、計數(shù)、數(shù)學計算等)，在這種情況下，ticks計數(shù)很快就會達到閾值，然后觸發(fā)GIL的釋放與再競爭（多個線程來回切換當然是需要消耗資源的），所以python下的多線程對CPU密集型代碼并不友好。

2、IO密集型業(yè)務(文件處理、網(wǎng)絡爬蟲等)，多線程能夠有效提升效率（單線程下有IO操作會進行IO等待，造成不必要的時間浪費，而開啟多線程能在線程A等待時，自動切換到線程B，可以不浪費CPU的資源，從而能提升程序執(zhí)行效率）。所以python的多線程對IO密集型代碼比較友好。

而在python3.x中，GIL不使用ticks計數(shù)，改為使用計時器（執(zhí)行時間達到閾值后，當前線程釋放GIL），這樣對CPU密集型程序更加友好，但依然沒有解決GIL導致的同一時間只能執(zhí)行一個線程的問題，所以效率依然不盡如人意。

Part 04  總結(jié)

回到最開始的問題：經(jīng)常我們會聽到老手說：“python下想要充分利用多核CPU，就用多進程”，原因是什么呢？

原因是每個進程有各自獨立的GIL，互不干擾，這樣就可以真正意義上的并行執(zhí)行，所以在python中，多進程的執(zhí)行效率優(yōu)于多線程(僅僅針對多核CPU而言)。

所以我們能夠得出結(jié)論：多核下，想做并行提升效率，比較通用的方法是使用多進程，能夠有效提高執(zhí)行效率。?