[[377707]]

Python解釋執(zhí)行原理

我是一個(gè)Python線程，我的工作就是解釋執(zhí)行程序員編寫的Python代碼。

之所以說是解釋執(zhí)行，是因?yàn)镻ython是高級(jí)語言，CPU那家伙不認(rèn)識(shí)Python代碼，需要運(yùn)行的時(shí)候動(dòng)態(tài)翻譯成CPU指令。

我把Python源代碼經(jīng)過“編譯”以后，變成了一個(gè)個(gè)的字節(jié)碼文件：.pyc，這是一個(gè)二進(jìn)制的文件，人類是看不懂的，只有我才能看懂。

然后我的工作就簡單了，不斷的取出字節(jié)碼文件中的“指令”解釋執(zhí)行，直到所有指令都執(zhí)行完成，我就可以休息了。

GIL

后來，多線程編程技術(shù)流行了起來，進(jìn)程里不止我一個(gè)線程了，又來了幾個(gè)新的伙伴。

本以為我們能和平共處，沒想到這一來就麻煩了，我們幾個(gè)各干各的，經(jīng)常把內(nèi)存空間搞出問題，也找不到背鍋的人。

終于有一天，我實(shí)在忍受不了了，召集大家商討個(gè)解決辦法。

“小伙伴們，咱們不能再這樣各搞各的了，咱們是一個(gè)Team，要彼此協(xié)作，一個(gè)線程可以走的很快，但一群線程在一起才能走的更遠(yuǎn)吶!”

“老大，你有什么想法你就直說吧”，另一個(gè)線程說到。

“要不，咱們加個(gè)鎖吧!簡單快捷，每個(gè)線程要執(zhí)行代碼，都得來申請這個(gè)鎖，申請到了才能執(zhí)行，否則就得等著”，我說到。

“那什么時(shí)候釋放呢?”

“要不弄個(gè)計(jì)數(shù)器，每個(gè)線程數(shù)到100就釋放，這樣保證別人有機(jī)會(huì)來執(zhí)行?”

“那怎么計(jì)數(shù)呢?每執(zhí)行一個(gè)字節(jié)碼就計(jì)數(shù)一次嗎?”

“可以，不過也不用那么死板，有些指令比較簡單的，很快可以完成，就可以不用計(jì)數(shù)了”

“好是好，但要是還沒數(shù)夠100，卻在執(zhí)行I/O操作阻塞了，還把鎖霸占的話，那不是資源浪費(fèi)嗎?”

小伙伴們七嘴八舌的討論著。

我想了想說到：“那就這樣，把兩種情況結(jié)合一下，常規(guī)情況下數(shù)到100就釋放一次鎖，但如果遇到阻塞情況，也要提前釋放鎖，怎么樣?”

大伙紛紛點(diǎn)頭，達(dá)成了一致，隨后我們還給這個(gè)鎖取了一個(gè)名字：全局解釋器鎖GIL。

自從用上了GIL，我們大家伙干活都規(guī)矩多了，再也沒有出現(xiàn)把公共資源搞壞的情況了。

升級(jí)版GIL

再后來，多核技術(shù)開始興起了，一個(gè)CPU里面可以同時(shí)執(zhí)行多個(gè)線程。小伙伴們高興地把這個(gè)消息散播開了。

“老大，現(xiàn)在CPU有多核了，咱們可以一起執(zhí)行了，可不可以把那個(gè)GIL給去掉啊，這樣才能利用多核的優(yōu)勢啊。”

“是啊，隔壁Java線程老是嘲笑我們看起來人多，實(shí)際只有一個(gè)線程在執(zhí)行”

可說易行難，這么多年我們都是這樣工作的，要突然去掉，出了問題誰也不敢負(fù)責(zé)啊。

“可是老大，現(xiàn)在這個(gè)GIL鎖不公平”，新來的線程抱怨到。

“哪里不公平了?”

“我準(zhǔn)備執(zhí)行代碼，發(fā)現(xiàn)鎖在你的手里，只好原地等待，等了半天都睡著了，好不容易等到你釋放了，操作系統(tǒng)把我給喚醒，準(zhǔn)備去申請鎖，結(jié)果發(fā)現(xiàn)又被你搶到了，真是浪費(fèi)表情”，新的線程滿臉委屈。

“是啊，老大，我也發(fā)現(xiàn)了，這不是偶發(fā)現(xiàn)象，我觀察很久了，經(jīng)常都會(huì)發(fā)生!頻繁被喚醒，卻發(fā)現(xiàn)白忙活一場，白白浪費(fèi)CPU資源，大家都怨氣很大啊”，另一個(gè)線程伙伴也說到。

我有些不好意思，“嗯，這確實(shí)是個(gè)問題”

“還沒完呢”，新來的線程繼續(xù)說到：“現(xiàn)在按照字節(jié)碼指令數(shù)來統(tǒng)計(jì)，但有些指令碼簡單，有些很復(fù)雜，導(dǎo)致同樣數(shù)到100，有些線程可以運(yùn)行很久，而有些就運(yùn)行很快就結(jié)束了，也不公平”

小伙伴們提的問題都很重要，看來是時(shí)候?qū)IL進(jìn)行一次升級(jí)了。

經(jīng)過一陣激烈的討論，我們改進(jìn)了原來對GIL，用上了新的策略：

• 不再用計(jì)數(shù)的方式，改用時(shí)間片的方式：每個(gè)線程的執(zhí)行時(shí)間片是5000微秒。
• 為了保證釋放GIL后，不被自己馬上又搶到，新增了一個(gè)鎖實(shí)現(xiàn)強(qiáng)制線程切換

改進(jìn)以后，這下總算公平了，各位小伙伴再也沒有話說，又可以安心的工作了。

結(jié)語

Python是一門解釋執(zhí)行的語言，擁有強(qiáng)大的第三方庫和跨平臺(tái)能力，近幾年P(guān)ython煥發(fā)了第二春，橫掃爬蟲、web開發(fā)、機(jī)器學(xué)習(xí)等眾多領(lǐng)域。

但長期以來，Python最為人詬病的就是它有一把鎖：GIL，這把鎖讓Python無法真正的實(shí)現(xiàn)多線程執(zhí)行，無法利用多核CPU的高性能。

實(shí)際上，這個(gè)鎖跟Python沒有半毛錢的關(guān)系，而是負(fù)責(zé)解釋執(zhí)行Python的解釋器：CPython的鍋。

CPython是用C語言編寫的Python解釋器，也是最廣為使用的Python解釋器，一般在沒有特殊說明時(shí)，說Python指的就是這個(gè)CPython解釋器。

Python誕生之初，多線程技術(shù)還遠(yuǎn)沒有今天這么深入人心，甚至多核CPU也是Python誕生許多年后才出現(xiàn)的。早期的解釋器中為了支持多個(gè)線程，使用了粗暴的GIL來進(jìn)行控制，方便簡單的同時(shí)，也成為了CPython的巨大歷史包袱。

在Python3.2之前，Python使用簡單的計(jì)數(shù)法來統(tǒng)計(jì)控制每個(gè)線程執(zhí)行的時(shí)間。在這之后，引入了更為公平的時(shí)間片方式來升級(jí)替換。

過去二十年，曾經(jīng)有許許多多大牛都嘗試徹底去除GIL，但都沒有完美成功。

雖然Python沒能徹底去除GIL，好在，提供了其他幾種方式“曲線救國”實(shí)現(xiàn)并發(fā)：

• Ctypes 通過編寫C語言擴(kuò)展與Python交互，在C語言層面繞過GIL實(shí)現(xiàn)多核利用。
• MultiProcess Python提供了MultiProcess，通過多進(jìn)程的方式繞過GIL
• 協(xié)程 協(xié)程又稱用戶態(tài)線程，Python3.4版本后新增了對協(xié)程的支持，也是對性能的提升提供了一種選擇。

這篇文章用第一人稱大白話的方式講述了GIL在CPython解釋器中的工作原理，大家都理解了嗎?

本文轉(zhuǎn)載自微信公眾號(hào)「編程技術(shù)宇宙」，可以通過以下二維碼關(guān)注。轉(zhuǎn)載本文請聯(lián)系編程技術(shù)宇宙公眾號(hào)。