GIL:全局解釋器鎖
GIL設計理念與限制:
python的代碼執行由python虛擬機(也叫解釋器主循環,CPython版本)來控制,python在設計之初就考慮到在解釋器的主循環中,同時只有一個線程在運行。即在任意時刻只有一個線程在解釋器中運行。對python虛擬機訪問的控制由全局解釋鎖GIL控制,正是這個鎖來控制同一時刻只有一個線程能夠運行。
在調用外部代碼(如C、C++擴展函數)的時候,GIL將會被鎖定,直到這個函數結束爲止(由於期間沒有python的字節碼運行,所以不會做線程切換)。
在python中使用都是操作系統級別的線程,linux中使用的pthread,window使用的是其原生線程。
從上面的概述中可以直觀的看出py在同一時刻只能跑一個線程,這樣在跑多線程的情況下,只有當線程獲取到全局解釋器鎖後才能運行,而全局解釋器鎖只有一個,因此即使在多核的情況下也只能發揮出單核的功能。
那麼這樣看起來py不給力啊,GIL直接導致CPython不能利用物理多核的性能加速運行。那麼爲什麼會有這樣的設計?考慮到Guido van Rossum 在創造python的時候,上世紀90年代,多核cpu完全屬於不可想象的,現在由於硬件發展速度太快,程序編寫就要考慮用盡cpu的全部性能,否則就要被淘汰,那麼對於python同樣也要如此。
上面主要說的是這種設計的劣勢,下面再討論它的優勢。
GIL的設計簡化了CPython的實現,使得對象模型,包括關鍵的內建類型如字典,都隱式可以併發訪問。鎖住全局解釋器使得其比較容易的實現對多線程的支持,但也折損了多處理器主機的並行計算能力。
但是不論標準的,還是第三方的擴展模塊,都被設計成在進行密集計算任務時釋放GIL。另外還有在做IO操作時,GIL總是被釋放。對所有面對內建的操作系統C代碼的程序來說,GIL會在這個IO調用之前被釋放,以允許其它的線程在等待這個IO的時候運行。如果是純計算的程序,沒有IO操作,解釋器會每隔100次或每隔一定時間15ms去釋放GIL。
這裏可以理解爲IO密集型的python比計算密集型的程序更能利用多線程環境帶來的便利。
GIL對線程執行的影響:
多線程環境中,python虛擬機按照以下方式執行:
-
設置GIL
-
切換到一個線程去執行
-
運行代碼,這裏有兩種機制:
-
指定數量的字節碼指令(100個)
-
固定時間15ms線程主動讓出控制
-
-
把線程設置爲睡眠狀態
-
解鎖GIL
-
再次重複以上步驟
考慮用盡cpu的性能,python的應對方法很簡單,在新的python3中依然有GIL,原因大概有下幾點:
-
CPython的GIL本意是用來保護所有全局的解釋器和環境狀態變量的,如果去掉GIL,就需要更多的更細粒度的鎖對解釋器的衆多全局狀態進行保護。或者採用Lock-Free算法。無論採用哪一種,要做到多線程安全都會比維繫一個GIL要難得多。另外改動的還是CPython的代碼樹及其各種第三方擴展也在依賴GIL。
-
進一步說,有人做過測試將GIL去掉,加入更細粒度的鎖。但是實踐檢測對單線程來說,性能更低。只有利用的物理cpu到一定數目後,性能纔會比GIL版本好。且現在絕大部分的python程序都是單線程的。
- 然後最重要的還在於以下幾個方面,簡單來說就是py不改,一樣能實現我們的需求。
-
自2.6引出的多進程標準庫mutilprocessing,讓多進程的python編寫簡化到類似多線程的程度,大大減輕GIL帶來的諸多不利。
-