文章目錄
一.垃圾回收機制
Python中的垃圾回收是以引用計數爲主,分代收集爲輔。
1、導致引用計數+1的情況
- 對象被創建,例如a=23
- 對象被引用,例如b=a
- 對象被作爲參數,傳入到一個函數中,例如func(a)
- 對象作爲一個元素,存儲在容器中,例如list1=[a,a]
2、導致引用計數-1的情況
- 對象的別名被顯式銷燬,例如del a
- 對象的別名被賦予新的對象,例如a=24
- 一個對象離開它的作用域,例如f函數執行完畢時,func函數中的局部變量(全局變量不會)
- 對象所在的容器被銷燬,或從容器中刪除對象
3、查看一個對象的引用計數
import sys
a = "hello world"
sys.getrefcount(a)
可以查看a對象的引用計數,但是比正常計數大1,因爲調用函數的時候傳入a,這會讓a的引用計數+1
二.循環引用導致內存泄露
引用計數的缺陷是循環引用的問題
import gc
class ClassA():
def __init__(self):
print('object born,id:%s'%str(hex(id(self))))
def f2():
while True:
c1 = ClassA()
c2 = ClassA()
c1.t = c2
c2.t = c1
del c1
del c2
#把python的gc關閉
gc.disable()
f2()
執行f2(),進程佔用的內存會不斷增大。
- 創建了c1,c2後這兩塊內存的引用計數都是1,執行c1.t=c2和c2.t=c1後,這兩塊內存的引用計數變成2.
- 在del c1後,內存1的對象的引用計數變爲1,由於不是爲0,所以內存1的對象不會被銷燬,所以內存2的對象的引用數依然是2,在del c2後,同理,內存1的對象,內存2的對象的引用數都是1。
- 雖然它們兩個的對象都是可以被銷燬的,但是由於循環引用,導致垃圾回收器都不會回收它們,所以就會導致內存泄露。
三.垃圾回收
#coding=utf-8
import gc
class ClassA():
def __init__(self):
print('object born,id:%s'%str(hex(id(self))))
# def __del__(self):
# print('object del,id:%s'%str(hex(id(self))))
def f3():
print("-----0------")
# print(gc.collect())
c1 = ClassA()
c2 = ClassA()
c1.t = c2
c2.t = c1
print("-----1------")
del c1
del c2
print("-----2------")
print(gc.garbage)
print("-----3------")
print(gc.collect()) #顯式執行垃圾回收
print("-----4------")
print(gc.garbage)
print("-----5------")
if __name__ == '__main__':
gc.set_debug(gc.DEBUG_LEAK) #設置gc模塊的日誌
f3()
python2運行結果:
-----0------
object born,id:0x724b20
object born,id:0x724b48
-----1------
-----2------
[]
-----3------
gc: collectable <ClassA instance at 0x724b20>
gc: collectable <ClassA instance at 0x724b48>
gc: collectable <dict 0x723300>
gc: collectable <dict 0x71bf60>
4
-----4------
[<__main__.ClassA instance at 0x724b20>, <__main__.ClassA instance at 0x724b48>, {'t': <__main__.ClassA instance at 0x724b48>}, {'t': <__main__.ClassA instance at 0x724b20>}]
-----5------
說明:
- 垃圾回收後的對象會放在gc.garbage列表裏面
- gc.collect()會返回不可達的對象數目,4等於兩個對象以及它們對應的dict
有三種情況會觸發垃圾回收:
- 調用gc.collect(),
- 當gc模塊的計數器達到閥值的時候。
- 程序退出的時候
四.gc模塊常用功能解析
gc模塊提供一個接口給開發者設置垃圾回收的選項。上面說到,採用引用計數的方法管理內存的一個缺陷是循環引用,而gc模塊的一個主要功能就是解決循環引用的問題。
常用函數:
- gc.set_debug(flags) 設置gc的debug日誌,一般設置爲gc.DEBUG_LEAK
- gc.collect([generation]) 顯式進行垃圾回收,可以輸入參數,0代表只檢查第一代的對象,1代表檢查一,二代的對象,2代表檢查一,二,三代的對象,如果不傳參數,執行一個full collection,也就是等於傳2。 返回不可達(unreachable objects)對象的數目
- gc.get_threshold() 獲取的gc模塊中自動執行垃圾回收的頻率。
- gc.set_threshold(threshold0[, threshold1[, threshold2]) 設置自動執行垃圾回收的頻率。
- gc.get_count() 獲取當前自動執行垃圾回收的計數器,返回一個長度爲3的列表
gc模塊的自動垃圾回收機制
必須要import gc模塊,並且is_enable()=True纔會啓動自動垃圾回收。
這個機制的主要作用就是發現並處理不可達的垃圾對象。
垃圾回收=垃圾檢查+垃圾回收
在Python中,採用分代收集的方法。把對象分爲三代,一開始,對象在創建的時候,放在一代中,如果在一次一代的垃圾檢查中,改對象存活下來,就會被放到二代中,同理在一次二代的垃圾檢查中,該對象存活下來,就會被放到三代中。
gc模塊裏面會有一個長度爲3的列表的計數器,可以通過gc.get_count()獲取。
例如(488,3,0),其中488是指距離上一次一代垃圾檢查,Python分配內存的數目減去釋放內存的數目,注意是內存分配,而不是引用計數的增加。例如:
print gc.get_count() # (590, 8, 0)
a = ClassA()
print gc.get_count() # (591, 8, 0)
del a
print gc.get_count() # (590, 8, 0)
3是指距離上一次二代垃圾檢查,一代垃圾檢查的次數,同理,0是指距離上一次三代垃圾檢查,二代垃圾檢查的次數。
gc模快有一個自動垃圾回收的閥值,即通過gc.get_threshold函數獲取到的長度爲3的元組,例如(700,10,10) 每一次計數器的增加,gc模塊就會檢查增加後的計數是否達到閥值的數目,如果是,就會執行對應的代數的垃圾檢查,然後重置計數器
例如,假設閥值是(700,10,10):
當計數器從(699,3,0)增加到(700,3,0),gc模塊就會執行gc.collect(0),即檢查一代對象的垃圾,並重置計數器爲(0,4,0)
當計數器從(699,9,0)增加到(700,9,0),gc模塊就會執行gc.collect(1),即檢查一、二代對象的垃圾,並重置計數器爲(0,0,1)
當計數器從(699,9,9)增加到(700,9,9),gc模塊就會執行gc.collect(2),即檢查一、二、三代對象的垃圾,並重置計數器爲(0,0,0)
注意點
gc模塊唯一處理不了的是循環引用的類都有__del__方法,所以項目中要避免定義__del__方法
import gc
class ClassA():
pass
# def __del__(self):
# print('object born,id:%s'%str(hex(id(self))))
gc.set_debug(gc.DEBUG_LEAK)
a = ClassA()
b = ClassA()
a.next = b
b.prev = a
print "--1--"
print gc.collect()
print "--2--"
del a
print "--3--"
del b
print "--3-1--"
print gc.collect()
print "--4--"
運行結果:
--1--
0
--2--
--3--
--3-1--
gc: collectable <ClassA instance at 0x21248c8>
gc: collectable <ClassA instance at 0x21248f0>
gc: collectable <dict 0x2123030>
gc: collectable <dict 0x2123150>
4
--4--
如果把del打開,運行結果爲:
--1--
0
--2--
--3--
--3-1--
gc: uncollectable <ClassA instance at 0x6269b8>
gc: uncollectable <ClassA instance at 0x6269e0>
gc: uncollectable <dict 0x61bed0>
gc: uncollectable <dict 0x6230c0>
4
--4--