詳解 Python 中的 with 與 上下文管理器

with 這個關鍵字,對於每一學習Python的人,都不會陌生。

操作文本對象的時候,幾乎所有的人都會讓我們要用 with open ,這就是一個上下文管理的例子。你一定已經相當熟悉了,我就不再廢話了。

with open('test.txt') as f:
    print f.readlines()

1. what context manager?

基本語法

with EXPR as VAR:
    BLOCK

先理清幾個概念

1. 上下文表達式:with open('test.txt') as f:
2. 上下文管理器:open('test.txt')
3. f 不是上下文管理器,應該是資源對象。

2. how context manager?

要自己實現這樣一個上下文管理,要先知道上下文管理協議。

簡單點說,就是在一個類裏,實現了__enter____exit__的方法,這個類的實例就是一個上下文管理器。

例如這個示例:

class Resource():
    def __enter__(self):
        print('===connect to resource===')
        return self
    def __exit__(self, exc_type, exc_val, exc_tb):
        print('===close resource connection===')
        
    def operate(self):
        print('===in operation===')
        
with Resource() as res:
    res.operate()

我們執行一下,通過日誌的打印順序。可以知道其執行過程。

===connect to resource===
===in operation===
===close resource connection===

從這個示例可以很明顯的看出,在編寫代碼時,可以將資源的連接或者獲取放在__enter__中,而將資源的關閉寫在__exit__ 中。

3. why context manager?

學習時多問自己幾個爲什麼,養成對一些細節的思考,有助於加深對知識點的理解。

爲什麼要使用上下文管理器?

在我看來,這和 Python 崇尚的優雅風格有關。

  1. 可以以一種更加優雅的方式,操作(創建/獲取/釋放)資源,如文件操作、數據庫連接;
  2. 可以以一種更加優雅的方式,處理異常;

第一種,我們上面已經以資源的連接爲例講過了。

而第二種,會被大多數人所忽略。這裏會重點講一下。

大家都知道,處理異常,通常都是使用 try...execept.. 來捕獲處理的。這樣做一個不好的地方是,在代碼的主邏輯裏,會有大量的異常處理代理,這會很大的影響我們的可讀性。

好一點的做法呢,可以使用 with 將異常的處理隱藏起來。

仍然是以上面的代碼爲例,我們將1/0 這個一定會拋出異常的代碼寫在 operate

class Resource():
    def __enter__(self):
        print('===connect to resource===')
        return self

    def __exit__(self, exc_type, exc_val, exc_tb):
        print('===close resource connection===')
        return True

    def operate(self):
        1/0

with Resource() as res:
    res.operate()

運行一下,驚奇地發現,居然不會報錯。

這就是上下文管理協議的一個強大之處,異常可以在__exit__ 進行捕獲並由你自己決定如何處理,是拋出呢還是在這裏就解決了。在__exit__ 裏返回 True(沒有return 就默認爲 return False),就相當於告訴 Python解釋器,這個異常我們已經捕獲了,不需要再往外拋了。

在 寫__exit__ 函數時,需要注意的事,它必須要有這三個參數:

  • exc_type:異常類型
  • exc_val:異常值
  • exc_tb:異常的錯誤棧信息

當主邏輯代碼沒有報異常時,這三個參數將都爲None。

4. how contextlib?

在上面的例子中,我們只是爲了構建一個上下文管理器,卻寫了一個類。如果只是要實現一個簡單的功能,寫一個類未免有點過於繁雜。這時候,我們就想,如果只寫一個函數就可以實現上下文管理器就好了。

這個點Python早就想到了。它給我們提供了一個裝飾器,你只要按照它的代碼協議來實現函數內容,就可以將這個函數對象變成一個上下文管理器。

我們按照 contextlib 的協議來自己實現一個打開文件(with open)的上下文管理器。

import contextlib

@contextlib.contextmanager
def open_func(file_name):
    # __enter__方法
    print('open file:', file_name, 'in __enter__')
    file_handler = open(file_name, 'r')
	
    # 【重點】:yield
    yield file_handler

    # __exit__方法
    print('close file:', file_name, 'in __exit__')
    file_handler.close()
    return

with open_func('/Users/MING/mytest.txt') as file_in:
    for line in file_in:
        print(line)

在被裝飾函數裏,必須是一個生成器(帶有yield),而yield之前的代碼,就相當於__enter__裏的內容。yield 之後的代碼,就相當於__exit__ 裏的內容。

上面這段代碼只能實現上下文管理器的第一個目的(管理資源),並不能實現第二個目的(處理異常)。

如果要處理異常,可以改成下面這個樣子。

import contextlib

@contextlib.contextmanager
def open_func(file_name):
    # __enter__方法
    print('open file:', file_name, 'in __enter__')
    file_handler = open(file_name, 'r')

    try:
        yield file_handler
    except Exception as exc:
        # deal with exception
        print('the exception was thrown')
    finally:
        print('close file:', file_name, 'in __exit__')
        file_handler.close()

        return

with open_func('/Users/MING/mytest.txt') as file_in:
    for line in file_in:
        1/0
        print(line)

好像只要講到上下文管理器,大多數人都會談到打開文件這個經典的例子。

但是在實際開發中,可以使用到上下文管理器的例子也不少。我這邊舉個我自己的例子。

在OpenStack中,給一個虛擬機創建快照時,需要先創建一個臨時文件夾,來存放這個本地快照鏡像,等到本地快照鏡像創建完成後,再將這個鏡像上傳到Glance。然後刪除這個臨時目錄。

這段代碼的主邏輯是創建快照,而創建臨時目錄 ,屬於前置條件,刪除臨時目錄,是收尾工作。

雖然代碼量很少,邏輯也不復雜,但是“創建臨時目錄,使用完後再刪除臨時目錄”這個功能,在一個項目中很多地方都需要用到,如果可以將這段邏輯處理寫成一個工具函數作爲一個上下文管理器,那代碼的複用率也大大提高。

代碼是這樣的

總結起來,使用上下文管理器有三個好處:

  1. 提高代碼的複用率;
  2. 提高代碼的優雅度;
  3. 提高代碼的可讀性;

推薦下我本人原創的 《PyCharm 中文指南》電子書,內含大量(300張)的圖解製作之精良,值得每個 Python 工程師點個收藏。

地址是:http://pycharm.iswbm.com

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章