一文了解 Python 中的生成器

前言

生成器很容易實現，但卻不容易理解。生成器也可用於創建迭代器，但生成器可以用於一次返回一個可迭代的集合中一個元素。現在來看一個例子：

def yrange(n):
    i = 0
    while i < n:
        yield i
        i += 1

每次執行 yield 語句時，函數都會生成一個新值。

“生成器”這個詞被混淆地用來表示生成的函數和它生成的內容。

當調用生成器函數時，它甚至沒有開始執行該函數就返回一個生成器對象。 當第一次調用 next() 方法時，函數開始執行直到它到達 yield 語句。 產生的值由下一次調用返回。

以下示例演示了 yield 和對生成器對象上的 next 方法的調用之間的相互作用。

>>> def foo():
...     print("begin")
...     for i in range(3):
...         print("before yield", i)
...         yield i
...         print("after yield", i)
...     print("end")
...
>>> f = foo()
>>> next(f)
begin
before yield 0
0
>>> next(f)
after yield 0
before yield 1
1
>>> next(f)
after yield 1
before yield 2
2
>>> next(f)
after yield 2
end
Traceback (most recent call last):
  File "<pyshell#13>", line 1, in <module>
    next(f)
StopIteration
>>>

生成器也是迭代器

生成器也是迭代器，支持使用 for 循環。當使用 for 語句開始對一組項目進行迭代時，即運行生成器。一旦生成器的函數代碼到達 yield 語句，生成器就會將其執行交還給 for 循環，從集合中返回一個新值。生成器函數可以根據需要生成任意數量的值（可能是無限的），依次生成每個值。

f_2 = foo()
for i in f_2: print(i)

begin
before yield 0
0
after yield 0
end
before yield 1
1
after yield 1
end
before yield 2
2
after yield 2
end

當一個函數包含 yield 時，Python 會自動實現一個迭代器，爲我們應用所有需要的方法，比如 __iter__() 和 __next__()，所以生成器也能和迭代器有相同的功能，如下所示：

def yrange():
    i = 1
    while True:
        yield i
        i = i + 1

def squares():
    for i in yrange():
        yield i * i

def take(n, seq):
    seq = iter(seq)
    result = []
    try:
        for i in range(n):
            result.append(next(seq))
    except StopIteration:
        pass
    return result

print(take(5, squares()))

# [1, 4, 9, 16, 25]

接下來看一下如何使用生成器計算斐波那契數列：

def fib(n):
    if n <= 1:
        return 1
    a, b = 0, 1
    for _ in range(n):
        a, b = b, a + b
        yield a

for i in fib(10):
    print(i, end=' ')

# Result：1 1 2 3 5 8 13 21 34 55 

生成器推導式

生成器表達式是列表推導式的生成器版本。它們看起來像列表推導式，但返回的是一個生成器，而不是一個列表。生成器推導式的本質：

• 使用 yield 會產生一個生成器對象
• 用 return 將返回當前的第一個值。

generator_expressions = (x for x in range(10))
generator_expressions
<generator object <genexpr> at 0x0000023F8BC51AF0>
sum(generator_expressions)
45

無限生成器

生成器的另一個常見場景是無限序列生成。在 Python 中，當您使用有限序列時，您可以簡單地調用 range() 並在列表中對其進行計數，例如：

a = range(5)
print(list(a))
[0, 1, 2, 3, 4]

也可以這樣做，使用如下生成器生成無限序列：

def infinite_sequence():
    num = 0
    while True:
        yield num
        num += 1

運行此代碼時，可以看到其運行非常快，可以通過 CTRL+C 來使得程序結束，如下：

生成器實際用法

1. 讀取文件行

生成器的一個常見用法是處理大型文件或數據流，例如 CSV 文件。假設我們需要計算文本文件中有多少行，我們的代碼可能如下所示：

def csv_reader(file_name):
    file = open(file_name)
    result = file.read().split("\n")
    return result

csv_gen = csv_reader("some_file.csv")
row_count = 0

for row in csv_gen:
    row_count += 1

print(f"Row count is {row_count}")

我們的 csv_reader 函數將簡單地將文件打開到內存中並讀取所有行，然後它將行拆分並與文件數據形成一個數組。如果文件包含幾千行，可能就會導致速度變慢，設置是內存被佔滿。

這裏就可以通過生成器重構的 csv_reader 函數。

def csv_reader(file_name):
    for row in open(file_name, "r"):
        yield row

2. 讀取文件內容

def readfiles(filenames):
    for f in filenames:
        for line in open(f):
            yield line

def grep(pattern, lines):
    return (line for line in lines if pattern in line)

def printlines(lines):
    for line in lines:
        print(line, end="")

def main(pattern, filenames):
    lines = readfiles(filenames)
    lines = grep(pattern, lines)
    printlines(lines)

高級生成器用法

到目前爲止，我們已經介紹了生成器最常見的用途和構造，但還有更多內容需要介紹。隨着時間的推移，Python 爲生成器添加了一些額外的方法：

• send() 函數
• throw() 函數
• close() 函數

接下來，我們來看一下如何使用這三個函數。

1. 首先，新建一個生成器將生成素數，其實現如下：

def isPrime(n):
    if n < 2 or n % 1 > 0:
        return False
    elif n == 2 or n == 3:
        return True
    for x in range(2, int(n**0.5) + 1):
        if n % x == 0:
            return False
    return True

def getPrimes():
    value = 0
    while True:
        if isPrime(value):
            i = yield value
            if i is not None:
                value = i
        value += 1

2. 然後我們調用 send() 函數，這個函數會向生成器 prime_gen 傳入一個值，然後從這個值開始計算下一個素數的值：

prime_gen = getPrimes()
print(next(prime_gen))
print(prime_gen.send(1000))
print(next(prime_gen))

可以看到如下結果：

2. throw() 允許您使用生成器拋出異常。例如，這對於以某個值結束迭代很有用。比如我們想得到小於 20 的素數就可以使用如下方法：

prime_gen = getPrimes()

for x in prime_gen:
    if x > 20:
        prime_gen.throw(ValueError, "I think it was enough!")
    print(x)

運行該代碼，得到結果如下：

3. 在前面的示例中，我們通過引發異常來停止迭代，但這並不是用戶想看到的，誰想看到報錯呢。因此，結束迭代的更好方法是使用 close():

prime_gen = getPrimes()

for x in prime_gen:
    if x > 20:
        prime_gen.close()
    print(x)

運行結果如下圖：

可以看到，生成器在運行到停止了，沒有引發任何異常。

總結

生成器簡化了迭代器的創建。 生成器是產生一系列結果而不是單個值的函數。

生成器可以用於優化 Python 應用程序的性能，尤其是在使用大型數據集或文件時的場景中。

生成器還通過避免複雜的迭代器實現或通過其他方式處理數據來提供清晰的代碼。

參考鏈接:

• How to Use Generator and yield in Python
• https://realpython.com/introduction-to-python-generators/
• https://anandology.com/python-practice-book/iterators.html

本文由博客一文多發平臺 OpenWrite 發佈！