前言

在前面的篇章中，我們學(xué)習(xí)了迭代器，這是一個(gè)很好的工具，特別是當(dāng)你需要處理大型數(shù)據(jù)集時(shí)。然而，在Python中構(gòu)建自己的迭代器有點(diǎn)麻煩和耗時(shí)。你必須定義一個(gè)實(shí)現(xiàn)迭代器協(xié)議(__iter__()和__next__()方法)的新類。在這個(gè)類中，需要自己管理變量的內(nèi)部狀態(tài)并更新它們。此外，當(dāng)__next__()方法中沒有要返回的值時(shí)，需要拋出StopIteration異常。

有沒有更好的實(shí)現(xiàn)方式呢？答案是肯定的！這就是Python的生成器（Generator）解決方案。下面就來盤盤它。

何為生成器？

為了更高效的構(gòu)建自己的迭代器，在Python中對(duì)此有一個(gè)優(yōu)雅的解決方案，這是很值得高興的。Python所提供的生成器（Generator）是用來幫助我們輕松創(chuàng)建迭代器。Generator允許你聲明一個(gè)行為類似迭代器的函數(shù)，也就是說，它可以在for循環(huán)中使用。簡(jiǎn)單言之，生成器（Generator）就是個(gè)返回迭代器對(duì)象的函數(shù)。因此，這也是創(chuàng)建迭代器的簡(jiǎn)單方法。在創(chuàng)建迭代器時(shí)，你不需要考慮所需的所有工作（如迭代協(xié)議和內(nèi)部狀等），因?yàn)镚enerator將處理所有這些工作。

接下來，我們更進(jìn)一步，輕松學(xué)懂Python中生成器是如何工作的以及如何定義它們。

定義生成器

如前一節(jié)所述，生成器是Python中一種特殊類型的函數(shù)。此函數(shù)不返回單個(gè)值，而是返回一個(gè)迭代器對(duì)象。在生成器函數(shù)中，返回值使用yield語(yǔ)句而不是return語(yǔ)句。下面定義一個(gè)簡(jiǎn)單的生成器函數(shù)，代碼清單如下:

代碼清單片段-01

在上述清單中，我們定義一個(gè)生成器函數(shù)。該函數(shù)執(zhí)行yield語(yǔ)句而不是return關(guān)鍵字。yield語(yǔ)句使這個(gè)函數(shù)成為生成器。當(dāng)我們調(diào)用這個(gè)函數(shù)時(shí)，它將返回(產(chǎn)生)一個(gè)迭代器對(duì)象。我們?cè)賮砜纯瓷善鞯恼{(diào)用:

代碼清單片段-02

調(diào)用生成器，通常就跟創(chuàng)建對(duì)象類似，調(diào)用生成器函數(shù)，并賦給變量。

運(yùn)行程序輸出結(jié)果如下：

Yielding First Item
A
Yielding Second Item
B
Yielding Last Item
C

在應(yīng)用生成器代碼中，我們調(diào)用firstGenerator()函數(shù)，它是一個(gè)生成器，并返回一個(gè)迭代器對(duì)象。我們將這個(gè)迭代器命名為myIter。然后在這個(gè)迭代器對(duì)象上調(diào)用next()函數(shù)。在每次next()調(diào)用中，迭代器按各自的順序執(zhí)行yield語(yǔ)句并返回一個(gè)項(xiàng)。

根據(jù)規(guī)則，此生成器函數(shù)不應(yīng)該包含return關(guān)鍵字。因?yàn)槿绻?，那么return語(yǔ)句將終止此函數(shù)，也就無從滿足迭代器的要求了。

現(xiàn)在，讓我們通過for循環(huán)的幫助來定義一個(gè)更具有實(shí)際意義的生成器。在本例中，我們將定義一個(gè)生成器，它將連續(xù)跟蹤生成從0開始的數(shù)字序列，直到給定的最大限制。

代碼清單如下：

代碼清單片段-03

運(yùn)行程序輸出結(jié)果類似如下：

0
1
2
3

在上述清單中，我們定義一個(gè)生成器函數(shù)，它生成從0到給定數(shù)字的整數(shù)。正如所見，yield語(yǔ)句在for循環(huán)中。請(qǐng)注意，n的值自動(dòng)存儲(chǔ)在連續(xù)的next()調(diào)用中。

有一點(diǎn)需要注意，在定義生成器時(shí)，返回值必須是yield語(yǔ)句，并不是說生成器不能出現(xiàn)return語(yǔ)句。只是通常把返回非None值return語(yǔ)句放在生成器最后，為StopIteration 異常添加附加信息，以便調(diào)用者處理。示例如下：

代碼清單片段-04

下面是未進(jìn)行異常處理時(shí)運(yùn)行程序輸出結(jié)果類似如下：

99

100

Traceback (most recent call last):

File "……", line 11, in <module>

print(next(g))

StopIteration: 不支持大于100的數(shù)字生成！

若對(duì)程序進(jìn)行了異常捕捉處理（try-except），顯示結(jié)果更簡(jiǎn)明，自己運(yùn)行試試看。

生成器與普通函數(shù)

如果一個(gè)函數(shù)至少包含一個(gè)yield語(yǔ)句，那么它就是生成器函數(shù)。如果需要，還可以包含其他yield或return語(yǔ)句。yield和return關(guān)鍵字都將從函數(shù)中返回一些東西。

return和yield關(guān)鍵字之間的差異對(duì)于生成器來說非常重要。return語(yǔ)句會(huì)完全終止函數(shù)，而yield語(yǔ)句會(huì)暫停函數(shù)，保存它的所有狀態(tài)，然后在后續(xù)的調(diào)用中繼續(xù)執(zhí)行。

我們調(diào)用生成器函數(shù)的方式和調(diào)用普通函數(shù)一樣。但在執(zhí)行過程中，生成器在遇到y(tǒng)ield關(guān)鍵字時(shí)暫停。它將迭代器流的當(dāng)前值發(fā)送到調(diào)用環(huán)境，并等待下一次調(diào)用。同時(shí)，它在內(nèi)部保存局部變量及其狀態(tài)。

以下是生成器函數(shù)與普通函數(shù)不同的關(guān)鍵點(diǎn):

• ü Generator函數(shù)返回(生成)一個(gè)迭代器對(duì)象。你無需擔(dān)心顯式地創(chuàng)建此迭代器對(duì)象，yield關(guān)鍵字為你做了這個(gè)工作。
• ü Generator函數(shù)必須包含至少一個(gè)yield語(yǔ)句。如果需要，它可能包括多個(gè)yield關(guān)鍵字。
• ü Generator函數(shù)內(nèi)部實(shí)現(xiàn)迭代器協(xié)議(iter()和next()方法)。
• ü Generator函數(shù)自動(dòng)保存局部變量及其狀態(tài)。
• ü Generator函數(shù)在yield關(guān)鍵字處暫停執(zhí)行，并將控制權(quán)傳遞給調(diào)用者。
• ü Generator函數(shù)在迭代器流沒有返回值時(shí)自動(dòng)引發(fā)StopIteration異常。

我們用一個(gè)簡(jiǎn)單的例子來演示普通函數(shù)和生成器函數(shù)之間的區(qū)別。在這個(gè)例子中，我們要計(jì)算前n個(gè)正整數(shù)的和。為此，我們將定義一個(gè)函數(shù)，該函數(shù)給出前n個(gè)正數(shù)的列表。我們將以兩種方式實(shí)現(xiàn)這個(gè)函數(shù)，一個(gè)普通函數(shù)和一個(gè)生成器函數(shù)。

普通函數(shù)代碼如下：

代碼清單片段-05

運(yùn)行程序輸出結(jié)果類似如下：

49999995000000

Elapsed Time in seconds: 1.2067763805389404

在代碼清單中，我們定義一個(gè)普通函數(shù)，它返回前n個(gè)正整數(shù)的列表。當(dāng)我們調(diào)用這個(gè)函數(shù)時(shí)，它需要一段時(shí)間來完成執(zhí)行，因?yàn)樗鼊?chuàng)建的列表非常龐大。它還使用了大量?jī)?nèi)存來完成此任務(wù)。

現(xiàn)在讓我們?yōu)橄嗤牟僮鞫x一個(gè)生成器函數(shù)來實(shí)現(xiàn)，代碼清單如下:

代碼清單片段-06

運(yùn)行程序結(jié)果類似如下：

49999995000000
（生成器模式）Elapsed Time in seconds: 1.0013225078582764

正如在生成器清單中所見，生成器在更短的時(shí)間內(nèi)完成相同的任務(wù)，并且使用更少的內(nèi)存資源。因?yàn)樯善魇且粋€(gè)一個(gè)地生成項(xiàng)，而不是返回完整的列表。

性能改進(jìn)的主要原因(當(dāng)我們使用生成器時(shí))是值的惰性生成。這種按需值生成的方式，會(huì)降低內(nèi)存使用量。生成器的另一個(gè)優(yōu)點(diǎn)是，你不需要等到所有元素都生成后才開始使用它們。

生成器表達(dá)式

有時(shí)候，我們需要簡(jiǎn)單的生成器來執(zhí)行代碼中相對(duì)簡(jiǎn)單的任務(wù)。這正是生成器表達(dá)式（Generator Expression）用武之地?？梢允褂蒙善鞅磉_(dá)式輕松地動(dòng)態(tài)創(chuàng)建簡(jiǎn)單的生成器。

生成器表達(dá)式類似于Python中的lambda函數(shù)。但要記住，lambda是匿名函數(shù)，它允許我們動(dòng)態(tài)地創(chuàng)建單行函數(shù)。就像lambda函數(shù)一樣，生成器表達(dá)式創(chuàng)建的是匿名生成器函數(shù)。

生成器表達(dá)式的語(yǔ)法看起來像一個(gè)列表推導(dǎo)式。不同之處在于，我們?cè)谏善鞅磉_(dá)式中使用圓括號(hào)而不是方括號(hào)。請(qǐng)看示例:

運(yùn)行結(jié)果類似如下：

49999995000000

（生成器模式）Elapsed Time in seconds: 1.0013225078582764

在上述清單中，我們?cè)谏善鞅磉_(dá)式的幫助下定義了一個(gè)簡(jiǎn)單的生成器。下面是語(yǔ)法:cubes_gen = (i**3 for i in nums)。你可以在輸出中看到生成器對(duì)象。正如所已經(jīng)知的，為了能夠在生成器中獲取項(xiàng)，我們要么顯式調(diào)用next()方法，要么使用for循環(huán)遍歷生成器。接下來就打印cubes_gen對(duì)象中的項(xiàng):

運(yùn)行程序，遍歷出的元素項(xiàng)結(jié)果是否和列表推導(dǎo)式一樣。

我們?cè)倏匆粋€(gè)例子。來定義一個(gè)生成器，將字符串中的字母轉(zhuǎn)換為大寫字母。然后調(diào)用next()方法打印前兩個(gè)字母。代碼示例如下：

運(yùn)行輸出結(jié)果如下：

M
A

生成器好處

生成器是非常棒的工具，特別是當(dāng)需要在相對(duì)有限的內(nèi)存中處理大型數(shù)據(jù)時(shí)。以下是在Python中使用生成器的一些主要好處:

1）內(nèi)存效率:

假設(shè)有一個(gè)返回結(jié)果非常大序列的普通函數(shù)。例如，一個(gè)包含數(shù)百萬項(xiàng)的列表。你必須等待這個(gè)函數(shù)完成所有的執(zhí)行，并將整個(gè)列表返回給你。就時(shí)間和內(nèi)存資源而言，這顯然是低效的。另一方面，如果你使用生成器函數(shù)，它將一個(gè)一個(gè)地返回項(xiàng)，你將有機(jī)會(huì)繼續(xù)執(zhí)行下一行代碼。而不需要等待函數(shù)執(zhí)行列表中的所有項(xiàng)。因?yàn)樯善饕淮沃唤o你一項(xiàng)。

2）延遲計(jì)算:

生成器提供了延遲(惰性)計(jì)算求值的功能。延遲計(jì)算是在真正需要值時(shí)計(jì)算值，而不是在實(shí)例化時(shí)計(jì)算值。假設(shè)你有一個(gè)大數(shù)據(jù)集要計(jì)算，延遲計(jì)算允許你在整個(gè)數(shù)據(jù)集仍在計(jì)算生成中可立即開始使用數(shù)據(jù)。因?yàn)槿绻褂蒙善?，則不需要整個(gè)數(shù)據(jù)集。

3）易實(shí)現(xiàn)和可讀性:

生成器非常容易實(shí)現(xiàn)，并且提供了好的代碼可讀性。記住，如果你使用生成器，你不需要擔(dān)心__iter__()和__next__()方法。你所需要的只是函數(shù)中一個(gè)簡(jiǎn)單的yield語(yǔ)句。

4）處理無限流:

當(dāng)你需要表示無限的數(shù)據(jù)流時(shí)，生成器是非常棒的工具。例如，一個(gè)無限計(jì)數(shù)器。理論上，你不能在內(nèi)存中存儲(chǔ)無限流的，因?yàn)槟銦o法確定存儲(chǔ)無限流需要多少的內(nèi)存大小。這是生成器真正發(fā)揮作用的地方，因?yàn)樗淮沃划a(chǎn)生一項(xiàng)，它可以表示無限的數(shù)據(jù)流。它不需要將所有的數(shù)據(jù)流存儲(chǔ)在內(nèi)存中。

本文小結(jié)

主要介紹了生成器相關(guān)知識(shí)，用于更好的自定義迭代器。內(nèi)容包括何為生成器？如何自定義生成器以及和普通函數(shù)的關(guān)鍵區(qū)別？如何實(shí)現(xiàn)生成器表達(dá)式？并總結(jié)了生成器的有點(diǎn)。通過這篇文章，相信你能更輕松高效的掌握Python常規(guī)的生成器方方面面。