10分鐘了解Python黑魔法 Yield、Iterator、Generator
今天,我們來討論P(yáng)ython的yield、Iterator和generator,它們可以在許多教程中看到,但總是引起一些混淆。
今天,我們來討論P(yáng)ython的yield、Iterator和generator,它們可以在許多教程中看到,但總是引起一些混淆。
就像decorators一樣,這三個(gè)概念是緊密聯(lián)系在一起的。例如,如果你想知道什么是yield,你必須首先了解什么是generator。但在理解generator之前,你又必須理解iterator是什么,但在理解iterator之前,您必須要知道iterable對(duì)象是什么。他們的關(guān)系如下圖:
Iterables 可迭代的
可迭代是指能夠通過迭代的方法遍歷的對(duì)象,比如列表、字符串、元組、字典、集合等等。簡單的例子:
mylist = [1, 2, 3]
for i in mylist:
print(i)
可迭代對(duì)象如何工作?
讓我們看看Python解釋器在遇到迭代操作時(shí)如何處理迭代,例如for ... in x
- 調(diào)用 iter(x) 函數(shù)
- 檢查對(duì)象是否實(shí)現(xiàn)了 _iter__ 方法,如果實(shí)現(xiàn)了,則調(diào)用它以獲取迭代器;
- 如果未實(shí)現(xiàn) _iter__ 方法,但實(shí)現(xiàn)了_getitem__ 方法,Python將創(chuàng)建一個(gè)迭代器并嘗試按順序獲取元素(從索引0開始);
- 如果兩個(gè)方法都未實(shí)現(xiàn),將拋出TypeError異常,指示無法迭代該對(duì)象。
因此具有 __iter__ 方法或 __getitem__方法的對(duì)象通常稱為可迭代對(duì)象。
如何判斷一個(gè)對(duì)象是否可迭代?
- 方法一:使用dir函數(shù),檢查對(duì)象是否實(shí)現(xiàn)了__iter__ 或者 __getitem__方法。
mylist = [1, 2, 3]
mylistMethod = dir(mylist)
print(mylistMethod) #查看mylist的方法
print('__iter__' in dir(mylist) or '__getitem__' in dir(mylist)) # True
- 方法二:使用isinstance函數(shù),檢查對(duì)象是否是Iterable類型。
from collections import Iterable
mylist = [1, 2, 3]
print(isinstance(mylist, Iterable)) # True
Iterator 迭代器
迭代器是一個(gè)包含可數(shù)數(shù)量值的對(duì)象。它可以迭代,這意味著您可以遍歷所有值。讓我們看一個(gè)迭代器示例:
for i in range(5):
print(i) # 0 1 2 3 4
像這樣,一個(gè)個(gè)打印元素的過程就叫可迭代的,這個(gè)過程也是我們?nèi)粘4a編寫中接觸最多的操作。
簡單來說,帶有next()方法的可迭代對(duì)象就是一個(gè)迭代器,或者說一個(gè)可迭代對(duì)象和一個(gè)迭代器的關(guān)系是:Python從一個(gè)可迭代對(duì)象中獲取一個(gè)迭代器。具體關(guān)系如下圖:
所以上面提到的列表、字符串等不是迭代器。但是,您可以使用Python內(nèi)置 iter()函數(shù)來獲取它們的迭代器對(duì)象。讓我們使用迭代器模式來重寫前面的例子:
mylist = [1,2,3]
it = iter(mylist) # 獲取迭代器對(duì)象
while True:
try:
print(next(it))
except StopIteration:
print("Stop iteration!")
break
在上面的代碼中,我們首先使用iterable對(duì)象mylist來構(gòu)造迭代器it,并不斷調(diào)用迭代器上的next()函數(shù)來獲取下一個(gè)元素。如果沒有字符,迭代器將拋出 StopIteration 異常并退出循環(huán)。
Generator 生成器
Python 提供了一個(gè)生成器來創(chuàng)建迭代器函數(shù)。生成器是一種特殊類型的函數(shù),它不返回單個(gè)值,而是返回一個(gè)包含一系列值的迭代器對(duì)象。在生成器函數(shù)中,使用 yield 語句而不是 return 語句。
現(xiàn)在我們已經(jīng)知道for循環(huán)背后的機(jī)制了,但是如果數(shù)據(jù)量太大,比如for i in range(1000000),使用for循環(huán)將所有的值存儲(chǔ)在內(nèi)存中不僅占用大量的存儲(chǔ)空間 但是如果我們只需要訪問前幾個(gè)元素,空間就浪費(fèi)了。在這種情況下,我們可以使用 generator 。
生成器的思路是,我們不需要一次性把這個(gè)列表全部創(chuàng)建出來,只需要記住它的創(chuàng)建規(guī)則,然后在需要用到的時(shí)候,再一次次的計(jì)算和創(chuàng)建。我們來看一個(gè)例子:
my_generator = (x*x for x in range(10))
for i in my_generator:
print(i) # 0 1 4 9 16 25 36 49 64 81
my_generator 是一個(gè)生成器,它的每一個(gè)元素都是一個(gè)生成器對(duì)象。我們可以使用 next()函數(shù)來獲取下一個(gè)元素。
Yield 產(chǎn)生器
簡單來說,你可以把yield當(dāng)成return,但它返回的是一個(gè)生成器。記住,剛開始學(xué)習(xí)的時(shí)候不需要了解這個(gè)yield是什么,但是一定要了解它的運(yùn)行機(jī)制!讓我們看一下下面的代碼片段:
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
my_generator = test() # 創(chuàng)建生成器
print(type(my_generator)) # <class 'generator'>
我們可以在這里看到如果一個(gè)函數(shù)使用 yield 作為返回值,那么它就變成了一個(gè)生成器函數(shù)。與普通函數(shù)不同,生成器函數(shù)被調(diào)用后,函數(shù)體中的代碼不會(huì)立即執(zhí)行(執(zhí)行my_generator=test()后不打印任何值),而是返回一個(gè)生成器!正如我們前面提到的:generator 是迭代器,而 yield 可以被視為 return ,不難猜測(cè)下面代碼的結(jié)果:
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
for item in test():
print(item)
# 輸出:
"""
First
1
Second
2
Third
3
"""
next 函數(shù)是如何運(yùn)行的?
def test():
print("First")
yield 1
print("Second")
yield 2
print("Third")
yield 3
my_generator = test() # 創(chuàng)建生成器
a = next(my_generator) # First
print(a) # 1
b = next(my_generator) # Second
print(b) #
c = next(my_generator) # Third
print(c) # 3
d = next(my_generator) # StopIteration
print(d) # error
每次調(diào)用next(my_generator),只跑到y(tǒng)ield位置就停止,下次再跑,從上次結(jié)束的位置開始!并且生成器的長度取決于在函數(shù)中定義 yield 的次數(shù)??雌饋硪埠芎美斫饽亍?/p>
如果理解了上面的 yield 函數(shù)示例,讓我們繼續(xù)看一個(gè)更復(fù)雜的示例,該生成器可以接受參數(shù)。
def simple_gen(a):
print('-> Started: a =', a)
b = yield a
print('-> Received: b =', b)
c = yield a + b
print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
next(gen) # ?
next(gen) # ?
運(yùn)行結(jié)果如圖:
發(fā)生了什么??從第一次 next(gen) 調(diào)用開始,它在 yield a 處停止,然后當(dāng)您再次調(diào)用 next(gen) 時(shí),b 實(shí)際上是 None 值,這導(dǎo)致了異常。
b 為什么是 None 值?因?yàn)槲覀冊(cè)?nbsp;yield a 處沒有接收到任何值,所以 b 就是 None 值。要想接收值,
要繼續(xù),您需要使用 send() 函數(shù):生成器發(fā)送(值)恢復(fù)執(zhí)行并將值“發(fā)送”到生成器函數(shù)中。value 參數(shù)成為當(dāng)前 yield 表達(dá)式的結(jié)果。send() 方法返回生成器生成的下一個(gè)值,或者如果生成器退出而沒有生成另一個(gè)值則引發(fā) StopIteration。
怎么理解send() 函數(shù)?一個(gè)帶參數(shù)的 next(),接收參數(shù),執(zhí)行yield,然后返回值。
def simple_gen(a):
print('-> Started: a =', a)
b = yield a
print('-> Received: b =', b)
c = yield a + b
print('-> Received: c =', c)
gen = simple_gen(14)
next(gen) # -> Started: a = 14
gen.send(15) # Received: b = 15 # send 15 to generator,并執(zhí)行下一步 send包含next的yield
總結(jié)
小思考:
- yield 和 return 的區(qū)別,你理解了么?
- yield, generator 和 iterator 的區(qū)別和聯(lián)系,你理解了么?