如何做一个购物网站,襄阳住房和城乡建设网站,标准化建设考评网站,做网站廊坊Python中的生成器与迭代器
转自#xff1a;https://www.liaoxuefeng.com/wiki/1016959663602400/1017323698112640#xff0c;推荐去该链接读原文#xff0c;有习题和热烈的评论区交流。
生成器
通过列表生成式#xff0c;我们可以直接创建一个列表。但是#xff0c;受…Python中的生成器与迭代器
转自https://www.liaoxuefeng.com/wiki/1016959663602400/1017323698112640推荐去该链接读原文有习题和热烈的评论区交流。
生成器
通过列表生成式我们可以直接创建一个列表。但是受到内存限制列表容量肯定是有限的。而且创建一个包含100万个元素的列表不仅占用很大的存储空间如果我们仅仅需要访问前面几个元素那后面绝大多数元素占用的空间都白白浪费了。
所以如果列表元素可以按照某种算法推算出来那我们是否可以在循环的过程中不断推算出后续的元素呢这样就不必创建完整的list从而节省大量的空间。在Python中这种一边循环一边计算的机制称为生成器generator。
要创建一个generator有很多种方法。第一种方法很简单只要把一个列表生成式的[]改成()就创建了一个generator L [x * x for x in range(10)]L
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]g (x * x for x in range(10))g
generator object genexpr at 0x1022ef630创建L和g的区别仅在于最外层的[]和()L是一个list而g是一个generator。
我们可以直接打印出list的每一个元素但我们怎么打印出generator的每一个元素呢
如果要一个一个打印出来可以通过next()函数获得generator的下一个返回值 next(g)
0next(g)
1next(g)
4next(g)
9next(g)
16next(g)
25next(g)
36next(g)
49next(g)
64next(g)
81next(g)
Traceback (most recent call last):File stdin, line 1, in module
StopIteration我们讲过generator保存的是算法每次调用next(g)就计算出g的下一个元素的值直到计算到最后一个元素没有更多的元素时抛出StopIteration的错误。
当然上面这种不断调用next(g)实在是太变态了正确的方法是使用for循环因为generator也是可迭代对象 g (x * x for x in range(10))for n in g:
... print(n)
...
0
1
4
9
16
25
36
49
64
81所以我们创建了一个generator后基本上永远不会调用next()而是通过for循环来迭代它并且不需要关心StopIteration的错误。
generator非常强大。如果推算的算法比较复杂用类似列表生成式的for循环无法实现的时候还可以用函数来实现。
比如著名的斐波拉契数列Fibonacci除第一个和第二个数外任意一个数都可由前两个数相加得到
1, 1, 2, 3, 5, 8, 13, 21, 34, …
斐波拉契数列用列表生成式写不出来但是用函数把它打印出来却很容易
def fib(max):n, a, b 0, 0, 1while n max:print(b)a, b b, a bn n 1return done注意赋值语句
a, b b, a b相当于
t (b, a b) # t是一个tuple
a t[0]
b t[1]但不必显式写出临时变量t就可以赋值。
上面的函数可以输出斐波那契数列的前N个数 fib(6)
1
1
2
3
5
8
done仔细观察可以看出fib函数实际上是定义了斐波拉契数列的推算规则可以从第一个元素开始推算出后续任意的元素这种逻辑其实非常类似generator。
也就是说上面的函数和generator仅一步之遥。要把fib函数变成generator函数只需要把print(b)改为yield b就可以了
def fib(max):n, a, b 0, 0, 1while n max:yield ba, b b, a bn n 1return done这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字那么这个函数就不再是一个普通函数而是一个generator函数调用一个generator函数将返回一个generator f fib(6)f
generator object fib at 0x104feaaa0这里最难理解的就是generator函数和普通函数的执行流程不一样。普通函数是顺序执行遇到return语句或者最后一行函数语句就返回。而变成generator的函数在每次调用next()的时候执行遇到yield语句返回再次执行时从上次返回的yield语句处继续执行。
举个简单的例子定义一个generator函数依次返回数字135
def odd():print(step 1)yield 1print(step 2)yield(3)print(step 3)yield(5)调用该generator函数时首先要生成一个generator对象然后用next()函数不断获得下一个返回值 o odd()next(o)
step 1
1next(o)
step 2
3next(o)
step 3
5next(o)
Traceback (most recent call last):File stdin, line 1, in module
StopIteration可以看到odd不是普通函数而是generator函数在执行过程中遇到yield就中断下次又继续执行。执行3次yield后已经没有yield可以执行了所以第4次调用next(o)就报错。
请务必注意调用generator函数会创建一个generator对象多次调用generator函数会创建多个相互独立的generator。
有的童鞋会发现这样调用next()每次都返回1 next(odd())
step 1
1next(odd())
step 1
1next(odd())
step 1
1原因在于odd()会创建一个新的generator对象上述代码实际上创建了3个完全独立的generator对3个generator分别调用next()当然每个都会返回第一个值。
正确的写法是创建一个generator对象然后不断对这一个generator对象调用next() g odd()next(g)
step 1
1next(g)
step 2
3next(g)
step 3
5回到fib的例子我们在循环过程中不断调用yield就会不断中断。当然要给循环设置一个条件来退出循环不然就会产生一个无限数列出来。
同样的把函数改成generator函数后我们基本上从来不会用next()来获取下一个返回值而是直接使用for循环来迭代 for n in fib(6):
... print(n)
...
1
1
2
3
5
8但是用for循环调用generator时发现拿不到generator的return语句的返回值。如果想要拿到返回值必须捕获StopIteration错误返回值包含在StopIteration的value中 g fib(6)while True:
... try:
... x next(g)
... print(g:, x)
... except StopIteration as e:
... print(Generator return value:, e.value)
... break
...
g: 1
g: 1
g: 2
g: 3
g: 5
g: 8
Generator return value: done关于如何捕获错误后面的错误处理还会详细讲解。
小结
generator是非常强大的工具在Python中可以简单地把列表生成式改成generator也可以通过函数实现复杂逻辑的generator。
要理解generator的工作原理它是在for循环的过程中不断计算出下一个元素并在适当的条件结束for循环。对于函数改成的generator来说遇到return语句或者执行到函数体最后一行语句就是结束generator的指令for循环随之结束。
请注意区分普通函数和generator函数普通函数调用直接返回结果 r abs(6)r
6generator函数的调用实际返回一个generator对象 g fib(6)g
generator object fib at 0x1022ef948迭代器
我们已经知道可以直接作用于for循环的数据类型有以下几种
一类是集合数据类型如list、tuple、dict、set、str等
一类是generator包括生成器和带yield的generator function。
这些可以直接作用于for循环的对象统称为可迭代对象Iterable。
可以使用isinstance()判断一个对象是否是Iterable对象 from collections.abc import Iterableisinstance([], Iterable)
Trueisinstance({}, Iterable)
Trueisinstance(abc, Iterable)
Trueisinstance((x for x in range(10)), Iterable)
Trueisinstance(100, Iterable)
False而生成器不但可以作用于for循环还可以被next()函数不断调用并返回下一个值直到最后抛出StopIteration错误表示无法继续返回下一个值了。
可以被next()函数调用并不断返回下一个值的对象称为迭代器Iterator。
可以使用isinstance()判断一个对象是否是Iterator对象 from collections.abc import Iteratorisinstance((x for x in range(10)), Iterator)
Trueisinstance([], Iterator)
Falseisinstance({}, Iterator)
Falseisinstance(abc, Iterator)
False生成器都是Iterator对象但list、dict、str虽然是Iterable却不是Iterator。
把list、dict、str等Iterable变成Iterator可以使用iter()函数 isinstance(iter([]), Iterator)
Trueisinstance(iter(abc), Iterator)
True你可能会问为什么list、dict、str等数据类型不是Iterator
这是因为Python的Iterator对象表示的是一个数据流Iterator对象可以被next()函数调用并不断返回下一个数据直到没有数据时抛出StopIteration错误。可以把这个数据流看做是一个有序序列但我们却不能提前知道序列的长度只能不断通过next()函数实现按需计算下一个数据所以Iterator的计算是惰性的只有在需要返回下一个数据时它才会计算。
Iterator甚至可以表示一个无限大的数据流例如全体自然数。而使用list是永远不可能存储全体自然数的。
小结
凡是可作用于for循环的对象都是Iterable类型
凡是可作用于next()函数的对象都是Iterator类型它们表示一个惰性计算的序列
集合数据类型如list、dict、str等是Iterable但不是Iterator不过可以通过iter()函数获得一个Iterator对象。
Python的for循环本质上就是通过不断调用next()函数实现的例如
for x in [1, 2, 3, 4, 5]:pass实际上完全等价于
# 首先获得Iterator对象:
it iter([1, 2, 3, 4, 5])
# 循环:
while True:try:# 获得下一个值:x next(it)except StopIteration:# 遇到StopIteration就退出循环break迭代器与生成器的区别
来自原贴评论区大佬 生成器是迭代器的一种。所有实现了__next__()方法的对象都是迭代器。生成器本质上也是实现了该方法不过是通过简单的方法实现函数中加yield关键字使用类似列表生成式方式。这两种方式创建出来的函数或者式子都是生成器本质上也是迭代器。迭代器比较繁琐的制造方式是创建一个对象并在对象中实现一个方法next()。实现之后就可以反复调用next()方法返回值。#生成器当然也可以调用next()方法。所以生成器和迭代器都可以调用next()方法来获取下一个返回值。这也是生成器和迭代器本质是一样的原因。不同点在于生成器书写起来简单明了比通过创建一个对象并重写__next__()方便多了。 生成器是一个用于创建迭代器的简单而强大的工具也就是说生成器也是迭代器。生成器较于一般的迭代器一是写法更紧凑因为它会自动创建 __iter__() 和 __next__() 方法。另一点是每次在生成器上调用 next() 获取yield返回的值时时它会从上次离开的位置恢复执行会记住上次执行语句时的所有数据值。除了会自动创建方法和保存程序状态当生成器终结时它们还会自动引发 StopIteration。 这些特性结合在一起使得创建迭代器能与编写常规函数一样容易。
