详解Python3中的迭代器和生成器及其区别

2024-04-20 08:25:15

介绍

本篇将介绍Python3中的迭代器与生成器，描述可迭代与迭代器关系，并实现自定义类的迭代器模式。

迭代的概念

上一次输出的结果为下一次输入的初始值，重复的过程称为迭代,每次重复即一次迭代，并且每次迭代的结果是下一次迭代的初始值

注：循环不是迭代

while True: #只满足重复，因而不是迭代
print('====>')

迭代器

1.为什么要有迭代器？

对于没有索引的数据类型，必须提供一种不依赖索引的迭代方式。

2.迭代器定义：

迭代器：可迭代对象执行__iter__方法，得到的结果就是迭代器，迭代器对象有__next__方法

它是一个带状态的对象，他能在你调用next()方法的时候返回容器中的下一个值，任何实现了__iter__和__next__()方法的对象都是迭代器，__iter__返回迭代器自身，__next__返回容器中的下一个值，如果容器中没有更多元素了，则抛出StopIteration异常

可迭代的(iterable)

Python标准库中存在着一些可迭代对象，例如:list, tuple, dict, set, str等。

可以对这些迭代对象，进行for-in等迭代操作，例如:

for s in "helloworld":
  print(s)

编译器若想迭代一个对象a，则会自动调用iter(a)获取该对象的迭代器(iterator)，如果iter(a)抛出异常，则对象a不可迭代。

判断对象是否可迭代

原生函数iter(instance) 可以判断某个对象是否可迭代，它的工作流程大概分为以下3个步骤：

检查对象instance是否实现了__iter__方法，并调用它获取返回的迭代器(iterator)。
如果对象没有实现__iter__方法，但是实现了__getitem__方法，Python会生成一个迭代器。
如果上述都失败，则编译器则抛出TypeError错误，‘xxx' Object is not iterable。

自定义类实现__iter__方法

根据第一条，我们自定义类Iter1实现__iter__方法使该类的对象可迭代。

class Iter1:
  def __init__(self, text):
    self.text = text

  def __iter__(self):
    return iter(self.text)

iter1 = Iter1("hello")
for s in iter1:
  print(s)

Iter1类实现了__iter__方法，通过iter()调用，得到可迭代对象text的迭代器并返回，实现了迭代器协议，因此可以通过for-in等方式对该对象进行迭代。

第二条通常都是针对Python中的序列(sequence)而定义，例如list，为了实现sequence协议，需要实现__getitem__方法。

class Iter2:
  def __init__(self, sequence):
    self.sequence = sequence

  def __getitem__(self, item):
    return self.sequence[item]

iter2 = Iter2([1, 2, 3, 4])
for s in iter2:
  print(s)

实际上，为了避免版本后序改动，Python标准库中的序列除了实现了__getitem__方法，也实现了__iter__方法，因此我们在定义序列时也应实现__iter__。

综上，如果显示判断某个对象是否可迭代，应该调用iter(instance)是否抛出异常，因为只实现了__getitem__的序列也是可迭代的（例子中Iter2的对象是可迭代的，但isinstance(iter2, abc.Iterator)返回结果是False)。同时，如果在调用iter后进行迭代操作不必显示判断，可以用try/except方式包装代码块。

iterable vs iterator（可迭代vs迭代器）

iterable定义

任何可以由原生函数iter获取到迭代器的对象
任何实现了__iter__方法并返回迭代器的对象
所有的序列（实现了__getitem__)

Python通过获取到可迭代对象的迭代器(iterator)实现迭代，例如for-in的实现其实是在内部获取到了迭代器进行操作。for-in机制可以理解为下述代码：

s = 'hello'
it = iter(s)
while (True):
  try:
    print(next(it))
  except StopIteration:
    del it
    break

StopIteration异常将在迭代器耗尽后被抛出，for-in、生成式(comprehension)、元组解压(tuple unpacking)等迭代操作都会处理并这个异常。

迭代器是个迭代值生产工厂，它保存迭代状态，并通过next()函数产生下一个迭代值。实现迭代器需要实现以下两个方法：

__iter__
返回self

__next__
返回下一个可用的元素，如果无可用元素则抛出StopIteration异常

迭代器实现__iter__，因此所有的迭代器都是可迭代的，下图展示了iterable和iterator的结构。

迭代器模式

实现一个自定义的迭代器模式需要两个类，分别为实现了__iter__方法的类和通过__iter__返回的迭代器实例类(实现了__iter__和__next__方法)。下面例子简单实现了上述功能。

class IterText:
  def __init__(self, text):
    self.text = text

  def __iter__(self):
    return IteratorText(self.text)

class IteratorText:
  def __init__(self, text):
    self.text = text
    self.index = 0

  def __iter__(self):
    return self

  def __next__(self):
    try:
      letter = self.text[self.index]
    except IndexError:
      raise StopIteration
    self.index += 1
    return letter

text = IterText("hey")
for l in text:
  print(l)

可迭代的IterText实现了__iter__方法，返回了迭代器IteratorText实例。IteratorText实现了__next__方法返回下一个迭代元素直到抛出异常，同时IteratorText实现了__iter__方法返回自身对象用于迭代。
这里的IterText和IteratorText很容易混淆，如果在IterText中实现了__next__方法并将__iter__中返回自身实例self也可以实现上述功能，但通常可迭代对象和迭代器应当分开，这样在可迭代对象中的__iter__中可以返回不同的迭代器对象，使功能独立。

生成器(generator)

通过上述文章说明，迭代器通过next()不断产出下一个元素直到迭代器耗尽，而Python中的生成器可以理解为一个更优雅的迭代器(不需要实现__iter__和__next__方法)，实现了迭代器协议，它也可以通过next()产出元素。
Python中的生成器主要分为两种类型：

生成器函数(generator function)返回得到的生成器:

包含yield关键字的函数称为生成器函数

def gen_func():
  yield 1
  yield 2
  yield 3
g = gen_func()

生成器表达式(generator expression)返回得到的生成器

g = (i for i in (1, 2, 3))

我们可以利用生成器进行迭代操作：

for e in g:
  print(e)

## 生成器g已被耗尽，如果需要重新迭代需要重新获得新的生成器对象
g = gen_func()
for e in g:
  print(e)

利用生成器代替可迭代中的__iter__迭代器

在迭代器模式章节中，我们在可迭代IterText中的__iter__返回迭代器IteratorText实例，然而使用生成器的方式会使代码更加优雅。

class IterText:
  def __init__(self, text):
    self.text = text

  def __iter__(self):
    for letter in self.text:
      yield letter

因为yield存在于__iter__，因此__iter__变成了生成器函数，调用它测返回一个生成器，同时生成器又实现了迭代器协议，因此IterText满足了可迭代的需求。

总结

本篇介绍了Python中的可迭代(iterable)、迭代器(iterator)以及它们的关系，并讲述了迭代器模式的实现，同时通过Python中的生成器完善了迭代器模式。希望对大家的学习有所帮助，也希望大家多多支持我们。

简单理解Python中基于生成器的状态机

简单生成器有许多优点.生成器除了能够用更自然的方法表达一类问题的流程之外,还极大地改善了许多效率不足之处.在 Python 中,函数调用代价不菲:除其它因素外,还要花一段时间解决函数参数列表(除了其它的事情外,还要分析位置参数和缺省参数).初始化框架对象还要采取一些建立步骤(据 Tim Peters 在 comp.lang.python 上所说,有 100 多行 C 语言程序:我自己还没检查 Python 源代码呢).与此相反,恢复一个生成器就相当省力:参数已经解析完了,而且框架对象正"无所事事
Python生成器generator用法示例

本文实例分析了Python生成器generator用法.分享给大家供大家参考,具体如下: 生成器generator本质是一个函数,它记住上一次在函数体中的位置,在生成器函数下一次调用,会自动找到该位置,局部变量都保持不变 l = [x * 2 for x in range(10)] # 列表生成式 g = (x * 2 for x in range(10)) print(l,g) # l打印的是一个列表,g则是一个generator的内存地址一次性打印获取generator的所有元素: for
深入讲解Python中的迭代器和生成器

在Python中,很多对象都是可以通过for语句来直接遍历的,例如list.string.dict等等,这些对象都可以被称为可迭代对象.至于说哪些对象是可以被迭代访问的,就要了解一下迭代器相关的知识了. 迭代器迭代器对象要求支持迭代器协议的对象,在Python中,支持迭代器协议就是实现对象的__iter__()和next()方法.其中__iter__()方法返回迭代器对象本身:next()方法返回容器的下一个元素,在结尾时引发StopIteration异常. __iter__()和next()
python的迭代器与生成器实例详解

本文以实例详解了python的迭代器与生成器,具体如下所示: 1. 迭代器概述: 迭代器是访问集合元素的一种方式.迭代器对象从集合的第一个元素开始访问,直到所有的元素被访问完结束.迭代器只能往前不会后退,不过这也没什么,因为人们很少在迭代途中往后退. 1.1 使用迭代器的优点对于原生支持随机访问的数据结构(如tuple.list),迭代器和经典for循环的索引访问相比并无优势,反而丢失了索引值(可以使用内建函数enumerate()找回这个索引值).但对于无法随机访问的数据结构(比
python迭代器与生成器详解

例子老规矩,先上一个代码: def add(s, x): return s + x def gen(): for i in range(4): yield i base = gen() for n in [1, 10]: base = (add(i, n) for i in base) print list(base) 这个东西输出可以脑补一下, 结果是[20,21,22,23], 而不是[10, 11, 12, 13]. 当时纠结了半天,一直没搞懂,后来齐老师稍微指点了一下, 突然想明白了-
基于python2.7实现图形密码生成器的实例代码

具体代码如下所示: #coding:utf8 import random,wx def password(event): a = [chr(i) for i in range(97,123)] b = [chr(i) for i in range(65,91)] c = ['0','1','2','3','4','5','6','7','8','9'] d = ['!','@','#','$','%','^','&','*','(',')','=','_','+','/','?'] set1 =
Python3中的列表生成式、生成器与迭代器实例详解

本文实例讲述了Python3中的列表生成式.生成器与迭代器.分享给大家供大家参考,具体如下: 列表生成式 Python内置的一种极其强大的生成列表 list 的表达式.返回结果必须是列表. 基本语法: [ 变量表达式 for 变量 in 表达式 ] 示例 a = [x ** 2 for x in range(1, 10)] b = [x * x for x in range(1, 11) if x % 2 == 0] c = [m + n for m in 'ABC' for n in '123
Python生成器（Generator）详解

通过列表生成式,我们可以直接创建一个列表.但是,受到内存限制,列表容量肯定是有限的.而且,创建一个包含100万个元素的列表,不仅占用很大的存储空间,如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了. 所以,如果列表元素可以按照某种算法推算出来,那我们是否可以在循环的过程中不断推算出后续的元素呢?这样就不必创建完整的list,从而节省大量的空间.在Python中,这种一边循环一边计算的机制,称为生成器(Generator). 简单生成器要创建一个generator,有很
详解Python3中的迭代器和生成器及其区别

介绍本篇将介绍Python3中的迭代器与生成器,描述可迭代与迭代器关系,并实现自定义类的迭代器模式. 迭代的概念上一次输出的结果为下一次输入的初始值,重复的过程称为迭代,每次重复即一次迭代,并且每次迭代的结果是下一次迭代的初始值注:循环不是迭代 while True: #只满足重复,因而不是迭代 print('====>') 迭代器 1.为什么要有迭代器? 对于没有索引的数据类型,必须提供一种不依赖索引的迭代方式. 2.迭代器定义: 迭代器:可迭代对象执行__iter__方法,得到的结果
详解ES6 中的迭代器和生成器

目录 1.迭代器 2.生成器 1.迭代器 Iterator是 ES6 引入的一种新的遍历机制.两个核心迭代器是一个统一的接口,它的作用是使各种数据结构可以被便捷的访问,它是通过一个键为Symbol.iterator的方法来实现. 迭代器是用于遍历数据结构元素的指针(如数据库中的游标). // 使用迭代 // 1.使用Symbol.iterator创建一个迭代器 const items = ['one','a','b']; const it = items[Symbol.iterator]();
详解Python3 中hasattr()、getattr()、setattr()、delattr()函数及示例代码数

hasattr()函数 hasattr()函数用于判断是否包含对应的属性语法: hasattr(object,name) 参数: object--对象 name--字符串,属性名返回值: 如果对象有该属性返回True,否则返回False 示例: class People: country='China' def __init__(self,name): self.name=name def people_info(self): print('%s is xxx' %(self.name))
详解Python3中的 input() 函数

一.知识介绍: 1.input() 函数,接收任意输入,将所有输入默认为字符串处理,并返回字符串类型: 2.可以用作文本输入,如用户名,密码框的值输入: 3.语法:input("提示信息:") . 二.运用演示: 1.接收任意输入,并返回字符串类型: >>>height = input("输入身高:") #运行输入身高: 170 #输入整数170 >>> type(a)
详解Java中Comparable和Comparator接口的区别

详解Java中Comparable和Comparator接口的区别本文要来详细分析一下Java中Comparable和Comparator接口的区别,两者都有比较的功能,那么究竟有什么区别呢,感兴趣的Java开发者继续看下去吧. Comparable 简介 Comparable 是排序接口. 若一个类实现了Comparable接口,就意味着"该类支持排序". 即然实现Comparable接口的类支持排序,假设现在存在"实现Comparable接口的类的对象的List列表(
详解Java中的sleep()和wait()的区别

详解Java中的sleep()和wait()的区别对于sleep()方法,我们首先要知道该方法是属于Thread类中的.而wait()方法,则是属于Object类中的. sleep()方法导致了程序暂停执行指定的时间,让出cpu该其他线程,但是他的监控状态依然保持者,当指定的时间到了又会自动恢复运行状态. 在调用sleep()方法的过程中,线程不会释放对象锁. 而当调用wait()方法的时候,线程会放弃对象锁,进入等待此对象的等待锁定池,只有针对此对象调用notify()方法后本线程才进入对象
详解pandas中iloc, loc和ix的区别和联系

Pandas库十分强大,但是对于切片操作iloc, loc和ix,很多人对此十分迷惑,因此本篇博客利用例子来说明这3者之一的区别和联系,尤其是iloc和loc. 对于ix,由于其操作有些复杂,我在另外一篇博客专门详细介绍ix. 首先,介绍这三种方法的概述: loc gets rows (or columns) with particular labels from the index. loc从索引中获取具有特定标签的行(或列).这里的关键是:标签.标签的理解就是name名字. iloc get
详解Java中方法next()和nextLine()的区别与易错点

1.基本语法 1.1基本使用方法本篇博客重点nextLine()会读取换行('\r'),但是不会进行输出. Java中Scanner类中的方法next()和nextLine()都是吸取输入台输入的字符,区别: next()不会吸取字符前/后的空格/Tab键,只吸取字符,开始吸取字符(字符前后不算)直到遇到空格/Tab键/回车截止吸取: nextLine()吸取字符前后的空格/Tab键,回车键截止. 输入两行字符串: 我爱学JAVA 我真的很爱爱学JAVA 我真的很爱很爱学JAVA 期望输出结果
带例子详解Sql中Union和Union ALL的区别

目录前言提前准备测试 Union Union ALL Union Union All union Union All 最后前言一段时间没有用Union和Union,再用的时候忘了怎么用了...所以做一篇文章来记录自己学Union和Union的经历. 提前准备在Sql Server 创建两张表,下面是创建表sql语句. create table Student1( Id varchar(50) not null, Name varchar(50) not null, Age int n
详解python3中socket套接字的编码问题解决

一.TCP 1.tcp服务器创建 #创建服务器 from socket import * from time import ctime #导入ctime HOST = '' #任意主机 PORT = 21567 #随机提供个端口号 BUFSIZ = 1024 # 缓冲区大小设置为1KB,可以根据网络性能和程序需要改变这个容量 ADDR = (HOST, PORT) tcpSerSock = socket(AF_INET, SOCK_STREAM) #分配了 TCP 服务器套接字 tcpSerSo

详解Python3中的迭代器和生成器及其区别

相关推荐

随机推荐