python 中的 asyncio 异步协程

目录
  • 一、定义协程
  • 二、运行协程
  • 三、协程回调
  • 四、运行多个协程
  • 五、run_forever
  • 六、多协程中关闭run_forever

一、定义协程

  • asyncio 执行的任务，称为协程，但是Asyncio 并不能带来真正的并行
  • Python 的多线程因为 GIL（全局解释器锁）的存在，也不能带来真正的并行
import asyncio
# 通过 async 定义一个协程
async def task():
print('这是一个协程')
# 判断是否是一个协程，返回True
print(asyncio.iscoroutinefunction(task))

二、运行协程

import asyncio
# 通过 async 定义一个协程
async def task(s):
print('请等待 {} 秒'.format(s))
await asyncio.sleep(s)
print('协程结束')
# 协程运行
loop = asyncio.get_event_loop()
loop.run_until_complete(task(3))

三、协程回调

  • 加入我们处理完协程任务后，需要告诉开发人员，这里程序结束了
  • 就需要使用到协程回调
import asyncio
# 通过 async 定义一个协程
async def task(s):
print('请等待 {} 秒'.format(s))
await asyncio.sleep(s)
return '这里task结束了，其他的继续吧'
def callback(future):
print(future.result())
future = asyncio.ensure_future(task(3))
future.add_done_callback(callback)
loop = asyncio.get_event_loop()
loop.run_until_complete(future)
# 结果如下：
# 请等待 3 秒
# 这里task结束了，其他的继续吧

四、运行多个协程

  • 常常同一个项目中有多个协程
  • 需要借助 asyncio.gather 函数运行
import asyncio
# 通过 async 定义一个协程
async def task1(s):
print('请等待 {} 秒'.format(s))
await asyncio.sleep(s)
print('这里task1结束了')
# 通过 async 定义一个协程
async def task2(s):
print('请等待 {} 秒'.format(s))
await asyncio.sleep(s)
print('这里task2结束了')
# 运行方法一
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.gather(task1(1), task2(3)))
# 运行方法二
coros = [task1(1), task1(3)]
loop.run_until_complete(asyncio.gather(*coros))
# 结果如下：
# 请等待 1 秒
# 请等待 3 秒
# 这里task1结束了
# 这里task2结束了

五、run_forever

  • 通过run_until_complete 运行协程，协程运行完，程序也就结束退出了
  • 使用run_forever 运行，程序并不会退出，除非调用 loop.stop()
import asyncio
# 通过 async 定义一个协程
async def task(s):
await asyncio.sleep(s)
# 程序并未退出结束
loop = asyncio.get_event_loop()
asyncio.ensure_future(task(3))
loop.run_forever()
  • 如果想让其退出，需要调用 loop.stop()
  • 我们可以在协程中调用
import asyncio
# 通过 async 定义一个协程
async def task(loop, s):
await asyncio.sleep(s)
# 关闭run_forever
loop.close()
loop = asyncio.get_event_loop()
asyncio.ensure_future(task(loop, 3))
loop.run_forever()

六、多协程中关闭run_forever

  • 单个协程中可以通过在协程中关闭，但是如果是两个以上的协程的时候
  • 如果有一个协程先做完了就stop了，将会导致其他的协程也会异常退出，这肯定是不允许的
  • 所以我们可以在回调函数中进行关闭
import asyncio, functools
async def task(x):
await asyncio.sleep(x)
print('这是协程任务')
def callback(loop):
loop.stop()
loop = asyncio.get_event_loop()
future = asyncio.gather(task(1), task(3))
future.add_done_callback(functools.partial(callback, loop))
loop.run_forever()

到此这篇关于python 中的 asyncio 异步协程 IO 教程的文章就介绍到这了,更多相关python 异步协程 内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们！

赞 (0)

相关推荐

  • python中使用asyncio实现异步IO实例分析

    1.说明 Python实现异步IO非常简单,asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持. asyncio的编程模型就是一个消息循环.我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO. 2.实例 import asyncio @asyncio.coroutine def wget(host): print('wget %s...' % host) connect = asynci

  • Python asyncio的一个坑

    我们先从一个常见的Python编程错误开始说起,我已经见过非常多的程序员犯过这种错误了: def do_not_raise(user_defined_logic): try: user_defined_logic() except: logger.warning("User defined logic raises an exception", exc_info=True) # ignore 这段代码的错误之处在哪里呢? 我们从Python的异常结构开始说起.Python中的异常基类有

  • Python并发concurrent.futures和asyncio实例

    说明 Python标准库为我们提供了threading和multiprocessing模块编写相应的多线程/多进程代码. 从Python3.2开始,标准库为我们提供了concurrent.futures模块,concurrent.futures 模块的主要特色是 ThreadPoolExecutor 和 ProcessPoolExecutor 类,这两个类实现的接口能分别在不同的线程或进程中执行可调 用的对象.这两个类在内部维护着一个工作线程或进程池,以及要执行的任务队列. Python 3.4

  • Python中的asyncio代码详解

    asyncio介绍 熟悉c#的同学可能知道,在c#中可以很方便的使用 async 和 await 来实现异步编程,那么在python中应该怎么做呢,其实python也支持异步编程,一般使用 asyncio 这个库,下面介绍下什么是 asyncio : asyncio 是用来编写 并发 代码的库,使用 async/await 语法. asyncio 被用作多个提供高性能 Python 异步框架的基础,包括网络和网站服务,数据库连接库,分布式任务队列等等. asyncio 往往是构建 IO 密集型和

  • 浅谈Python协程asyncio

    一.协程 官方描述; 协程是子例程的更一般形式. 子例程可以在某一点进入并在另一点退出. 协程则可以在许多不同的点上进入.退出和恢复. 它们可通过 async def 语句来实现. 参见 PEP 492. 协程不是计算机内部提供的,不像进程.线程,由电脑本身提供,它是由程序员人为创造的, 实现函数异步执行. 协程(Coroutine),也可以被称为微线程,是一种用户太内的上下文切换技术,其实就是通过一个线程实现代码块相互切换执行.看上去像子程序,但执行过程中,在子程序内部可中断,然后转而执行别的

  • Python协程asyncio 异步编程笔记分享

    目录 1.事件循环 2.协程和异步编程 2.1 基本使用 2.2 await 2.3 Task对象 1.事件循环 可以理解成为一个死循环,去检查任务列表中的任务,如果可执行就去执行,如果检查不到就是不可执行的,那就忽略掉去执行其他可执行的任务,如果IO结束了(比如说去百度下载图片,下载完了就会变成可执行任务)再去执行下载完成之后的逻辑 #这里的任务是有状态的,比如这个任务已经完成或者正在执行或者正在IO等待 任务列表 = [ 任务1, 任务2, 任务3,... ] while True: 可执行

  • Python中asyncio模块的深入讲解

    1. 概述 Python中 asyncio 模块内置了对异步IO的支持,用于处理异步IO:是Python 3.4版本引入的标准库. asyncio 的编程模型就是一个消息循环.我们从 asyncio 块中直接获取一个 EventLoop 的引用,然后把需要执行的协程扔到 EventLoop 中执行,就实现了异步IO. 2. 用asyncio实现Hello world #!/usr/bin/env python3 # -*- coding: utf-8 -*- # @Time : 2019/1/9

  • python 中的 asyncio 异步协程

    目录 一.定义协程 二.运行协程 三.协程回调 四.运行多个协程 五.run_forever 六.多协程中关闭run_forever 一.定义协程 asyncio 执行的任务,称为协程,但是Asyncio 并不能带来真正的并行 Python 的多线程因为 GIL(全局解释器锁)的存在,也不能带来真正的并行 import asyncio # 通过 async 定义一个协程 async def task(): print('这是一个协程') # 判断是否是一个协程,返回True print(asyn

  • 基于asyncio 异步协程框架实现收集B站直播弹幕

    前言 虽然标题是全站,但目前只做了等级 top 100 直播间的全天弹幕收集. 弹幕收集系统基于之前的B 站直播弹幕姬 Python 版修改而来.具体协议分析可以看上一篇文章. 直播弹幕协议是直接基于 TCP 协议,所以如果 B 站对类似我这种行为做反制措施,比较困难.应该有我不知道的技术手段来检测类似我这种恶意行为. 我试过同时连接 100 个房间,和连接单个房间 100 次的实验,都没有问题.>150 会被关闭链接. 直播间的选取 现在弹幕收集系统在选取直播间上比较简单,直接选取了等级 to

  • python 单线程和异步协程工作方式解析

    在python3.4之后新增了asyncio模块,可以帮我们检测IO(只能是网络IO[HTTP连接就是网络IO操作]),实现应用程序级别的切换(异步IO).注意:asyncio只能发tcp级别的请求,不能发http协议. 异步IO:所谓「异步 IO」,就是你发起一个 网络IO 操作,却不用等它结束,你可以继续做其他事情,当它结束时,你会得到通知. 实现方式:单线程+协程实现异步IO操作. 异步协程用法 接下来让我们来了解下协程的实现,从 Python 3.4 开始,Python 中加入了协程的概

  • python3爬虫中异步协程的用法

    1. 前言 在执行一些 IO 密集型任务的时候,程序常常会因为等待 IO 而阻塞.比如在网络爬虫中,如果我们使用 requests 库来进行请求的话,如果网站响应速度过慢,程序一直在等待网站响应,最后导致其爬取效率是非常非常低的. 为了解决这类问题,本文就来探讨一下 Python 中异步协程来加速的方法,此种方法对于 IO 密集型任务非常有效.如将其应用到网络爬虫中,爬取效率甚至可以成百倍地提升. 注:本文协程使用 async/await 来实现,需要 Python 3.5 及以上版本. 2.

  • 关于Python核心框架tornado的异步协程的2种方法详解

    什么是异步? 含义 :双方不需要共同的时钟,也就是接收方不知道发送方什么时候发送,所以在发送的信息中就要有提示接收方开始接收的信息,如开始位,同时在结束时有停止位 现象:没有共同的时钟,不考虑顺序来了就处理 直观感受:就是不用等了,效率高 同步 含义:指两个或两个以上随时间变化的量在变化过程中保持一定的相对关系 现象:有一个共同的时钟,按来的顺序一个一个处理 直观感受 :就是需要等候,效率低下 那么今天我们看怎么用2种方法用代码实现tornado的异步? 这些是导入的包: 2种方法用代码实现to

  • Python 异步协程函数原理及实例详解

    Python 异步协程函数原理及实例详解

    这篇文章主要介绍了Python 异步协程函数原理及实例详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 一. asyncio 1.python3.4开始引入标准库之中,内置对异步io的支持 2.asyncio本身是一个消息循环 3.步骤: (1)创建消息循环 (2)把协程导入 (3)关闭 4.举例: import threading # 引入异步io包 import asyncio # 使用协程 @ asyncio.coroutine def

  • Python利用yield form实现异步协程爬虫

    目录 1.什么是yield 2.yield于列表的区别 3.yield from 实现协程 很古老的用法了,现在大多用的aiohttp库实现,这篇记录仅仅用做个人的协程底层实现的学习. 争取用看得懂的字来描述问题. 1.什么是yield 如果还没有怎么用过的话,直接把yield看做成一种特殊的return(PS:本质 generator(生成器))return是返回一个值然后就终断函数了,而yield返回的是一个生成器(PS:不知道的直接看作特殊列表,看下面的代码案例) # -*- coding

  • Python用yield from实现异步协程爬虫的实践

    目录 一.什么是yield 二.yield于列表的区别 三.yield from 实现协程 一.什么是yield 如果还没有怎么用过的话,直接把yield看做成一种特殊的return(PS:本质 generator(生成器))return是返回一个值然后就终断函数了,而yield返回的是一个生成器(PS:不知道的直接看作特殊列表,看下面的代码案例) # -*- coding: utf-8 -*- # @Time : 2022/11/10 16:17 # @Author : 红后 # @Email

随机推荐