深入了解Python的多线程基础

目录
  • 线程
  • 多线程
  • Python多线程
    • 创建线程
    • GIL锁
    • 线程池
  • 总结

线程

线程(Thread),有时也被称为轻量级进程(Lightweight Process,LWP),是操作系统独⽴调度和分派的基本单位,本质上就是一串指令的集合。

⼀个标准的线程由线程id、当前指令指针(PC),寄存器集合和堆栈组成,它是进程中的⼀个实体,线程本身不拥有系统资源,只拥有⼀点⼉在运⾏中必不可少的资源(如程序计数器、寄存器、栈),但它可与同属⼀个进程的其它线程共享进程所拥有的全部资源。线程不能够独⽴执⾏,必须依存在进程中。

多线程

多线程就是使用多个线程同时执行任务,实现了任务的并行执行,从而提高程序运行效率的方法。

试想一下,如果在单个线程内执行多个任务(比如发送网络请求等),如果前面的任务比较耗时,而后面的任务需要等待前面的任务执行完才能执行,这样会影响任务执行效率,那么就可以使用多线程去执行这些任务,任务可以同时进行,那么将大大的提高执行效率。

Python多线程

在Python中,提供了threading模块来实现多进程操作,这个模块是基于较低级的模块 _thread 的基础上建立的,提供了更易用的高级多线程API。

创建线程

可以通过threading模块中的Thread类来创建线程对象。

Thread语法结构:

threading.Thread(group, target, name, daemon)

  • group:默认为None(该参数是为了以后实现ThreadGroup类而保留的)
  • target:在run方法中调用的可调用对象,即线程要执行的任务
  • name:线程名称,可以不设定,默认为"Thread-N"形式的名称
  • args:给target指定的函数传递的参数,以元组的⽅式传递
  • kwargs:给target指定的函数传递命名参数
  • daemon:默认为None,将显式地设置该线程是否为守护模式。如果是None,线程将继承当前线程的守护模式属性

Thread常用方法

  • start():启动线程,并调用该线程中的run()方法
  • run():线程启动时运行的方法,正是它去调用target指定的函数
  • join(timeout=None):让当前调用者线程(一般为主线程)等待,直到该线程结束,timeout是可选的超时时间
  • is_alive():返回当前线程是否存活
import threading
import time
def work(i):
    print("子线程'{}'work正在运行......".format(threading.current_thread().name))
    time.sleep(i)
    print("子线程'{}'运行结束......".format(threading.current_thread().name))
if __name__ == '__main__':
    print("主线程{}启动".format(threading.current_thread().name))
    # 获取线程的名称
    threads = []
    for i in range(5):
        t = threading.Thread(target=work, args=(i,))
    # 启动线程
        threads.append(t)
        t.start()
    for t in threads:
        t.join()
    print("主线程结束")

执行结果为:

上述代码中使用t.join()的功能就是让主线程等待所有子线程结束后才结束,如果想设置守护线程(主线程结束,子线程也随之结束,无论任务执行完成与否)的话,可以使用t.daemon = True

GIL锁

GIL的全称是Global Interpreter Lock(全局解释器锁),这个锁最初的设计是为了保证同一份数据不能被多个线程同时修改,每个线程在执行任务的时候都需要先获取GIL,保证同一时刻只有一个线程可以执行,即同一时刻只有一个线程在解释器中运行,因此Python中的多线程是假的多线程,不是真正意义上的多线程。 如果程序中有多个线程执行任务,那么多个线程会被解释器轮流执行,只不过是切换的很快、很频繁,给人一种多线程“同时”在执行的错觉。

线程池

在之前的文章说过,进程有进程池的机制,同样,线程也有线程池。线程池可以在程序启动时就创建自定义数量的空闲的线程,程序只要将一个任务提交给线程池,线程池就会启动一个空闲的线程来执行它。当该任务执行结束后,该线程并不会死亡,而是再次返回到线程池中变成空闲状态,等待下一个任务的执行。

multiprocessing.dummy里面也有一个Pool对象,它其实就是线程的封装,使用起来和multiprocessing的Pool非常类似。它们api都是通用的,简单地说,multiprocessing.dummymultiprocessing进程池模块复制的一个线程池模块,强调一下,这里线程池也是受到GIL限制的。

使用方式和multiprocessing.Pool一致,具体参考Python进程池。

from multiprocessing.dummy import Pool
import time
def work(i):
    print("work'{}'执行中......".format(i))
    time.sleep(2)
    print("work'{}'执行完毕......".format(i))
if __name__ == '__main__':
    # 创建线程池
    # Pool(5) 表示创建容量为5个线程的线程池
    pool = Pool(5)
    for i in range(10):
        pool.apply_async(work, (i, ))
    pool.close()
    pool.join()

总结

由于Python中的多线程受GIL锁的限制,导致不能利用机器多核的特性,只能利用单核,是假的多线程,但是也不是一无是处,对于IO密集型任务,多线程是能够有效提升运行效率的,这是因为单线程下有IO操作时,会进行IO等待,这样会浪费等待的这段时间,而开启多线程能在线程A等待时,自动切换到线程B,可以减少不必要的时间浪费,从而能提升程序运行效率,但是也不是最好的选择,对于处理IO密集型任务,在Python还有更好的选择协程,在后续文章会介绍。

本篇文章就到这里了,希望能够给你带来帮助,也希望您能够多多关注我们的更多内容!

时间: 2021-11-23

Python基础进阶之海量表情包多线程爬虫功能的实现

一.前言 在我们日常聊天的过程中会使用大量的表情包,那么如何去获取表情包资源呢?今天老师带领大家使用python中的爬虫去一键下载海量表情包资源 二.知识点 requests网络库 bs4选择器 文件操作 多线程 三.所用到得库 import os import requests from bs4 import BeautifulSoup 四. 功能 # 多线程程序需要用到的一些包 # 队列 from queue import Queue from threading import Thread

Python 多线程超详细到位总结

目录 多线程threading 线程池 线程互斥 lock与Rlock的区别 在实际处理数据时,因系统内存有限,我们不可能一次把所有数据都导出进行操作,所以需要批量导出依次操作.为了加快运行,我们会采用多线程的方法进行数据处理,以下为我总结的多线程批量处理数据的模板: import threading # 从数据库提取数据的类 class Scheduler(): def __init__(self): self._lock = threading.RLock() self.start = 0

Python进阶多线程爬取网页项目实战

目录 一.网页分析 二.代码实现 一.网页分析 这次我们选择爬取的网站是水木社区的Python页面 网页:https://www.mysmth.net/nForum/#!board/Python?p=1 根据惯例,我们第一步还是分析一下页面结构和翻页时的请求. 通过前三页的链接分析后得知,每一页链接中最后的参数是页数,我们修改它即可得到其他页面的数据. 再来分析一下,我们需要获取帖子的链接就在id 为 body 的 section下,然后一层一层找到里面的 table,我们就能遍历这些链接的标题

Python3多线程基础知识点

多线程类似于同时执行多个不同程序,多线程运行有如下优点: 使用线程可以把占据长时间的程序中的任务放到后台去处理. 用户界面可以更加吸引人,比如用户点击了一个按钮去触发某些事件的处理,可以弹出一个进度条来显示处理的进度 程序的运行速度可能加快 在一些等待的任务实现上如用户输入.文件读写和网络收发数据等,线程就比较有用了.在这种情况下我们可以释放一些珍贵的资源如内存占用等等. 线程在执行过程中与进程还是有区别的.每个独立的线程有一个程序运行的入口.顺序执行序列和程序的出口.但是线程不能够独立执行,必

python 多线程与多进程效率测试

目录 1.概述 2.代码练习 3.运行结果 1.概述 在Python中,计算密集型任务适用于多进程,IO密集型任务适用于多线程 正常来讲,多线程要比多进程效率更高,因为进程间的切换需要的资源和开销更大,而线程相对更小,但是我们使用的Python大多数的解释器是Cpython,众所周知Cpython有个GIL锁,导致执行计算密集型任务时多线程实际只能是单线程,而且由于线程之间切换的开销导致多线程往往比实际的单线程还要慢,所以在 python 中计算密集型任务通常使用多进程,因为各个进程有各自独立的

编写多线程Python服务器 最适合基础

编写一个多线程的Python服务器. 多线程Python服务器使用以下主要模块来管理多个客户端连接. 1. Python的线程模块 2. SocketServer的 ThreadingMixIn 上述两个模块中的第二个类使得Python服务器能够分叉新线程来照顾每一个新的连接.它也使程序异步运行线程. 这个多线程Python服务器程序包括以下三个Python模块. 1. Python-Server.py 2. Python-ClientA.py 3. Python-ClientB.py Pyth

Tornado Web Server框架编写简易Python服务器

我们都知道在Web开发中,都需要服务器,比如Java Web开发的Tomcat,WebLogic,WebSphere,现在来看利用Tornado Web Server框架如何写一个简易的Python服务器. 一般来说只需要实现get和post方法就可以了.以上次使用redis数据库的例子说明,数据库插入代码如下: import redis import datetime class Database: def __init__(self): self.host = 'localhost' sel

Python打造出适合自己的定制化Eclipse IDE

Eclipse是一套强大的框架,其能够通过内置插件机制实现多种扩展方式.然而要想添加一小点额外功能,大家都不可避免地需要面临新插件的编写与部署工作,这显然有点令人头痛.现在在EASE的帮助下,我们能够以更理想的方式完成这项任务--而且整个过程不需要涉及任何一代Java代码.EASE能够让我们轻松利用Python或者JavaScript等脚本语言实现自动化工作台功能. 在本篇文章中,我们将共同了解如何利用Python与EASE设置Eclipse环境,同时考量多种利用Python强化IDE方案的可行

python常见排序算法基础教程

前言:前两天腾讯笔试受到1万点暴击,感觉浪费我两天时间去牛客网做题--这篇博客介绍几种简单/常见的排序算法,算是整理下. 时间复杂度 (1)时间频度一个算法执行所耗费的时间,从理论上是不能算出来的,必须上机运行测试才能知道.但我们不可能也没有必要对每个算法都上机测试,只需知道哪个算法花费的时间多,哪个算法花费的时间少就可以了.并且一个算法花费的时间与算法中语句的执行次数成正比例,哪个算法中语句执行次数多,它花费时间就多.一个算法中的语句执行次数称为语句频度或时间频度.记为T(n). (2)时间复

python服务器与android客户端socket通信实例

本文实例讲述了python服务器与android客户端socket通信的方法.分享给大家供大家参考.具体实现方法如下: 首先,服务器端使用python完成,下面为python代码: 复制代码 代码如下: #server.py  import socket  def getipaddrs(hostname):#只是为了显示IP,仅仅测试一下      result = socket.getaddrinfo(hostname, None, 0, socket.SOCK_STREAM)      re

Java编程实现多线程TCP服务器完整实例

相关Java类 Socket public class Socket extends Object ·功能:TCP客户端套接字 ·构造方法: Socket(InetAddress address, int port) 创建一个流套接字并将其连接到指定 IP 地址的指定端口号 ·常用方法: 1.getInetAddress 获得InetAddress的相关信息 2.getInputStream 获得此TCP连接的输入流 3.getOutPutStream 获得此TCP连接的输出流 ServerSo

java使用socket实现一个多线程web服务器的方法

除了服务器类,还包括请求类和响应类 请求类:获取客户的HTTP请求,分析客户所需要的文件 响应类:获得用户请求后将用户需要的文件读出,添加上HTTP应答头.发送给客户端. 服务器处理类 package com.lp.app.webserver; import java.io.*; import java.net.*; //使用Socket创建一个WEB服务器,本程序是多线程系统以提高反应速度. class WebServer { public static String WEBROOT = "&

Python使用matplotlib实现基础绘图功能示例

本文实例讲述了Python使用matplotlib实现基础绘图功能.分享给大家供大家参考,具体如下: 一个简单的例子 # -*- coding:utf-8 -*- #!python3 import numpy as np import matplotlib.pyplot as plt x = np.linspace(0,10,101) #设置起始及终点,以及点的数量 y = np.sin(x) #调用numpy库的sin函数 z = np.cos(x**2) plt.figure(figsize

Python面向对象原理与基础语法详解

本文实例讲述了Python面向对象原理与基础语法.分享给大家供大家参考,具体如下: 目标 dir 内置函数 定义简单的类(只包含方法) 方法中的 self 参数 初始化方法 内置方法和属性 01. dir 内置函数(知道) 在 Python 中 对象几乎是无所不在的,我们之前学习的 变量.数据.函数 都是对象 在 Python 中可以使用以下两个方法验证: 在 标识符 / 数据 后输入一个 .,然后按下 TAB 键,iPython 会提示该对象能够调用的 方法列表 使用内置函数 dir 传入 标

Java实现基于NIO的多线程Web服务器实例

代码地址:https://github.com/iyuanyb/webserver 实现了 静态.动态资源获取: Cookie.Session.HTTP 长连接,及 Session 和 HTTP 长连接的定时清除: 类似 Spring MVC 的注解式编程,如 @RequestMapping @RequestParam 等,方法中可以根据参数名从前台获取数据,可以传递对象,也支持级联属性,如: // GET /page?pageSize=10&pageNum=1 HTTP/1.1 @Reques