Python下线程之间的共享和释放示例

最近被多线程给坑了下，没意识到类变量在多线程下是共享的，还有一个就是没意识到 内存释放问题，导致越累越大

1.python 类变量 在多线程情况 下的 是共享的

2.python 类变量 在多线程情况 下的 释放是不完全的

3.python 类变量 在多线程情况 下没释放的那部分 内存 是可以重复利用的

import threading
 import time

 class Test:

   cache = {}

   @classmethod
   def get_value(self, key):
     value = Test.cache.get(key, [])
     return len(value)

   @classmethod
   def store_value(self, key, value):
     if not Test.cache.has_key(key):
       Test.cache[key] = range(value)
     else:
       Test.cache[key].extend(range(value))
     return len(Test.cache[key])

   @classmethod
   def release_value(self, key):
     if Test.cache.has_key(key):
       Test.cache.pop(key)
     return True

   @classmethod
   def print_cache(self):
     print 'print_cache:'
     for key in Test.cache:
       print 'key: %d, value:%d' % (key, len(Test.cache[key]))

 def worker(number, value):
   key = number % 5
   print 'threading: %d, store_value: %d' % (number, Test.store_value(key, value))
   time.sleep(10)
   print 'threading: %d, release_value: %s' % (number, Test.release_value(key))

 if __name__ == '__main__':
   thread_num = 10

   thread_pool = []
   for i in range(thread_num):
     th = threading.Thread(target=worker,args=[i, 1000000])
     thread_pool.append(th)
     thread_pool[i].start()

   for thread in thread_pool:
     threading.Thread.join(thread)

   Test.print_cache()
   time.sleep(10)

   thread_pool = []
   for i in range(thread_num):
     th = threading.Thread(target=worker,args=[i, 100000])
     thread_pool.append(th)
     thread_pool[i].start()

   for thread in thread_pool:
     threading.Thread.join(thread)

   Test.print_cache()
   time.sleep(10)

总结

公用的数据，除非是只读的，不然不要当类成员变量，一是会共享，二是不好释放。

赞 (0)

相关推荐

  • Python实现线程池代码分享

    原理:建立一个任务队列,然多个线程都从这个任务队列中取出任务然后执行,当然任务队列要加锁,详细请看代码 import threading import time import signal import os class task_info(object): def __init__(self): self.func = None self.parm0 = None self.parm1 = None self.parm2 = None class task_list(object): def

  • python实现线程池的方法

    本文实例讲述了python实现线程池的方法.分享给大家供大家参考.具体如下: 原理:建立一个任务队列,然多个线程都从这个任务队列中取出任务然后执行,当然任务队列要加锁,详细请看代码 文件名:thrd_pool.py 系统环境:ubuntu linux & python2.6 import threading import time import signal import os class task_info(object): def __init__(self): self.func = No

  • Python线程详解

    Python线程详解

    1. 线程基础 1.1. 线程状态 线程有5种状态,状态转换的过程如下图所示: 1.2. 线程同步(锁) 多线程的优势在于可以同时运行多个任务(至少感觉起来是这样).但是当线程需要共享数据时,可能存在数据不同步的问题.考虑这样一种情况:一个列表里所有元素都是0,线程"set"从后向前把所有元素改成1,而线程"print"负责从前往后读取列表并打印.那么,可能线程"set"开始改的时候,线程"print"便来打印列表了,输出就成

  • python线程池的实现实例

    直接上代码: 复制代码 代码如下: # -*- coding: utf-8 -*- import Queue import threadingimport urllibimport urllib2import os def down(url,n):    print 'item '+str(n)+' start '    filename=urllib2.unquote(url).decode('utf8').split('/')[-1]    urllib.urlretrieve(url, f

  • python中threading超线程用法实例分析

    本文实例讲述了python中threading超线程用法.分享给大家供大家参考.具体分析如下: threading基于Java的线程模型设计.锁(Lock)和条件变量(Condition)在Java中是对象的基本行为(每一个对象都自带了锁和条件变量),而在Python中则是独立的对象.Python Thread提供了Java Thread的行为的子集:没有优先级.线程组,线程也不能被停止.暂停.恢复.中断.Java Thread中的部分被Python实现了的静态方法在threading中以模块方

  • Python多线程和队列操作实例

    Python3,开一个线程,间隔1秒把一个递增的数字写入队列,再开一个线程,从队列中取出数字并打印到终端 复制代码 代码如下: #! /usr/bin/env python3 import time import threading import queue # 一个线程,间隔一定的时间,把一个递增的数字写入队列 # 生产者 class Producer(threading.Thread): def __init__(self, work_queue):         super().__in

  • 用Python实现一个简单的线程池

    线程池的概念是什么? 在面向对象编程中,创建和销毁对象是很费时间的,因为创建一个对象要获取内存资源或者其它更多资源.在Java中更是 如此,虚拟机将试图跟踪每一个对象,以便能够在对象销毁后进行垃圾回收.所以提高服务程序效率的一个手段就是尽可能减少创建和销毁对象的次数,特别是一些 很耗资源的对象创建和销毁.如何利用已有对象来服务就是一个需要解决的关键问题,其实这就是一些"池化资源"技术产生的原因. 我理解为线程池是一个存放很多线程的单位,同时还有一个对应的任务队列.整个执行过程其实就是使

  • 浅析Python多线程下的变量问题

    在多线程环境下,每个线程都有自己的数据.一个线程使用自己的局部变量比使用全局变量好,因为局部变量只有线程自己能看见,不会影响其他线程,而全局变量的修改必须加锁. 但是局部变量也有问题,就是在函数调用的时候,传递起来很麻烦: def process_student(name): std = Student(name) # std是局部变量,但是每个函数都要用它,因此必须传进去: do_task_1(std) do_task_2(std) def do_task_1(std): do_subtask

  • Python下线程之间的共享和释放示例

    最近被多线程给坑了下,没意识到类变量在多线程下是共享的,还有一个就是没意识到 内存释放问题,导致越累越大 1.python 类变量 在多线程情况 下的 是共享的 2.python 类变量 在多线程情况 下的 释放是不完全的 3.python 类变量 在多线程情况 下没释放的那部分 内存 是可以重复利用的 import threading import time class Test: cache = {} @classmethod def get_value(self, key): value

  • Java并发编程之线程之间的共享和协作

    Java并发编程之线程之间的共享和协作

    一.线程间的共享 1.1 ynchronized内置锁 用处 Java支持多个线程同时访问一个对象或者对象的成员变量 关键字synchronized可以修饰方法或者以同步块的形式来进行使用 它主要确保多个线程在同一个时刻,只能有一个线程处于方法或者同步块中 它保证了线程对变量访问的可见性和排他性(原子性.可见性.有序性),又称为内置锁机制. 对象锁和类锁 对象锁是用于对象实例方法,或者一个对象实例上的 类锁是用于类的静态方法或者一个类的class对象上的 类的对象实例可以有很多个,但是每个类只有

  • Java线程之间的共享与协作详解

    Java线程之间的共享与协作详解

    目录 前言 一.进程和线程 1.进程是程序运行资源分配的最小单位 2.线程是CPU 调度的最小单位,必须依赖于进程而存在 3.线程无处不在 二.CPU 核心数和线程数的关系 1.多核心 2.多线程 3.核心数.线程数 三.CPU 时间片轮转机制 四.并行和并发 1.并发 2.并行 五.高并发编程 1.CPU 资源利用的充分 2.加快用户响应时间 3.使代码模块化.异步化.简单化 六.多线程注意事项 1.线程之间的安全性 2.线程之间的死锁 3.线程多了会将服务资源耗尽形成死机.当机 七.多线程注

  • Python使用线程来接收串口数据的示例

    如下所示: #!/usr/bin/env python import serial import time import thread class MSerialPort: message='' def __init__(self,port,buand): self.port=serial.Serial(port,buand) if not self.port.isOpen(): self.port.open() def port_open(self): if not self.port.isO

  • Python下载网易云歌单歌曲的示例代码

    今天写了个下载脚本,记录一下 效果: 直接上代码: # 网易云 根据歌单链接下载MP3歌曲 import requests from bs4 import BeautifulSoup def main(): url = "https://music.163.com/#/playlist?id=3136952023" # 歌单地址 请自行更换 if '/#/' in url: url = url.replace('/#/', '/') headers = { 'Referer': 'ht

  • python 实现线程之间的通信示例

    前言:因为GIL的限制,python的线程是无法真正意义上并行的.相对于异步编程,其性能可以说不是一个等量级的.为什么我们还要学习多线程编程呢,虽然说异步编程好处多,但编程也较为复杂,逻辑不容易理解,学习成本和维护成本都比较高.毕竟我们大部分人还是适应同步编码的,除非一些需要高性能处理的地方采用异步. 首先普及下进程和线程的概念: 进程:进程是操作系统资源分配的基本单位. 线程:线程是任务调度和执行的基本单位. 一个应用程序至少一个进程,一个进程至少一个线程. 两者区别:同一进程内的线程共享本进

  • python下grpc与protobuf的编写使用示例

    python下grpc与protobuf的编写使用示例

    目录 1. python下protobuf使用 1.1 安装protobuf 1.2 protobuf3定义格式 1.3 生成proto的python文件 1.4 对比一下protobuf生成的效果 2.python下grpc使用 2.1编写hello.proto文件 2.2 生成proto的python文件 2.3 编写server端 2.4 编写cilent端 1. python下protobuf使用 1.1 安装protobuf pip3.6 install grpcio #安装grpc

  • 通过volatile验证线程之间的可见性

    这篇文章主要介绍了通过volatile验证线程之间的可见性,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 由于JVM运行程序的实体是线程,而每个线程创建时JVM都会为其创建一个工作内存(有些地方称为栈空间),工作内存是每个线程的私有数据区域,而Java内存 模型中规定所有变量都存储在主内存,主内存是共享内存区域,所有线程都可以访问,但线程对变量的操作(读取赋值等)必须在工作内存中进行,首先要将变量从主内存拷贝的自己的工作内存空间,然后对变量进行

  • Java如何实现多个线程之间共享数据

    目录 实现多个线程之间共享数据 一. 如果每个线程执行的代码相同 二. 如果每个线程执行的代码不同 多线程之间共享数据的方式探讨 方式一:代码一致 方式二:代码不一致 实现多个线程之间共享数据 一. 如果每个线程执行的代码相同 可以使用同一个Runnable对象,这个Runnable对象中有那个共享数据,例如:卖票系统 class Ticket implements Runnable{ private int tick = 20; Object obj = new Object(); publi

  • 在Python下尝试多线程编程

    多任务可以由多进程完成,也可以由一个进程内的多线程完成. 我们前面提到了进程是由若干线程组成的,一个进程至少有一个线程. 由于线程是操作系统直接支持的执行单元,因此,高级语言通常都内置多线程的支持,Python也不例外,并且,Python的线程是真正的Posix Thread,而不是模拟出来的线程. Python的标准库提供了两个模块:thread和threading,thread是低级模块,threading是高级模块,对thread进行了封装.绝大多数情况下,我们只需要使用threading

随机推荐