详解python 内存优化

写在之前

围绕类的话题，说是说不完的，仅在特殊方法，除了我们在前面遇到过的 __init__()，__new__()，__str__() 等之外还有很多。虽然它们只是在某些特殊的场景中才会用到，但是学会它们却可以成为你熟悉这门语言路上的铺路石。

所以我会在试图介绍一些「黑魔法」，让大家多多感受一下 Python 的魅力所在，俗话说「艺多不压身」就是这个道理了。

内存优化

首先先让我们从复习前面的类属性和实例属性的知识来引出另一个特殊方法：

>>> class Sample:
...   name = 'rocky'
...

就像前面的文章我们所说的，每个类都有一个 __dict__() 属性，它包含了当前类的类属性：

>>> Sample.__dict__
mappingproxy({'__module__': '__main__', 'name': 'rocky', '__dict__': <attribute '__dict__' of 'Sample' objects>, '__weakref__': <attribute '__weakref__' of 'Sample' objects>, '__doc__': None})
>>> Sample.name
'rocky'

同样，如果我们创建了实例，每个实例也有一个 __dict__ 属性，它里面就是当前的实例属性：

>>> a = Sample()
>>> a.__dict__
{}
>>> a.age = 23
>>> a.__dict__
{'age': 23}

上面的操作可以看出，当实例刚刚创建的时候，__dict__ 是空的，只有创建了实例属性以后，它才包含其内容。实例的 __dict__ 和类的 __dict__ 是有所区别的，即实例属性和类属性是不同的。

从理论上来说，我们可以根据一个类创建无数的实例，新建一个实例以后，又创建了一个新的 __dict__，这将是一个很可怕的事情，虽然每个 __dict__ 所占的内存空间很小，当然这件事事实上是不会出现的。但是程序不能建立在这种不可靠的猜测的基础上，程序要对过程有明确的控制。

所以就要有一种方法能够控制 __dict__，于是「__slots__」应运而生。

>>> class Nature:
... __slots__ = ('tree','flower')
...
>>> dir(Nature)
['__class__', '__delattr__', '__dir__', '__doc__', '__eq__', '__format__', '__ge__', '__getattribute__', '__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', '__lt__', '__module__', '__ne__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__slots__', '__str__', '__subclasshook__', 'flower', 'tree']

我们仔细来看 dir() 的结果，发现 __dict__ 属性没有了，也就是说 __slots__ 把 __dict__ 挤出去了，它进入了类的属性。

>>> Nature.__slots__
('tree', 'flower')

从这里可以看出，类 Nature 有且仅有两个属性。从类的角度来看，其类属性只有这两个；从实例的角度来看，其实例属性也只有这两个。

>>> Nature.tree = 'liushu'
>>> Nature.tree
'liushu'
>>> Nature.tree = 'lishu'
>>> Nature.tree
'lishu'

通过类可以对属性进行赋值和修改，这个似乎和以前的类属性没有什么区别，别着急，继续往下看就看到区别了：

>>> x = Nature()
>>> x.__slots__
('tree', 'flower')
>>> y = Nature()
>>> y.__slots__
('tree', 'flower')
>>> id(x.__slots__)
4531629384
>>> id(y.__slots__)
4531629384

你看，实例化以后，实例的 __slots__ 和类的 __slots__ 完全一样，这跟前面的 __dict__ 大不一样了。并且我们建立了两个实例，结果发现两个实例的 __slots__ 在内存中居然是一个，或者可以说是增加实例时 __slots__ 并不增加。

>>> x.tree
'lishu'
>>> y.tree
'lishu'

既然类属性已经赋值，那么通过任何一个实例属性都能得到同样的值，不过这时候不能通过实例修改此属性的值。

>>> x.tree = 'taoshu'
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'Nature' object attribute 'tree' is read-only

对实例属性来说，类的静态数据是只读的，不能修改，只有通过类属性才能修改。但对于尚未赋值的属性，能够通过实例赋值。

>>> x.flower = 'rose'
>>> x.flower
'rose'
>>> x.flower = 'moli'

显然通过实例操作的属性，也能够通过实例修改，但是实例属性的值并不能够修改类属性的值

Nature.flower
<member 'flower' of 'Nature' objects>

由上面可以看出，实例属性的值并没有传回给类属性，也可以理解为新建了一个同名字的实例属性，如果再给类属性赋值的话，则会像下面一样：

>>> Nature.flower = 'huaihua'
>>> x.flower
'huaihua'

类属性对实例属性具有决定作用，对实例而言，通过类所定义的属性都是只读的。

__slots__ 已经把实例属性牢牢的看管起来，只能是指定的属性，如果想要增加属性的话，只能通过类属性来实现，所以 __slots__ 的一个重要作用就是优化了内存。

写在之后

当然了，__slots__ 还能加快属性加载速度，这个不是本文的重点，所以不做过多的介绍，感兴趣的可以去 Google 一下。

今天的文章就到这里啦，明天讲一下「属性拦截」，又是新的一周，燥起来！

如果你觉得文章对你有帮助的话，欢迎点赞转发，让更多的人看到，谢谢啦。

The end。

以上就是详解python 内存优化的详细内容，更多关于python 内存优化的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Python占用的内存优化教程

    概述 如果程序处理的数据比较多.比较复杂,那么在程序运行的时候,会占用大量的内存,当内存占用到达一定的数值,程序就有可能被操作系统终止,特别是在限制程序所使用的内存大小的场景,更容易发生问题.下面我就给出几个优化Python占用内存的几个方法. 说明:以下代码运行在Python3. 举个栗子 我们举个简单的场景,使用Python存储一个三维坐标数据,x,y,z. Dict 使用Python内置的数据结构Dict来实现上述例子的需求很简单. >>> ob = {'x':1, 'y':2,

  • Python内存映射文件读写方式

    我就废话不多说了,还是直接看代码吧! import os import time import mmap filename = 'test.txt' #如果不存在,创建. if not os.path.exists(filename): open(filename, 'w') print(os.path.isdir(filename)) if os.path.isfile(filename): print(time.ctime(os.path.getctime(filename))) fd =

  • 利用Python如何实时检测自身内存占用

    前言 最近在做文本统计,用 Python 实现,遇到了一个比较有意思的难题--如何保存统计结果. 直接写入内存实在是放不下,十几个小时后内存耗尽,程序被迫关闭.如果直接写入数据库吧,每次写入又太慢了,本来就十几个小时了,这样下去就要往星期上数了,也不是个办法. 解决方案 最后,我想到了一个两者兼顾的方案--用内存做缓冲,达到一定量之后一次性将当前所有数据合并到硬盘里. 但这样就有一个阈值,如何确定同步硬盘的时机,通常可以按照文件粒度进行处理,比如处理一个语料文件同步一次--但我的语料有大有小,大

  • python 申请内存空间,用于创建多维数组的实例

    以三维数组为例 先申请1个一维数组空间: mat = [None]*d1 d1是第一维的长度. 再把mat中每个元素扩展为第二维的长度: for i in range(len(mat)): mat[i][j] = [None]*d2 类似的,把mat中每个元素扩展为第三维的大小: for i in range(len(mat)): for j in range(len(mat[0]): mat[i][j] = [None]*d3 以上是创建的"数组"其实是list类,不是严格意义的数组

  • Python跑循环时内存泄露的解决方法

    Python跑循环时内存泄露 今天在用Tensorflow跑回归做测试时,仅仅需要循环四千多次 (补充说一句,我在个人PC上跑的).运行以后,我就吃饭去了.等我回来后,Console窗口直接亮红了!!! import numpy as np import pandas as pd import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import tensorflow as tf import matplo

  • 详解如何减少python内存的消耗

    Python 打算删除大量涉及像C和C++语言那样的复杂内存管理.当对象离开范围,就会被自动垃圾收集器回收.然而,对于由 Python 开发的大型且长期运行的系统来说,内存管理是不容小觑的事情. 在这篇博客中,我将会分享关于减少 Python 内存消耗的方法和分析导致内存消耗/膨胀根源的问题.这些都是从实际操作中总结的经验,我们正在构建 Datos IO 的 RecoverX 分布式备份和恢复平台,这里主要要介绍的是在 Python(在 C++ ,Java 和 bash 中也有一些类似的组件)

  • python从内存地址上加载python对象过程详解

    这篇文章主要介绍了python从内存地址上加载pythn对象过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 在python中我们可以通过id函数来获取某个python对象的内存地址,或者可以通过调用对象的__repr__魔术函数来获取对象的详细信息 def tt(): print(111) print(tt.__repr__()) print(id(tt)) 但是不知大家是否想过,其实这个内存地址可以直接加载python对象的.有两种方

  • Python StringIO如何在内存中读写str

    这篇文章主要介绍了python StringIO如何在内存中读写str,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 StringIO 很多时候,数据读写不一定是文件,也可以在内存中读写.StringIO就是在内存中读写str from io import StringIO ff = StringIO('Hello!\nHi!\nGoodbye!') f = StringIO() #创建StringIO对象--可以看做在内存中的文件 i=f.w

  • 详解python 内存优化

    写在之前 围绕类的话题,说是说不完的,仅在特殊方法,除了我们在前面遇到过的 __init__(),__new__(),__str__() 等之外还有很多.虽然它们只是在某些特殊的场景中才会用到,但是学会它们却可以成为你熟悉这门语言路上的铺路石. 所以我会在试图介绍一些「黑魔法」,让大家多多感受一下 Python 的魅力所在,俗话说「艺多不压身」就是这个道理了. 内存优化 首先先让我们从复习前面的类属性和实例属性的知识来引出另一个特殊方法: >>> class Sample: ... na

  • 详解Android内存优化策略

    目录 前言 一.内存优化策略 二.具体优化的点 1.避免内存泄漏 2.Bitmap等大对象的优化策略 (1) 优化Bitmap分辨率 (2) 优化单个像素点内存 (3) Bitmap的缓存策略 (4) drawable资源选择合适的drawable文件夹存放 (5) 其他大对象的优化 (6) 避免内存抖动 3.原生API回调释放内存 4.内存排查工具 (1)LeakCanary监测内存泄漏 (2)通过Proflier监控内存 (3)通过MAT工具排查内存泄漏 总结 前言 在开始之前需要先搞明白一

  • 详解Android内存泄露及优化方案

    目录 一.常见的内存泄露应用场景? 1.单例的不恰当使用 2.静态变量导致内存泄露 3.非静态内部类导致内存泄露 4.未取消注册或回调导致内存泄露 5.定时器Timer 和 TimerTask 导致内存泄露 6.集合中的对象未清理造成内存泄露 7.资源未关闭或释放导致内存泄露 8.动画造成内存泄露 9.WebView 造成内存泄露 总结 一.常见的内存泄露应用场景? 1.单例的不恰当使用 单例是我们开发中最常见和使用最频繁的设计模式之一,所以如果使用不当就会导致内存泄露.因为单例的静态特性使得它

  • 详解python的内存分配机制

    开始 作为一个实例,让我们创建四个变量并为其赋值: variable1 = 1 variable2 = "abc" variable3 = (1,2) variable4 = ['a',1] #打印他们的ids print('Variable1: ', id(variable1)) print('Variable2: ', id(variable2)) print('Variable3: ', id(variable3)) print('Variable4: ', id(variabl

  • 详解Android内存泄露及优化方案一

    目录 一.常见的内存泄露应用场景? 1.单例的不恰当使用 2.静态变量导致内存泄露 3.非静态内部类导致内存泄露 4.未取消注册或回调导致内存泄露 5.定时器Timer 和 TimerTask 导致内存泄露 6.集合中的对象未清理造成内存泄露 7.资源未关闭或释放导致内存泄露 8.动画造成内存泄露 9.WebView 造成内存泄露 总结 一.常见的内存泄露应用场景? 1.单例的不恰当使用 单例是我们开发中最常见和使用最频繁的设计模式之一,所以如果使用不当就会导致内存泄露.因为单例的静态特性使得它

  • 详解Python如何实现尾递归优化

    详解Python如何实现尾递归优化

    目录 一般递归与尾递归 一般递归 尾递归 C中尾递归的优化 Python开启尾递归优化 一般递归与尾递归 一般递归 def normal_recursion(n): if n == 1: return 1 else: return n + normal_recursion(n-1) 执行: normal_recursion(5)5 + normal_recursion(4)5 + 4 + normal_recursion(3)5 + 4 + 3 + normal_recursion(2)5 +

  • 详解Python中4种超参自动优化算法的实现

    详解Python中4种超参自动优化算法的实现

    目录 一.网格搜索(Grid Search) 二.随机搜索(Randomized Search) 三.贝叶斯优化(Bayesian Optimization) 四.Hyperband 总结 大家好,要想模型效果好,每个算法工程师都应该了解的流行超参数调优技术. 今天我给大家总结超参自动优化方法:网格搜索.随机搜索.贝叶斯优化 和 Hyperband,并附有相关的样例代码供大家学习. 一.网格搜索(Grid Search) 网格搜索是暴力搜索,在给定超参搜索空间内,尝试所有超参组合,最后搜索出最优

  • 详解Python自建logging模块

    简单使用 最开始,我们用最短的代码体验一下logging的基本功能. import logging logger = logging.getLogger() logging.basicConfig() logger.setLevel('DEBUG') logger.debug('logsomething') #输出 out>>DEBG:root:logsomething 第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的. 第二步,loggi

  • 详解Python中import机制

    Python语言中import的使用很简单,直接使用import module_name语句导入即可.这里我主要写一下"import"的本质. Python官方定义: Python code in one module gains access to the code in another module by the process of importing it. 1.定义: 模块(module):用来从逻辑(实现一个功能)上组织Python代码(变量.函数.类),本质就是*.py文

  • 详解python 支持向量机(SVM)算法

    相比于逻辑回归,在很多情况下,SVM算法能够对数据计算从而产生更好的精度.而传统的SVM只能适用于二分类操作,不过却可以通过核技巧(核函数),使得SVM可以应用于多分类的任务中. 本篇文章只是介绍SVM的原理以及核技巧究竟是怎么一回事,最后会介绍sklearn svm各个参数作用和一个demo实战的内容,尽量通俗易懂.至于公式推导方面,网上关于这方面的文章太多了,这里就不多进行展开了~ 1.SVM简介 支持向量机,能在N维平面中,找到最明显得对数据进行分类的一个超平面!看下面这幅图: 如上图中,

随机推荐