Python 内存管理机制全面分析

内存管理:

概述

在Python中，内存管理涉及到一个包含所有Python对象和数据结构的私有堆(heap). 这个私有堆的管理由内部的Python内存管理器保证。Python内存管理器有不同的组件来处理各种动态存储管理方面的问题，如共享，分割，预分配或缓存。

在最底层，一个原始内存分配器通过与操作系统的内存管理器交互，确保私有堆有足够的空间来存储所有与Python相关的数据。在原始内存分配器的基础上，几个对象特定的分配器在同一个堆上运行，并根据每种对象类型的特点实现不同的内存管理策略。例如，整数对象在堆内的管理方式不同于字符串，元祖，或者字典。因为整数需要不同的存储需求和速度与空间的权衡。因此，Python内存管理器将一些工作分配给对象特定分配器，但确保后者在私有堆的范围内运行。

Python堆内存的管理由解释器来执行，用户对他没有控制权，即使他们经常操作只想堆内存块的对象指针，理解这一点非常重要。Python对象和其他内部缓冲区的堆空间分配是由Python内存管理器按需通过本文档中列出的Python/C API函数进行的。

内存管理机制

Python的内存管理总共分为4层(Layer0-3)

第一层Layer1的仅仅是对malloc的简单包装, raw memory，目的是为了兼容各个操作系统，因为不同的操作系统调用malloc的时候可能会有不同的行为结果；第二层Layer2是内存管理机制的核心，其中gc就是在这一层发挥至关重要的作用。第三层，是对象缓冲池，如Python对一些对象的直接操作，包括int，list等

对于可能被经常使用，而且是immutable的对象，如bool类型，元祖类型，小的整数，长度较短的字符串等，Python会缓存在layer3，直接供Python调用，避免频繁的创建和销毁。'

当一个对象逻辑上不被使用了，但并没有被释放，那么就存在内存泄漏，很可能会造成程序效率低下甚至崩溃

Python分配内存的时候又分为大内存和小内存，大内存以256字节为界限，对于大内存使用Malloc进行分配，而对于小内存则使用内存池进行分配，由于小内存的分配和释放是频繁的，因此内存池的使用大大提高了Python的执行效率。

引用计数

在Python中大多数对象的生命周期都是通过引用计数来管理的，引用技术也是一种最直观最简单的垃圾收集技术

每个Python对象都有一个引用计数器，用于记录多少变量指向这个对象，可以通过sys模块的getrefcount查询获得

每一个对象都会维护一个引用计数器，当一个对象被引用的时候，它的计数器就+1，当一个对象的引用被销毁的时候，计数器-1，当这个对象的引用计数为0的时候，说明这个对象已经没有使用了，可以被释放，就会被回收，具有实时性。由于引用计数需要维护计数器等额外的操作，为了与引用计数搭配，在内存的分配和释放上获得最高的效率，Python因此设计了大量的内存池机制。

下面这些情况引用计数+1

(1). 对象被创建: a = 4

(2). 引用被复制: y = x

(3). 被作为参数传递给函数: f(x)

(4). 作为容器对象的一个元素: a = [1, x]

下面这些情况引用计数-1

(1). 离开作用域，比如f(x)函数结束的时候，x只想的对象引用减1

(2). 引用被显式地销毁: del x

(3). 对象的一个别名被赋值给其他对象: y = 1

(4). 对象从一个容器对象中移除: l.remove(x)

(5). 容器对象本身被销毁: del l

Python的内存管理主要以引用计数为主，引用计数机制能释放大部分无用对象，除了第一种情况，循环引用，因为循环引用的对象那个引用计数器永不为0。

循环引用，就是一个对象直接或者间接引用自己本身，导致计数器不为0

以上就是Python 内存管理机制全面分析的详细内容，更多关于python 内存管理机制的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • 简单了解python的内存管理机制

    Python引入了一个机制:引用计数. 引用计数 python内部使用引用计数,来保持追踪内存中的对象,Python内部记录了对象有多少个引用,即引用计数,当对象被创建时就创建了一个引用计数,当对象不再需要时,这个对象的引用计数为0时,它被垃圾回收. 总结一下对象会在一下情况下引用计数加1: 1.对象被创建:x=4 2.另外的别人被创建:y=x 3.被作为参数传递给函数:foo(x) 4.作为容器对象的一个元素:a=[1,x,'33'] 引用计数减少情况 1.一个本地引用离开了它的作用域.比如上

  • Python深入06——python的内存管理详解

    Python深入06——python的内存管理详解

    语言的内存管理是语言设计的一个重要方面.它是决定语言性能的重要因素.无论是C语言的手工管理,还是Java的垃圾回收,都成为语言最重要的特征.这里以Python语言为例子,说明一门动态类型的.面向对象的语言的内存管理方式. 对象的内存使用 赋值语句是语言最常见的功能了.但即使是最简单的赋值语句,也可以很有内涵.Python的赋值语句就很值得研究. a = 1 整数1为一个对象.而a是一个引用.利用赋值语句,引用a指向对象1.Python是动态类型的语言(参考动态类型),对象与引用分离.Python

  • Python内存管理实例分析

    Python内存管理实例分析

    本文实例讲述了Python内存管理.分享给大家供大家参考,具体如下: a = 1 a是引用,1是对象.Python缓存整数和短字符串,对象只有一份,但长字符串和其他对象(列表字典)则有很多对象(赋值语句创建新的对象). from sys import getrefcount a=[1,2,3] print(getfrecount(a)) 返回4,当使用某个引用作为参数传给getfrecount时,创建了临时引用,+1. 对象引用对象 class from_obj(object): def __i

  • 从Python的源码浅要剖析Python的内存管理

    从Python的源码浅要剖析Python的内存管理

    Python 的内存管理架构(Objects/obmalloc.c): 复制代码 代码如下: _____   ______   ______       ________    [ int ] [ dict ] [ list ] ... [ string ]       Python core         | +3 | <----- Object-specific memory -----> | <-- Non-object memory --> |     _________

  • Python内存管理方式和垃圾回收算法解析

    概要 在列表,元组,实例,类,字典和函数中存在循环引用问题.有 __del__ 方法的实例会以健全的方式被处理.给新类型添加GC支持是很容易的.支持GC的Python与常规的Python是二进制兼容的. 分代式回收能运行工作(目前是三个分代).由 pybench 实测的结果是大约有百分之四的开销.实际上所有的扩展模块都应该依然如故地正常工作(我不得不修改了标准发行版中的 new 和 cPickle 模块).一个叫做 gc 的新模块马上就可以用来调试回收器和设置调试选项. 回收器应该是跨平台可移植

  • python内存管理分析

    python内存管理分析

    本文较为详细的分析了python内存管理机制.分享给大家供大家参考.具体分析如下: 内存管理,对于Python这样的动态语言,是至关重要的一部分,它在很大程度上甚至决定了Python的执行效率,因为在Python的运行中,会创建和销毁大量的对象,这些都涉及到内存的管理. 小块空间的内存池 在Python中,许多时候申请的内存都是小块的内存,这些小块内存在申请后,很快又会被释放,由于这些内存的申请并不是为了创建对象,所以并没有对象一级的内存池机制. Python内存池全景 这就意味着Python在

  • python如何在循环引用中管理内存

    python中通过引用计数来回收垃圾对象,在某些环形数据结构(树,图--),存在对象间的循环引用,比如树的父节点引用子节点,子节点同时引用父节点,此时通过del掉引用父子节点,两个对象不能被立即释放 需求: 如何解决此类的内存管理问题? 如何查询一个对象的引用计数? import sys sys.getrefcount(obj) # 查询引用计数必多 1 ,因为object也引用 查询对象 如何解决内存管理问题? 通过weakref,进行弱引用,当del时候,不再引用,在引用方添加weakref

  • Python深入学习之内存管理

    Python深入学习之内存管理

    语言的内存管理是语言设计的一个重要方面.它是决定语言性能的重要因素.无论是C语言的手工管理,还是Java的垃圾回收,都成为语言最重要的特征.这里以Python语言为例子,说明一门动态类型的.面向对象的语言的内存管理方式.  对象的内存使用 赋值语句是语言最常见的功能了.但即使是最简单的赋值语句,也可以很有内涵.Python的赋值语句就很值得研究. a = 1 整数1为一个对象.而a是一个引用.利用赋值语句,引用a指向对象1.Python是动态类型的语言(参考动态类型),对象与引用分离.Pytho

  • python的内存管理和垃圾回收机制详解

    python的内存管理和垃圾回收机制详解

    简单来说python的内存管理机制有三种 1)引用计数 2)垃圾回收 3)内存池 接下来我们来详细讲解这三种管理机制 1,引用计数: 引用计数是一种非常高效的内存管理手段,当一个pyhton对象被引用时其引用计数增加1,当其不再被引用时引用计数减1,当引用计数等于0的时候,对象就被删除了. 2,垃圾回收(这是一个很重要知识点): ①  引用计数 引用计数也是一种垃圾回收机制,而且是一种最直观,最简单的垃圾回收技术. 在Python中每一个对象的核心就是一个结构体PyObject,它的内部有一个引

  • python 怎样进行内存管理

    从三个方面来说,主要有方面的措施:对象的引用计数机制.垃圾回收机制.内存池机制. 一.对象的引用计数机制 Python内部使用引用计数,来保持追踪内存中的对象,所有对象都有引用计数. 引用计数增加的情况: 1.一个对象分配一个新名称 2.将其放入一个容器中(如列表.元组或字典) 引用计数减少的情况: 1.使用del语句对对象别名显示的销毁 2.引用超出作用域或被重新赋值 sys.getrefcount( )函数可以获得对象的当前引用计数 多数情况下,引用计数比你猜测得要大得多.对于不可变数据(如

  • python内存管理机制原理详解

    python内存管理机制原理详解

    python内存管理机制: 引用计数 垃圾回收 内存池 1. 引用计数 当一个python对象被引用时 其引用计数增加 1 ; 当其不再被变量引用时 引用计数减 1 ; 当对象引用计数等于 0 时, 对象被删除(引用计数是一种非常高效的内存管理机制) 2. 垃圾回收 垃圾回收机制: ① 引用计数 , ②标记清除 , ③分带回收 引用计数 : 引用计数也是一种垃圾收集机制, 而且也是一种最直观, 最简单的垃圾收集技术.当python某个对象的引用计数降为 0 时, 说明没有任何引用指向该对象, 该

随机推荐