python函数内存机制 python内存操作

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

python的内存驻留机制（小数据池）

python的内存驻留机制，是一种节省内存的方案，它将int, str, bool类型的数据做成小数据池。当程序要创建字符串等对象前会先检查池中是否有满足的字符串。

驻留机制节省大量的重复内存。在内部，小数据池是由一个全局的dict 维护，该字典中的对象成了单例模式，从而节省内存。

变量 interned 就是全局存放字符串池的字典的变量名 interned = PyDict_New() ，为了让 intern 机制中的字符串不被回收，设置字典时 PyDict_SetDefault(interned, s, s); 将字符串作为键同时也作为值进行设置，这样对于字符串对象的引用计数就会进行两次 +1 操作，这样存于字典中的对象在程序结束前永远不会为 0，这也是 y_REFCNT(s) -= 2; 将计数减 2 的原因。

从函数参数中可以看到其实字符串对象还是被创建了，内部其实始终会为字符串创建对象，但经过 inter 机制检查后，临时创建的字符串会因引用计数为 0 而被销毁，临时变量在内存中昙花一现然后迅速消失。

指定要驻留的字符串：

为什么要进行字符串驻留呢？

总结：

系统维护一个interned全局字典，记录已被驻留的字符串对象，当新字符串a对象需要驻留时，先在interned中查找是否存在，若存在则指向已存在的字符串对象，a对象的引用计数减1，若不存在，则记录a对象到interned中。

相关问答

Q1: python面试题总结1-内存管理机制

（1）.引用计数

（2）. 垃圾回收

(3）. 内存池机制

在python中每创建一个对象，对应的会有一个引用计数，当发生赋值操作如a=b，对应的b的引用计数会自动加1，当引用的对象被清除或者函数结束时，引用计数会自动减1。

在python中使用引用计数，标记清楚，分代回收三种方式进行垃圾回收。

其中，引用计数当对象的引用计数归0时，对象会自动被清除。标记清除机制是首先遍历所有对象，如果对象可达，就说明有变量引用它，则标记其为可达的。如果不可达，则对其进行清除。分代回收是当对象创建时被标记为第0代，经过一次垃圾回收之后，余下的对象被标记为第1代，最高为第2代。其原理是，对象的生存期越长，月可能不是垃越。

ython语言虽然提供了对内存的垃圾收集机制，但实际上它将不用的内存放到内存池而不是返回给操作系统，所以就有了以下：

1 Pymalloc机制；这个主要是为了加速Python的执行效率，Python引入了一个内存池机制，用于管理，为了对小块内存的申请和释放。

2 Python中所有小于256个字节的对象都是依靠pymalloc分配器来实现的，而稍大的对象用的则是系统的malloc。

3 对于Python对象，比如整数、浮点数和List这些，都有自己独立的内存池，对象间并不共享他们的内存池。换句话说就是，假设你分配并且释放了大量的整数，那么用于缓存这些整数的内存就不能再分配给浮点数。

Q2: Python内存驻留机制

字符串驻留机制在许多面向对象编程语言中都支持，比如Java、python、Ruby、PHP等，它是一种数据缓存机制，对不可变数据类型使用同一个内存地址，有效的节省了空间，本文主要介绍Python的内存驻留机制。

字符串驻留就是每个字符串只有一个副本，多个对象共享该副本，驻留只针对不可变数据类型，比如字符串，布尔值，数字等。在这些固定数据类型处理中，使用驻留可以有效节省时间和空间，当然在驻留池中创建或者插入新的内容会消耗一定的时间。

下面举例介绍python中的驻留机制。

在Python对象及内存管理机制一文中介绍了python的参数传递以及以及内存管理机制，来看下面一段代码：

知道结果是什么吗？下面是执行结果：

l1和l2内容相同，却指向了不同的内存地址，l2和l3之间使用等号赋值，所以指向了同一个对象。因为列表是可变对象，每创建一个列表，都会重新分配内存，列表对象是没有“内存驻留”机制的。下面来看不可变数据类型的驻留机制。

在 Jupyter或者控制台交互环境中执行下面代码：

执行结果：

可以发现a1和b1指向了不同的地址，a2和b2指向了相同的地址，这是为什么呢？

因为启动时，Python 将一个 -5~256 之间整数列表预加载（缓存）到内存中，我们在这个范围内创建一个整数对象时，python会自动引用缓存的对象，不会创建新的整数对象。

浮点型不支持：

如果上面的代码在非交互环境，也就是将代码作为python脚本运行的结果是什么呢？（运行环境为python3.7）

全为True，没有明确的限定临界值，都进行了驻留操作。这是因为使用不同的环境时，代码的优化方式不同。

在 Jupyter或者控制台交互环境中：

满足标识符命名规范的字符：

结果：

乘法获取字符串（运行环境为python3.7）

结果：

在非交互环境中：

注意：字符串是在编译时进行驻留，也就是说，如果字符串的值不能在编译时进行计算，将不会驻留。比如下面的例子：

在交互环境执行结果如下：

都指向不同的内存。

python 3.7 非交互环境执行结果：

发现d和e指向不同的内存，因为d和e不是在编译时计算的，而是在运行时计算的。前面的 a = 'aa'*50 是在编译时计算的。

除了上面介绍的python默认的驻留外，可以使用sys模块中的intern()函数来指定驻留内容

结果：

使用intern()后，都指向了相同的地址。

本文主要介绍了python的内存驻留，内存驻留是python优化的一种策略，注意不同运行环境下优化策略不一样，不同的python版本也不相同。注意字符串是在编译时进行驻留。

--THE END--

Q3: Python 的内存管理机制

Python采用自动内存管理，即Python会自动进行垃圾回收，不需要像C、C++语言一样需要程序员手动释放内存，手动释放可以做到实时性，但是存在内存泄露、空指针等风险。

Python自动垃圾回收也有自己的优点和缺点：优点：

缺点：

Python的垃圾回收机制采用以引用计数法为主，分代回收为辅的策略。

先聊引用计数法，Python中每个对象都有一个核心的结构体，如下

一个对象被创建时，引用计数值为1，当一个变量引用一个对象时，该对象的引用计数ob_refcnt就加一，当一个变量不再引用一个对象时，该对象的引用计数ob_refcnt就减一，Python判断是否回收一个对象，会将该对象的引用计数值ob_refcnt减一判断结果是否等于0，如果等于0就回收，如果不等于0就不回收，如下：

一个对象在以下三种情况下引用计数会增加：

一个对象在以下三种情况引用计数会减少：

验证案例：

运行结果：

事实上，关于垃圾回收的测试，最好在终端环境下测试，比如整数257，它在PyCharm中用下面的测试代码打印出来的结果是4，而如果在终端环境下打印出来的结果是2。这是因为终端代表的是原始的Python环境，而PyCharm等IDE做了一些特殊处理，在Python原始环境中，整数缓存的范围是在 [-5, 256] 的双闭合区间内，而PyCharm做了特殊处理之后，PyCharm整数缓存的范围变成了 [-5, 无穷大]，但我们必须以终端的测试结果为主，因为它代表的是原始的Python环境，并且代码最终也都是要发布到终端运行的。

好，那么回到终端，我们来看两种特殊情况

前面学习过了，整数缓存的范围是在 [-5, 256] 之间，这些整数对象在程序加载完全就已经驻留在内存之中，并且直到程序结束退出才会释放占有的内存，测试案例如下：

如果字符串的内容只由字母、数字、下划线构成，那么它只会创建一个对象驻留在内存中，否则，每创建一次都是一个新的对象。

引用计数法有缺陷，它无法解决循环引用问题，即A对象引用了B对象，B对象又引用了A对象，这种情况下，A、B两个对象都无法通过引用计数法来进行回收，有一种解决方法是程序运行结束退出时进行回收，代码如下：

前面讲过，Python垃圾回收机制的策略是以引用计数法为主，以分代回收为辅。分代回收就是为了解决循环引用问题的。

Python采用分代来管理对象的生命周期：第0代、第1代、第2代，当一个对象被创建时，会被分配到第一代，默认情况下，当第0代的对象达到700个时，就会对处于第0代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第0代中存活的对象会被分配为第1代，同样，当第1代的对象个数达到10个时，也会对第1代的对象进行检测和回收，将存在循环引用的对象释放内存，经过垃圾回收后，第1代中存活的对象会被分配为第2代，同样，当第二代的对象个数达到10个时，也会对第2代的对象进行检测和回收，将存在循环引用的对象释放内存。Python就是通过这样一种策略来解决对象之间的循环引用问题的。

测试案例：

运行结果：

如上面的运行结果，当第一代中对象的个数达到699个即将突破临界值700时（在打印699之前就已经回收了，所以看不到698和699）进行了垃圾回收，回收掉了循环引用的对象。

第一代、第二代、第三代分代回收都是有临界值的，这个临界值可以通过调用 gc.get_threshold 方法查看，如下：

当然，如果对默认临界值不满意，也可以调用 gc.set_threshold 方法来自定义临界值，如下：

最后，简单列出两个gc的其它方法，了解一下，但禁止在程序代码中使用

以上就是对Python垃圾回收的简单介绍，当然，深入研究肯定不止这些内容，目前，了解到这个程度也足够了。

Q4: Python如何进行内存管理

Python的内存管理，一般从以下三个方面来说：

1)对象的引用计数机制(四增五减)

2)垃圾回收机制(手动自动，分代回收)

3)内存池机制(大m小p)