python变量的内存机制

python变量的内存机制

作为一门简单易用的语言，且配备海量的库，python可谓是程序员手中的掌中宝，编程本身就是一种将人类思维转化为计算机思维的技术，如果不需要去追求极致的运行效率同时又不限制于计算机内存空间，python无疑是目前最方便的语言了。

作为一个合格的程序员，自然是要知其然并知其所以然，除了能够应用python来放飞自我之外，同时也要探究python其内部的运行原理，首当其冲的python编程中必须要用到的变量以及背后的运行机制。

注：以下示例在linux平台下编写，使用python2.7

引用机制

python的变量-内存模型更像是C++中的引用机制，python中的每个变量不一定占用内存空间，变量更像是一份内存的引用，通过这个变量可以访问到内存中的数据，举个例子：

>>>a=10
>>>b=a
>>>c=[1,2,3,4]
>>>d=c
>>>print "%x%x" %(id(a),id(b))
>>>print "%x%x" %(id(c),id(d))


输出结果：

b51080.b51080
7f28bf69b758.7f28bf69b758


其中id()是python的系统函数，返回对象的内存起始地址。

从结果可以看出，a与b，c与d变量对应的地址事实上为同一个地址，也就是当我们使用变量a和b时，使用的是同一个对象，而a,b是这个对象的引用，我们可以通过系统函数sys.getrefcount()来查看一个对象的引用数量：

>>>import sys
>>>a=257
>>>print sys.getrefcount(a)
>>>b=a
>>>print sys.getrefcount(a)


输出结果：

2
3


显然，这个结果并不在我们的预料当中，由于a和b在同一个地址，结果应该是1、2，为什么是2,3呢？

这是因为在sys.getrefcount()函数调用时，a作为参数也被引用了一次，所以出现了2、3的结果。

缓存小数据机制

上面讲了python变量赋值时的内存机制，事情就这么完美结束了吗？

并没有！！！

我们再来看一个例子：

>>> a=10
>>> b=10
>>> print "%x.%x" %(id(a),id(b))


输出结果：

b51080.b51080


看到这个结果，我缓缓摘下我的眼镜，拿95%浓度的医用酒精仔仔细细擦了三遍之后再戴上看，没看错！这两个变量还是同一个地址内容的引用，这一次两个变量的初始化是独立的，并非赋值初始化，为什么两个变量还是同一个地址的引用呢？

答案是：

在Python中，Python会有一个缓存对象的机制，以便重复使用。当我们创建多个等于1的引用时，实际上是让所有这些引用指向同一个对象，以达到节省资源的目的


原来是这样！！！

但是仔细一想，这不对吧？如果每个数据都进行缓存，那岂不是对内存空间的极度浪费？还是说内存回收机制会过一段时间回收一次垃圾内存？

我们再来看下面一个例子：

>>> a=100
>>> b=100
>>> print "%d%d" %(id(a),id(b))
>>> a=256
>>> b=256
>>> print "%d%d" %(id(a),id(b))
>>> a=257
>>> b=257
>>> print "%d%d" %(id(a),id(b))


输出结果：

5223836.5223836
5225932.5225932
5241840.5241864


从结果来看，当a小于256时，这个值会被系统缓存循环利用，而当a>256时，系统并不会进行缓存(当然不仅仅是三次实验的结果，博主后续还试了很多值，就不一一列出了)

我们来用另一种方法来验证这个问题，即sys.getrefcount()：

>>>import sys
>>>a=10
>>>print sys.getrefcount(a)
>>>a=257
>>>print sys.getrefcount(a)


输出结果为：

15
2


结果显而易见，10这个值被系统缓存，且在别处引用了多次，而257这个值为2(为什么为2而不是1在上面有解释)

那么问题又来了，如果是其他类型的数据呢？我们接着看

>>>a="downey"
>>>b="downey"
>>>print "%d%d" %(id(a),id(b))


结果为：

39422528.39422528


短字符串也会有缓存机制

然后是list：

>>>a=[1,2,3]
>>>b=[1,2,3]
>>>print "%d%d" %(id(a),id(b))
39704576.39745176


list并没有缓存机制，从这里可以看出，python的缓存机制并不针对所有变量类型

变量缓存结论

根据各种实验以及多方查证，结果表明：

• python的变量其实是一种堆内存的引用，可以理解为一个实体的标签，而在不同变量之间的拷贝复制(如a=b)，他们所表示的对象实体是同一个
• python会对-5-256(包括256)的整型数据和短字符串进行缓存以节省多次分配销毁的开销

看到这里，喜欢思考的朋友们不禁就要问了，缓存这些整型数据和短字符串真的对性能有明显提升吗？python代码中能有多少个整型变量？

答案是：整型变量对应整型的内存对象，但是整型的内存对象并不仅仅对应整型的变量类型，容器中的整形元素可能也是整形变量的引用

如果你还有疑惑，我们来看看下面的例子：

>>> import sys
>>> a=1
>>> sys.getrefcount(a)
128
>>> b=[1,2,3]
>>> sys.getrefcount(a)
129


从打印的结果可以看出，整型变量a=1，表示a指向对象1，为1的引用，b[0]也被初始化为1，同样的，b[0]同时也是对象1的引用，对于所有容器而言，都是这种形式，看到这里，各位观众老爷们应该是有所理解了吧。

关于python变量内存机制对变量使用的影响可以参考这一篇博客：python函数调用时参数传递方式

内存回收

既然说到了内存机制，必然涉及到分配和回收的机制，内存分配就很简单，在定义对象的时候用到进行内存的分配，而内存的回收则没那么简单，因为在内存回收的过程中，python无法执行其他任务，所以频繁地内存回收会导致严重的效率问题，而内存回收间隔时间过长则会导致内存浪费严重，所以一般只有在特定时间内启动内存回收。

python运行时，会记录下来分配和释放的次数，只有当两个值的差大于某个数值时，即

分配次数-释放次数>触发回收的阈值


时，python进行垃圾回收，我们可以使用get_threshold()方法来获取阈值：

>>>import gc
>>>print gc.get_threshold()


输出结果：

(700,10,10)


这个700便是触发内存回收的阈值。但是后面的两个10又是什么意思呢？

这也是内存回收中的一种机制，叫做分代回收，这一策略的基本假设是：存在时间越久的对象，越不可能成为垃圾对象，即给予一些长期使用的对象更多信任。

Python将所有的对象分为0，1，2三代。所有的新建对象都是0代对象。当某一代对象经历过垃圾回收，依然存活，那么它就被归入下一代对象。垃圾回收启动时，一定会扫描所有的0代对象。如果0代经过一定次数垃圾回收，那么就启动对0代和1代的扫描清理。当1代也经历了一定次数的垃圾回收后，那么会启动对0，1，2，即对所有对象进行扫描

这两个次数即上面get_threshold()返回的(700, 10, 10)返回的两个10。也就是说，每10次0代垃圾回收，会配合1次1代的垃圾回收；而每10次1代的垃圾回收，才会有1次的2代垃圾回收。

我们也可以手动地调整触发回收的阈值，聪明的朋友们可以猜到这个方法了，既然有get，必然相对应的就是set：

import gc
gc.set_threshold(600,8,7)


除了被动地等待系统回收，当然也可以手动地进行内存回收：

import gc
gc.collect()


其实java也好，python也好，每一种语言的内存机制将从根本上影响语言的执行效率，所以在内存的处理上会有很多更加复杂的细节，这里只是介绍了一个大体的框架，班门弄斧，欢迎路过的大神们指正和补充。

好了，关于python变量内存机制的问题就到此为止了，如果朋友们对于这个有什么疑问或者发现有文章中有什么错误，欢迎留言

个人邮箱：linux_downey@sina.com

原创博客，转载请注明出处！

祝各位早日实现项目丛中过，bug不沾身.

（完）