python申请内存函数 python申请内存空间

Python如何进行内存管理

Python的内存管理，一般从以下三个方面来说：

1)对象的引用计数机制(四增五减)

2)垃圾回收机制(手动自动，分代回收)

3)内存池机制(大m小p)

1)对象的引用计数机制

要保持追踪内存中的对象，Python使用了引用计数这一简单的技术。sys.getrefcount(a)可以查看a对象的引用计数，但是比正常计数大1，因为调用函数的时候传入a，这会让a的引用计数+1

2)垃圾回收机制

吃太多，总会变胖，Python也是这样。当Python中的对象越来越多，它们将占据越来越大的内存。不过你不用太担心Python的体形，它会在适当的时候“减肥”，启动垃圾回收(garbage

collection)，将没用的对象清除

从基本原理上，当Python的某个对象的引用计数降为0时，说明没有任何引用指向该对象，该对象就成为要被回收的垃圾了

比如某个新建对象，它被分配给某个引用，对象的引用计数变为1。如果引用被删除，对象的引用计数为0，那么该对象就可以被垃圾回收。

然而，减肥是个昂贵而费力的事情。垃圾回收时，Python不能进行其它的任务。频繁的垃圾回收将大大降低Python的工作效率。如果内存中的对象不多，就没有必要总启动垃圾回收。

所以，Python只会在特定条件下，自动启动垃圾回收。当Python运行时，会记录其中分配对象(object

allocation)和取消分配对象(object deallocation)的次数。当两者的差值高于某个阈值时，垃圾回收才会启动。

我们可以通过gc模块的get_threshold()方法，查看该阈值。

3)内存池机制

Python中有分为大内存和小内存：(256K为界限分大小内存)

1、大内存使用malloc进行分配

2、小内存使用内存池进行分配

python中的内存管理机制都有两套实现，一套是针对小对象，就是大小小于256K时，pymalloc会在内存池中申请内存空间;当大于256K时，则会直接执行系统的malloc的行为来申请内存空间。

相关问答

Q1: 如何使用Python动态控制Linux系统的内存占用百分比

如何使用Python动态控制Linux系统的内存占用百分比?

近期有网上朋友寻求帮助：如何通过脚本动态控制Linux系统的内存占用百分比？经过一番百度+编写调试，终于初步完成了动态控制Linux系统内存占用百分比。现写出来以帮助更多的朋友。

1 前言

根据需求是动态控制Linux系统内存占用百分比，比如当前内存占用30%，如果设置内存占用为70%，则需要申请内存使达到占用70%；如果再降低到40%，则需要释放部分申请的内存。其实脚本的本质是内存动态申请与释放。

注意：因为Python脚本运行之前内存有一定占用，故设定内存占用不能低于该百分比。

2 内存动态申请

通过查询资料，使用Python动态申请内存块，可以使用ctypes包中的函数，导入包及代码如下所示：

from ctypes import *

mem=create_string_buffer(1024)

说明：内存申请使用create_string_buffer()函数，上面申请了1024字节的内存块。

下面演示申请100MB内存前后变化

申请前如下图所示：

使用代码如下：

mem=create_string_buffer(104857600)

申请后如下图所示：

从上述两幅图中可以看出，申请内存前内存占用295MB，申请后内存占用397MB，增加了约100MB内存占用。

3 内存动态释放

由于Python对内存是有垃圾回收机制的，采用对象引用计数方式。当对象的引用计数为0时，启动垃圾回收GC。此处内存动态释放就是使用该原理。

代码如下：

mem=None

释放后内存占用如下图所示：

内存占用由397MB降低到297MB，释放了100MB内存占用。

说明：将None赋值给对象mem后，mem对象的引用计数即为0，此时垃圾回收启动，释放mem对象占用的内存。

4 系统总内存、占用内存检测

由于需要设定内存占用百分比，故需要获取系统总物理内存和占用内存。本文使用的方法是读取系统文件“/proc/meminfo”，从中解析出总内存大小以及当前内存占用大小等内存相关的信息。该文件内容格式如下图所示：

代码片段如下所示：

f = open("/proc/meminfo")

lines = f.readlines()

f.close()

for line in lines:

if len(line) 2:continue

name = line.split(':')[0]

var = line.split(':')[1].split()[0]

mem[name]= long(var)* 1024.0

mem['MemUsed']= mem['MemTotal']- mem['MemFree']

说明：按行读取meminfo文件内容，创建字典对象mem，将meminfo文件第一列设置为mem对象的键值，将meminfo文件第二列数字设置为mem对象的值。

5 获取用户输入百分比

通过读取键盘输入字符串，然后转换为数字实现接收用户输入的百分比，代码如下所示：

input_str=raw_input("Input UsedMemory`s Rate or q to exit:")

rate=float(input_str)

注意：此处键盘输入的都是字符串，需要进行字符串转换为数字，使用float()或long()函数进行转换。

6 动态设置内存占用百分比测试

测试使用两个Python脚本文件，分别是test.py和mem_rate.py，其功能分别是查看当前内存占用和动态设定内存占用百分比。如下图所示：

注意：上述两个文件需要使用“chmod +x *.py”修改为可执行属性。

6.1 查看当前内存占用

查看当前内存占用百分比，使用上述test.py文件，运行命令为“./test.py”，运行结果如下图所示：

当前使用内存为320MB，占用百分比为17%。

6.2 动态设置内存占用百分比

动态设置内存占用百分比使用上述mem_rate.py脚本，注意该脚本文件第一行代码为“#!/usr/bin/python2.6”，表示该脚本使用python2.6程序运行。该行需要修改为待运行Linux系统中Python实际的安装程序路径。

动态内存百分比设置界面如下图所示：

处于待输入状态。另外显示了当前内存占用（321MB），总内存大小（1869MB）以及内存占用百分比（17%）。

如果此时设置内存占用百分比为80%，则脚本会每次申请10MB空间，直至内存占用接近或等于80%为止。如下图所示：

内存申请过程如下图所示：

内存申请过程中占用百分比变化为：35%，45%，56%，70%，…

mem_rate.py运行过程如下图所示：

内存申请过程中占用变化为：1461MB，1471MB，1481MB，1491MB。

此时如果内存占用百分比设置为20%，则需要释放一部分内存。

test.py脚本运行过程如下图所示：

由于释放内存运行较快，抓取到最后结果

内存占用为20%。

mem_rate.py脚本运行过程如下图所示：

内存释放过程中内存占用为：413MB，403MB，393MB，383MB，最后内存占用稳定在20%，383MB。

输入“q”或“Q”退出内存占用百分比设定过程，如下图所示：

此时内存占用如下图所示：

内存占用恢复到运行mem_rate.py脚本之前状态，17%，321MB。

※※※※※※※※※※※※※※※※※※※※※※※※※※※※※

附：完整Python脚本代码

test.py

------------------------------------------------------------------------------------------------

#!/usr/bin/python2.6

def memory_stat():

mem = {}

f = open("/proc/meminfo")

lines = f.readlines()

f.close()

for line in lines:

if len(line) 2:continue

name = line.split(':')[0]

var = line.split(':')[1].split()[0]

mem[name]= long(var)* 1024.0

mem['MemUsed']= mem['MemTotal']- mem['MemFree']

# - mem['Buffers']- mem['Cached']

return mem

mem=memory_stat()

print("Used(MB):%d"%(long(mem['MemUsed'])/1024/1024))

print("Rate:%d%%"%(100*long(mem['MemUsed'])/float(mem['MemTotal'])))

§§§§§§§§§§§§§§§§§§§§§§§§§§

mem_rate.py

---------------------------------------------------

#!/usr/bin/python2.6

from ctypes import *

# Get Memory Info(Total, Used... Byte)

def get_memory_stat():

mem = {}

f = open("/proc/meminfo")

lines = f.readlines()

f.close()

for line in lines:

if len(line) 2:continue

name = line.split(':')[0]

var = line.split(':')[1].split()[0]

mem[name]= long(var)* 1024.0

mem['MemUsed']= mem['MemTotal']- mem['MemFree']

# Return MemroyInfo Object

return mem

# Get Simple Memory Info

def get_memory_info(mem):

# Byte - MB

n=1024* 1024

used=float(mem['MemUsed'])/ n

total=float(mem['MemTotal'])/ n

rate=used/total* 100

smp={'used':used,'total':total,'rate':rate}

return smp

# Display Current Memory Info

def print_memory_info(mem):

# Get SimpleMemory Info

smp=get_memory_info(mem)

print("Used(MB):%d\tTotal(MB):%d\tUsedRate:%d%%"%(smp['used'], smp['total'], smp['rate']))

# Get Rate Of Memory Used To Be Setted(Integer Formate)

def input_memory_used_rate(org_rate):

# Byte - MB

n=1024* 1024

while(True):

mem=get_memory_stat()

print_memory_info(mem)

input_str=raw_input("Input UsedMemory`s Rate or q to exit:")

if(len(input_str)== 0):

continue

if("q"== input_str):

info={'rate':0,'used':mem['MemUsed']/ n}

return info

if("Q"== input_str):

info={'rate':0,'used':mem['MemUsed']/ n}

return info

try:

rate=float(input_str)

if((rate=org_rate)and (rate=95)):

info={'rate':rate,'used':mem['MemUsed']/ n}

return info

else:

print("Please inputa valid number(%d%%~95%%)."%(org_rate))

except:

print("Please inputa valid number(%d%%~95%%)."%(org_rate))

# Set Rate Of Memory Used

def set_memory_used_rate(new_rate, total, pre_used,list):

if(new_rate==0):

return None

dest_mem=total* new_rate /100.0

# 10MB

mb10=10485760

n_chg=10

# Free Memory OrAllocate Memory ?

is_new=dest_mempre_used

cur_used=pre_used

while(True):

# To Calc FreeMemory Or Allocate Memory ?

need_new=dest_mem-n_chg=pre_used

need_del=dest_mem+n_chg=pre_used

# Need To AllocateMemory

if(is_new):

if(need_new):

p=create_string_buffer(mb10)

list.append(p)

dest_mem=dest_mem-n_chg

cur_used=cur_used+n_chg

else:

return"end"

# Need To FreeMemory

else:

idx=len(list)-1

if(need_deland (idx=0)):

p=list[idx]

del list[idx]

p=None

dest_mem=dest_mem+n_chg

cur_used=cur_used-n_chg

else:

return"end"

print("****** MemoryUsed(MB):%d"%(cur_used))

# Entry Of Program

# List Of Memory Object, 10MB Of One Object

list=[]

# Get Current Memory Info

mem=get_memory_stat()

# Get Simple Memory Info

smp=get_memory_info(mem)

org_rate=smp['rate']

total=smp['total']

while(True):

# Get Rate OfMemory To Be Used

info=input_memory_used_rate(org_rate)

new_rate=float(info['rate'])

pre_used=float(info['used'])

# Set Rate OfMemory To Be Used

rtn=set_memory_used_rate(new_rate, total, pre_used, list)

if(not rtn):

print("bye!")

exit()

Q2: python如何进行内存管理

Python的内存管理主要有三种机制：引用计数机制，垃圾回收机制和内存池机制。

引用计数机制

简介

python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，即引用计数，当对象被创建时就创建了一个引用计数，当对象不再需要时，这个对象的引用计数为0时，它被垃圾回收。

特性

1.当给一个对象分配一个新名称或者将一个对象放入一个容器(列表、元组或字典)时，该对象的引用计数都会增加。

2.当使用del对对象显示销毁或者引用超出作用于或者被重新赋值时，该对象的引用计数就会减少。

3.可以使用sys.getrefcount()函数来获取对象的当前引用计数。多数情况下，引用计数要比我们猜测的大的多。对于不可变数据(数字和字符串)，解释器会在程序的不同部分共享内存，以便节约内存。

垃圾回收机制

特性

1.当内存中有不再使用的部分时，垃圾收集器就会把他们清理掉。它会去检查那些引用计数为0的对象，然后清除其在内存的空间。当然除了引用计数为0的会被清除，还有一种情况也会被垃圾收集器清掉：当两个对象相互引用时，他们本身其他的引用已经为0了。

2.垃圾回收机制还有一个循环垃圾回收器, 确保释放循环引用对象(a引用b, b引用a, 导致其引用计数永远不为0)。

内存池机制

简介

在Python中，许多时候申请的内存都是小块的内存，这些小块内存在申请后，很快又会被释放，由于这些内存的申请并不是为了创建对象，所以并没有对象一级的内存池机制。这就意味着Python在运行期间会大量地执行malloc和free的操作，频繁地在用户态和核心态之间进行切换，这将严重影响Python的执行效率。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

内存池概念

内存池的概念就是预先在内存中申请一定数量的，大小相等的内存块留作备用，当有新的内存需求时，就先从内存池中分配内存给这个需求，不够了之后再申请新的内存。这样做最显著的优势就是能够减少内存碎片，提升效率。内存池的实现方式有很多，性能和适用范围也不一样。

特性

1.Python提供了对内存的垃圾收集机制，但是它将不用的内存放到内存池而不是返回给操作系统。

2.Pymalloc机制。为了加速Python的执行效率，Python引入了一个内存池机制，用于管理对小块内存的申请和释放。

3.Python中所有小于256个字节的对象都使用pymalloc实现的分配器，而大的对象则使用系统的 malloc。

4.对于Python对象，如整数，浮点数和List，都有其独立的私有内存池，对象间不共享他们的内存池。也就是说如果你分配又释放了大量的整数，用于缓存这些整数的内存就不能再分配给浮点数。

关于python申请内存函数和python申请内存空间的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。