linux 进程地址空间的一步步探究

提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

我们知道，在32位机器上linux操作系统中的进程的地址空间大小是4G,其中0-3G是用户空间，3G-4G是内核空间。其实，这个4G的地址空间是不存在的，也就是我们所说的虚拟内存空间。

那虚拟内存空间是什么呢，它与实际物理内存空间又是怎样对应的呢，为什么有了虚拟内存技术，我们就能运行比实际物理内存大的应用程序，它是怎么做到的呢？呵呵，这一切的一切都是个迷呀，下面我们就一步一步解开心中的谜团吧!

进程使用虚拟内存中的地址，由操作系统协助相关硬件，把它“转换”成真正的物理地址。虚拟地址通过页表(Page Table)映射到物理内存，页表由操作系统维护并被处理器引用。内核空间在页表中拥有较高特权级，因此用户态程序试图访问这些页时会导致一个页错误(page fault)。在Linux中，内核空间是持续存在的，并且在所有进程中都映射到同样的物理内存。内核代码和数据总是可寻址，随时准备处理中断和系统调用。与此相反，用户模式地址空间的映射随进程切换的发生而不断变化。

Linux进程在虚拟内存中的标准内存段布局如下图所示：

我们来看看，当我们写好一个应用程序，编译后它都有什么东东?

例如:

用命令size a.out会得到：

其中text是放的是代码,data放的是初始化过的全局变量或静态变量，bss放的是未初始化的全局变量或静态变量。

由于历史原因，C程序一直由下列几部分组成：

A、正文段。这是由cpu执行的机器指令部分。通常，正文段是可共享的，所以即使是经常执行的程序(如文本编辑程序、C编译程序、shell等)在存储器中也只需要有一个副本，另外，正文段常常是只读的，以防止程序由于意外事故而修改器自身的指令。

B、初始化数据段。通常将此段称为数据段，它包含了程序中需赋初值的变量。例如，C程序中任何函数之外的说明：

int maxcount = 99；(全局变量)

C、非初始化数据段。通常将此段称为bss段，这一名称来源于早期汇编程序的一个操作，意思是"block started by symbol",在程序开始执行之前，内核将此段初始化为0。函数外的说明:

long sum[1000]；

使此变量存放在非初始化数据段中。

D、栈。自动变量以及每次函数调用时所需保存的信息都存放在此段中。每次函数调用时，其返回地址、以及调用者的环境信息(例如某些机器寄存器)都存放在栈中。然后，新被调用的函数在栈上为其自动和临时变量分配存储空间。通过以这种方式使用栈，C函数可以递归调用。

E、堆。通常在堆中进行动态存储分配。由于历史上形成的惯例，堆位于非初始化数据段顶和栈底之间。

从上图我们看到栈空间是下增长的，堆空间是从下增长的,他们会会碰头呀？一般不会，因为他们之间间隔很大，如：

#include <stdio.h>
#include <stdlib.h>
int bss_var;
int data_var0 = ;
int main()
{
printf("Test location:\n");
printf("\tAddress of main(Code Segment):%p\n",main);
printf("_____________________________________\n");
int stack_var0 = ;
printf("Stack location:\n");
printf("\tInitial end of stack:%p\n",&stack_var0);
int stack_var1 = ;
printf("\tNew end of stack:%p\n",&stack_var1);
printf("_____________________________________\n");
printf("Data location:\n");
printf("\tAddress of data_var(Data Segment):%p\n",&data_var0);
static int data_var1 = ;
printf("\tNew end of data_var(Data Segment):%p\n",&data_var1);
printf("_____________________________________\n");
printf("BSS location:\n");
printf("\tAddress of bss_var:%p\n",&bss_var);
printf("_____________________________________\n");
printf("Heap location:\n");
char *p = (char *)malloc();
printf("\tAddress of head_var:%p\n",p);
return ;
}

运行结果如下:

呵呵，这里我们看到地址了，这个地址是虚拟地址，这些地址时怎么来的呢？其实在我们编译的时候，这些地址就已经确定了,如下图中红线。

也就是说，我们不论我们运行a.out程序多少次这些地址都是一样的。我们知道，linux操作系统每个进程的地址空间都是独立的，其实这里的独立说得是物理空间上得独立。进程可以使用相同的虚拟地址，这不奇怪，因为转换后的物理地址并非相同的。那相同的虚拟地址，不同的物理地址，他们之间是怎样联系起来的呢？我们继续探究....

在linux操作系统中，每个进程都通过一个task_struct的结构体描叙，每个进程的地址空间都通过一个mm_struct描叙，c语言中的每个段空间都通过vm_area_struct表示，他们关系如下 :

当运行一个程序时，操作系统需要创建一个进程，这个进程和程序之间都干了些什么呢？

当一个程序被执行时，该程序的内容必须被放到进程的虚拟地址空间（注意，是虚拟地址空间），对于可执行程序的共享库也是如此。可执行程序并非真正读到物理内存中，而只是链接到进程的虚拟内存中（此时都是在进程的虚拟地址空间）。

当一个可执行程序映射到进程虚拟地址空间时，一组vm_area_struct数据结构将被产生。每个vm_area_struct数据结构表示可执行印象的一部分；是可执行代码，或是初始化的数据,以及未初始化的数据等。

linux操作系统是通过sys_exec对可执行文件进行映射以及读取的，有如下几步：

1、创建一组vm_area_struct；

2、圈定一个虚拟用户空间，将其起始结束地址(elf段中已设置好)保存到vm_start和vm_end中；

3、将磁盘file句柄保存在vm_file中；

4、将对应段在磁盘file中的偏移值(elf段中已设置好)保存在vm_pgoff中；

5、将操作该磁盘file的磁盘操作函数保存在vm_ops中；

注意：这里没有对应的页目录表项创建页表，更不存在设置页表项了。

假设现在程序中有一条指令需要读取上面vm_start--vm_end之间的某内容

例如:mov [0x08000011],%eax,那么将会执行如下序列:

1、cpu依据CR3(current->pgd)找到0x08000011地址对应的pgd[i],由于该pgd[i]内容保持为初始化状态即为0,导致cpu异常。

2、.do_page_fault被调用，在该函数中，为pgd[i]在内存中分配一个页表，并让该表项指向它，如下图所示:

注意：这里i为0x08000011高10位，j为其中间10位，此时pt表项全部为0（pte[j]也为0）；

3、为pte[j]分配一个真正的物理内存页面，依据vm_area_struct中的vm_file、vm_pgoff和vm_ops，调用filemap_nopage将磁盘file中vm_pgoff偏移处的内容读入到该物理页面中，如下图所示：

①分配物理内存页面；

②从磁盘文件中将内容读取到物理内存页面中

从上面我们可以知道，在进程创建的过程中，程序内容被映射到进程的虚拟内存空间，为了让一个很大的程序在有限的物理内存空间运行，我们可以把这个程序的开始部分先加载到物理内存空间运行，因为操作系统处理的是进程的虚拟地址，如果在进行虚拟到物理地址的转换工程中，发现物理地址不存在时，这个时候就会发生缺页异常(nopage),接着操作系统就会把磁盘上还没有加载到内存中的数据加载到物理内存中，对应的进程页表进行更新。也许你会问，如果此时物理内存满了，操作系统将如何处理?

下面我们看看linux操作系统是如何处理的:

如果一个进程想将一个虚拟页装入物理内存，而又没有可使用的空闲物理页，操作系统就必须淘汰物理内存中的其他页来为此页腾出空间。

在linux操作系统中，物理页的描叙如下:

struct mem_map

{

1、本页使用计数，当该页被许多进程共享时计数将大于1

2、age描叙本页的年龄，用来判断该页是否为淘汰或交换的好候选

3、map_nr描叙物理页的页帧号

}

如果从物理内存中被淘汰的页来自于一个映像或数据文件，并且还没有被写过，则该页不必保存，它可以丢掉。如果有进程在需要该页时就可以把它从映像或数据文件中取回内存。

然而，如果该页被修改过，操作系统必须保留该页的内容以便晚些时候在被访问。这种页称为"脏（dirty）页"，当它被从内存中删除时，将被保存在一个称为交换文件的特殊文件中。

相对于处理器和物理内存的速度，访问交换文件要很长时间，操作系统必须在将页写到磁盘以及再次使用时取回内存的问题上花费心机。