内存寻址xlanchen@918.ppt
Linux操作系统分析,中国科学技术大学计算机系陈香兰（051287161316）Spring 2011,2023/7/1,Linux OS Analysis,2/54,上次课内容回顾,源代码简介启动代码简介Linux内核代码组成分析Linux的启动层次Linux的启动分析,内存寻址,2023/7/1,Linux OS Analysis,4/54,内容提要,X86微处理器的存储器寻址Linux在X86上的寻址实现,2023/7/1,Linux OS Analysis,5/54,存储器地址,在intelx86处理器下，有三种不同的地址逻辑地址：每个逻辑地址由一个段(segment)和偏移量(offset)组成线性地址：32位无符号整数，可表示4G大小的地址空间物理地址：芯片级内存单元寻址。它们与从CPU的地址引脚发送到内存总线上的电信号相对应地址转换过程,物理地址,线性地址,分段单元,分页单元,逻辑地址,2023/7/1,Linux OS Analysis,6/54,为什么需要内存寻址机制？,保护内核不受恶意或者无意的破坏隔离各个用户进程方便程序的编写，使程序员可以抛开对物理内存的考虑，而且理论上可以使用任意大小的空间,2023/7/1,Linux OS Analysis,7/54,硬件的分段单元（1）段寄存器(segment register),I386体系结构采用分段机制逻辑地址=段：段内偏移使用16位段寄存器来指明当前所使用的段有六个：cs,ss,ds,es,fs和gsCPU规定了3个寄存器的专门的用途cs代码段寄存器，指向存放程序指令的段ss堆栈段寄存器，指向存放当前堆栈的段ds数据段寄存器，指向存放数据的段,2023/7/1,Linux OS Analysis,8/54,从80386开始，Intel微处理器以两种不同的方式执行地址转换,实模式（20位）16位段寄存器只记录段基址的高16位，因此段基址必须4位对齐（末4位为0）不采用虚拟地址空间，直接采用物理地址空间 物理地址=段寄存器值*16+段内偏移保护模式（32位）16位段寄存器无法直接记录段的信息，因此需要与全局描述符表GDT配合使用GDT中记录了每个段的信息（段描述符），段寄存器只需记录段在GDT中的序号,2023/7/1,Linux OS Analysis,9/54,注意：cs寄存器还有一个很重要的功能:它含有一个两位的域，用以指明CPU的当前特权级CPL(current privilege level)，值为0代表最高优先级，值为3代表最低优先级线性地址=段基地址+段内偏移其中，段基地址是根据段寄存器所指明的GDT中的段描述符中的信息得到的物理地址：根据页表对线性地址进行转换而得到,2023/7/1,Linux OS Analysis,10/54,GDT和段描述符(segment descriptor),每个段由一个段描述符来表示，一个段描述符长度为8个字节全局描述符表GDT(global description table)就用来存放段描述符GDT表也存放在RAM中，并使用一个专门的寄存器GDTR来指示GDT表在RAM中的位置（物理起始地址）局部描述符表LDT（Local Description Table）根据x86，每个进程可以设置一个LDTLDT表也存放在RAM中，使用LDTR来指示当前的LDT表,2023/7/1,Linux OS Analysis,11/54,由于段的用途不一样，Intelx86提供下列几种段描述符,数据段描述符（Data Segment Descriptor）可以描述各种用户数据段和堆栈段代码段描述符（Code Segment Descriptor）描述一个用户代码段任务状态段描述符（Task State Segment Descriptor）描述一个任务的状态段局部描述符表描述符描述一个LDT段系统段描述符（System Segment Descriptor）,2023/7/1,Linux OS Analysis,12/54,段描述符主要描述如下内容,段的物理起始地址（base字段，32位）段长度（limit字段，20位）段长度的单位（粒度，G标志，1位）0：字节为单位1：4KB为单位是否系统段（S标志，1位）0：系统段1：普通的段,2023/7/1,Linux OS Analysis,13/54,类型字段（Type字段，4位）例如代码段、数据段、任务状态段、局部描述符段等等段的特权级描述字段（DPL字段，2位）00b：只能被CPL=00b的内核代码段访问.11b：可以被任意代码段访问段存在标志（1位）0：该段当前不在内存中1：该段当前在内存中,Descriptor Privilege Level,2023/7/1,Linux OS Analysis,14/54,段描述符的格式,段基址、段长度、其他属性,例如，0 x00cf9a000000ffff,2023/7/1,Linux OS Analysis,15/54,段选择子（Segment Selector）,16位段寄存器与GDT或LDT配合起来对相应的段进行寻址段寄存器中的值称为段选择子，16位13位的索引，指定GDT表中的相应的段描述符1位的TI(Table Indicator)(跟LDT表有关，Linux中基本未使用）2位RPL(request privilege level)当相应的段选择符装入到cs寄存器中时，表明了CPU的当前特权级（用户/内核）,2023/7/1,Linux OS Analysis,16/54,段选择子的使用和段描述符的快速访问,段寄存器,段选择子,段描述符,描述符表,段,（）,非编程寄存器,段描述符,2023/7/1,Linux OS Analysis,17/54,逻辑地址到线性地址的转换,GDT或LDT,GDTR或LDTR,选择子,偏移,线性地址,逻 辑 地 址,2023/7/1,Linux OS Analysis,18/54,Linux中的段,基于下面两个原因，linux中只使用了几个段段和页的同时存在在一定程度上有点多余。因为两者都可以划分进程的物理空间所有的进程希望使用同样的0-4G的逻辑空间。这样程序员不必考虑进程地址的问题，也让内核的内存管理变得简单一些,2023/7/1,Linux OS Analysis,19/54,Linux下的全局描述符表（部分）,在arch/x86/kernel/head_32.S中,内核数据段,用户代码段,用户数据段,Linux中的GDT,在include/asm-x86/segment.h中,2023/7/1,Linux OS Analysis,20/54,在arch/x86/boot/pm.c中,在arch/x86/boot/pm.c中,2023/7/1,arch/x86/kernel/cpu/common.c,2023/7/1,2023/7/1,Linux OS Analysis,23/54,_BOOT_CS,0 x10=0000 0000 0001 0000b内核代码段，在GDT中相应的段描述符各个域有如下值,Index=2,RPL=0,特权级,4GB,内核代码段,内核数据段,用户代码段,用户数据段,0 x00cf9a000000ffff,2023/7/1,Linux OS Analysis,24/54,_BOOT_DS,0 x18=0000 0000 0001 1000b内核数据段，在GDT中相应的段描述符各个域有如下值,Index=3,RPL=0,特权级,内核代码段,内核数据段,用户代码段,用户数据段,4GB,0 x00cf92000000ffff,2023/7/1,Linux OS Analysis,25/54,Linux下GDT表的初始化,1）在i386/boot/herder.S-i386/boot/main.c:main()-arch/x86/boot/pm.c:go_to_protected_mode-setup_gdt中GDT表中的内容GDT表基址的装载（此时还没有切换到保护模式）切换到保护模式之后，（代码）段寄存器的装载2）在i386/boot/compressed/head_32.S中各个数据段寄存器的装载3）在i386/kernel/head_32.S中boot_gdt和GDT基址的装载各段寄存器的重新装载early_gdt_descr和per_cpu_gdt_page,参见arch/x86/kernel/cpu/common.c,2023/7/1,Linux OS Analysis,26/54,硬件的分页单元,分页单元：线性地址=物理地址为了效率起见，线性地址被分成以固定长度为单位的组，称为页。页内连续的线性地址被映射到连续的物理地址中。把线性地址映射到物理地址的数据结构叫做页表(page table)。页表存放在内存中，并在启用分页单元以前由内核对之进行初始化Intel处理器中，通过设置CR0寄存器的一个标志位来启用分页单元。,2023/7/1,Linux OS Analysis,27/54,硬件的分页单元,区分一下页和页框的概念一页指一系列的线性地址和包含于其中的数据页框(page frame)分页单元认为所有的RAM被分成了固定长度的页框每个页框可以包含一页，也就是说一个页框的长度和一个页的长度是一样的页框是内存的一部分，是一个实际的存储区域。页只是一组数据块，可以存放在任何页框中,2023/7/1,Linux OS Analysis,28/54,常规分页,从i386起，intel处理器的分页单元处理4KB的页32位的线性地址被分成3个域目录(directory)最高的10位页表(Table)中间的10位偏移量(offset)最低的12位线性地址的转换分两步完成，每一步都基于一种转换表第一种称为页目录表(page directory)第二种称为页表(page table)正在使用的页目录表的物理地址存放在CPU的CR3寄存器中,2023/7/1,Linux OS Analysis,29/54,Intel 80 x86处理器的分页,线性地址,CR3,页目录,页表,页,2023/7/1,Linux OS Analysis,30/54,页目录表项和页表项,页目录表项和页表项存储的都是页框的基址页目录表项存储对应页表的物理地址页表项存储对应物理页面的起始地址4KB，12位对齐，因此最后12位被用来存放该页的标志位，包括：Present标志、Accessed标志、Dirty标志、Read/Write标志、User/Supervisor标志、如果present标志为0，分页单元就把这个线性地址存放在处理器的CR2寄存器中，并产生一个14号异常（缺页异常）,2023/7/1,Linux OS Analysis,31/54,硬件的分页单元,扩展分页pentium处理器引进了扩展分页，允许页框的大小为4K或者4M,线性地址,页目录,4M 页,CR3,2023/7/1,Linux OS Analysis,32/54,硬件保护方案,级别由前面提到的User/Spuervisor标志控制若这个标志为0，只有当CPL小于3(对linux来说，即处理器处于内核态)时才能对此页寻址；若这个标志为1，则总能对此页寻址存取权限由Read/Write标志控制标志为0，页是只读的标志为1，则是可读写的,2023/7/1,Linux OS Analysis,33/54,0 x20000000：0010 0000 0000 0000 0000 0000 0000 0000b,分页举例,假设内核给一个正在运行的进程p1分配的线性地址空间是0 x20000000到0 x2003ffff（256KB）这段空间大小为0 x40000，即0 x40个页（64页）有效的线性地址范围为：,页目录索引（0 x80=128）,页表索引（0 x0=0）,0 x20003ffff：0010 0000 0000 0011 1111 1111 1111 1111b,页目录索引（0 x80=128）,页表索引（0 x3f=63）,2023/7/1,Linux OS Analysis,34/54,p1的页表和虚拟空间,0,1023,128,0,63,1023,p1的页目录,p1的页表,p1的页,p1的页,数据/代码,数据/代码,2023/7/1,Linux OS Analysis,35/54,分页举例,假设进程需要读取0 x20021406中的字节。分页单元将该地址划分为3个部分：0 x20021406=0010 0000 0000 0010 0001 0100 0000 0110b当进程无论何时试图访问0 x20000000到0 x2003ffff范围之外的线性地址时，都将产生一个保护错误,页目录索引（0 x80=128）,页表索引（0 x21）,页内偏移（0 x406）,CR3,+,p1的页目录,p1的页表,+,Present=0,缺页异常,XxxxxxXxxxxXxxx,xxxx,2023/7/1,Linux OS Analysis,36/54,Linux的分页,Linux采用3级分页模式页全局目录(Page Global Directory)页中间目录(Page Middle Directory)页表(Page Table),2023/7/1,Linux OS Analysis,37/54,Linux 的分页模式,CR3,全局页目录,中间页目录,页表,页,线性地址,2023/7/1,Linux OS Analysis,38/54,Linux进程的分页,Linux对进程的处理很大程度上依赖于分页。实际上，由硬件提供的MMU将线性地址自动转换为物理地址使得下面的设计目标变得可行：给每个进程分配一块不同的物理地址空间，这种机制确保了对寻址错误提供有效的保护区别页(即一组数据)和页框(实际的物理空间)之间的不同。这是虚拟存储器机制的基本因素,2023/7/1,Linux OS Analysis,39/54,每个进程都有它自己的页全局目录和自己的页表集合，当进程切换发生时，linux把CR3寄存器的值保存在跟进程相关的一个数据结构中，然后用另外一个进程相应的值填充CR3寄存器。因此，当新进程恢复在CPU上执行时，分页单元将使用一组与新进程对应的页表,2023/7/1,Linux OS Analysis,40/54,Linux对页表的处理函数硬件提供了这种转换机制，而软件所要做的就是准备好正确的数据，使得硬件能够准确无误的执行Linux中实现很多对页表进行设置，操作和处理的函数include/asm_x86/page.hinclude/asm_x86/pgtable.hinclude/asm_x86/pgtable_2level.h.,2023/7/1,Linux OS Analysis,41/54,线性地址字段,PAGE_SHIFTPMD_SHIFTPGDIR_SHIFTPTRS_PER_PTEPTRS_PER_PMDPTRS_PER_PGD,2023/7/1,Linux OS Analysis,42/54,页表的处理,表项类型：include/asm_1386/page_32.hpte_t,pmd_t,pgd_t页的保护：include/asm_1386/page.hpgprot_t无符号整数与上述各类型的转换_pte(),_pmd(),_pgd(),_pgprot()pte_val(),pmd_val(),pgd_val(),pgprot_val(),2023/7/1,Linux OS Analysis,43/54,判断/读/写/修改各表项的操作pte_none(),pmd_none(),pgd_none()判断对应表项值是否为0pte_present(),pmd_present(),pgd_present()判断对应表项的present标志是否1pte_clear(),pmd_clear(),pgd_clear()清除相应页表的一个表项pmd_bad(),pgd_bad()检查相应目录项是否不能使用pte_read(),pte_write(),pte_exec(),2023/7/1,Linux OS Analysis,44/54,保留的页框,内核代码和静态数据结构存放在一组保留的页框中。这些页框所含的页从来不会被动态的分配或者交换到磁盘上作为一条常规，linux内核被安装在物理地址0 x00100000开始的地方。一个Linux内核所需的页框总数依赖于该内核的配置方案基于典型配置的内核可以被安装在小于2MB的RAM中,1MB,2023/7/1,Linux OS Analysis,45/54,为什么选择从1MB开始？,观察01MB的使用情况0 x00 x1000：BIOS使用0 x000a00000 x000fffff：BIOS例程、VRAM等等为避免使用不连续的物理内存，Linux选择从1MB开始,2023/7/1,Linux OS Analysis,46/54,Linux2.4内核的前512个页框，2MB（假定内核所需内存1MB）,不可用的页框,可用的页框,内核代码,初始化过的内核数据,未初始化过的内核数据,2023/7/1,Linux OS Analysis,47/54,进程页表,一个进程的线性地址空间被分成两部分03G：用户态和内核态都可以访问3G4G：只有内核态可以访问进程的页全局目录前768项：用来映射低于0 xc0000000的线性地址，具体内容与进程相关。剩余的表项：用来映射内核空间，对所有进程都一样,2023/7/1,Linux OS Analysis,48/54,内核空间,Linux把内核代码映射到了0 xc0000000以上的空间,以前的链接描述文件,2023/7/1,Linux OS Analysis,49/54,内核页表,实际上，内核映象在被装入内存以后，CPU仍然运行于实模式下，分页单元还没有被启动在i386/kernel/head_32.S中启动内核分两个阶段初始化自己的页表一，仅创建够自己使用的空间二，利用剩余的RAM并恰当的建立映射整个物理内存的页表,2023/7/1,Linux OS Analysis,50/54,Linux的临时内核页表,i386/kernel/head_32.S,arch/x86/kernel/head_32.S,参见vmlinux_32.lds.S,2023/7/1,Linux OS Analysis,51/54,Linux的分页,开启分页单元,2023/7/1,Linux OS Analysis,52/54,首先填写页目录项（低地址端+3G高地址端）指向pg0等（由edi指向）然后填写pg0中的1024项物理地址底端4M，页表项的值由eax维护,2023/7/1,页表初始化结束条件,2023/7/1,Linux OS Analysis,54/54,最终内核页表,最终内核页全局目录仍然保留在变量swapper_pg_dir中。它由函数pagetable_init初始化参见arch/x86/mm/init_32.c低端页目录项的失效mem_initzap_low_mappings,kernel_physical_mapping_init,2023/7/1,Linux OS Analysis,55/54,其他,关于cache处于分页单元与MM之间关于TLB重写CR3，会导致TLB更新,2023/7/1,Linux OS Analysis,56/54,作业：,_USER_CS、_USER_DS的值分别是多少？它们分别对应GDT表中的哪一项？RPL分别是多少，对应Linux的哪个级别（用户级还是内核级）？在32位pc中，结合Linux2.6.26/arch/x86/kernel/head_32.S中228-251行相关代码，关于临时2级页表的初始化过程，假设pg0所在的物理地址是0 x567000，回答下列问题（以下涉及到数值的地方，请用16进制表示）：填写在swapper_pg_dir中第0 x0项的内容是什么，有什么含义？若填写了swapper_pg_dir中第0 x1项，则此内容是什么？填写在pg0的第0 x0项、第0 x1项和第0 x3FF项的内容是多少，有什么含义？根据swapper_pg_dir的第0 x0项和pg0的内容，这个临时页表所代表的地址空间中，04MB-1的空间被映射的物理地址空间范围是什么？若内核地址空间从3G开始，那么填写在swapper_pd_dir中第0 x300项和0 x301项的内容是什么，与上述第0项和第1项有什么关系，有什么含义？,
