存储管理.ppt

《存储管理.ppt》由会员分享，可在线阅读，更多相关《存储管理.ppt（43页珍藏版）》请在三一办公上搜索。

1、1,第四章 存储管理(下),存储管理概述内存管理的基本原理Windows 的内存管理外存管理的基本原理Windows 的外存管理()高速缓存管理的基本原理()Windows 的高速缓存管理(),2,Windows的外存管理,磁盘管理的基本术语Windows 外存管理的演变动态分区驱动程序多重分区管理卷名字空间,3,盘一种物理存储设备。扇区可寻址的大小固定的块。分区盘上连续扇区的集合。简单卷代表文件系统驱动程序作为一个独立单元管理来自一个分区的所有扇区。多分区卷代表文件系统驱动程序作为一个独立单元管理来自多个分区的所有扇区。多分区卷提供简单卷所不支持的性能、可靠性和大小等特性。,磁盘管理的基本术

2、语,4,Windows外存管理的演变,MSDOS在一个物理盘上采用多个分区，也就是逻辑盘,5,Windows NT（5.0以前）扩展了MS-DOS分区的基本概念，支持企业级操作系统所需的一些存储管理的特征：跨磁盘管理（disk spanning）和容错（fault tolerance）支持由多个分区组成的卷，允许一个大的卷由分布在不同物理盘上的分区组成,Windows外存管理的演变,6,早期Windows磁盘管理的缺点,对大多数磁盘设置的改变需要重启操作系统才能生效多分区磁盘的配置信息保存在注册表中每个卷有一个唯一的从A到Z的驱动器名,Windows外存管理的演变,7,Windows 5.0开

3、始引入了基本盘和动态盘的概念基本盘基于MS-DOS分区方式的盘基本盘的多分区卷配置信息保存在注册表中动态盘支持创建新的多分区卷动态盘的多分区卷配置信息保存在磁盘上动态盘分区格式是专有的，与其他操作系统不兼容，包括Windows早期版本,Windows外存管理的演变,8,动态分区,由逻辑磁盘管理子系统(LDM)负责管理,LDM的数据库存在于每个动态盘最后的1MB保留空间中。LDM实现了一个MS DOS的分区表，这是为了继承一些在Windows2000/XP下运行的磁盘管理工具，或是在双引导环境中让其它系统不至于认为动态盘还没有被分区。由于LDM分区在磁盘的MS DOS分区表中并没有体现出来，所以

4、被称为软分区，而MS DOS分区被称为硬分区。,9,动态分区,动态盘的内部组织,10,动态分区,LDM数据库,私有头：GUID，磁盘组的名字（该名字是由Dg0和计算机的名字一起组成，例如SusanDg0，意味着计算机的名字是Susan）和一个指向数据库内容表的指针。为了保证可靠性，LDM在磁盘的最后一个扇区保存了私有头的拷贝。,11,数据库内容表有16个扇区大小，其中包含关于数据库布局的信息。数据库记录区域紧接着内容表，并将内容表后第一个扇区作为数据库记录头。这个扇区中存储了数据库记录区的信息，包括其所包含的记录个数，数据库相关的磁盘组的名字和GUID，以及LDM用于创建下一项的序列号。,LD

5、M数据库,动态分区,12,数据库中的每一项可以是如下四种类型之一：分区，磁盘，组件，卷。LDM把每一项与内部对象的标识符联系到一起。分区项描述软分区，它是在一个盘上的连续区域。存储在分区项中的标识符把这个项与一个组件和一个磁盘项联系起来。磁盘项代表一个磁盘组中的动态盘，包括磁盘的GUID。组件项像一条链子把一个或多个分区项和与分区相连的卷项联系起来。卷项存放这个卷的GUID，卷的大小和状态，驱动器的名字。,LDM数据库结构,动态分区,13,LDM需要三个项来描述一个简单卷：分区项、组件项和卷项。分区项描述系统分配给某个卷的磁盘上的一个区域，组件项把一个分区项和一个卷项联系起来，卷项中包含Win

6、dows 2000/XP内部用来识别卷的GUID。多分区卷需要的项数多于三个。例如，一个条带卷包括最少两个分区项，一个组件项和一个卷项。唯一一种含有一个以上组件项的卷的类型是：镜像卷。镜像卷含有两个组件项，每个只表示这个镜像的一半。LDM为每个镜像卷使用两个组件项的目的是,当一个镜像破坏时LDM能够在组件一级将他们分割开来，并创建两个各含有一个组件项的卷。因为简单卷需要三个项，而1MB数据库空间大约可以容纳8000个项，所以在Windows 2000/XP中可以创建的卷数目的有效上界大约是2500个。,LDM数据库结构,动态分区,14,LDM数据库的最后部分是事务处理日志区，它包含的几个扇区在

7、数据库信息改变时用来存储备份信息。这样确保在系统崩溃或断电时，LDM能够利用日志把系统恢复到一个正确的状态。,LDM数据库,动态分区,15,磁盘驱动程序遵循类/端口/小端口结构类：实现所有存储设备共同的功能端口：基于某种特定总线设备的共同功能，如SCSI、IDE小端口：OEM提供,Windows的外存驱动程序,16,卷管理器,FtDisk.sys驱动程序创建代表基本盘上卷的设备对象，为每一个卷都创建一个形如DeviceHarddiskVolumeX的设备对象DMIO.sys驱动程序控制对动态盘上LDM数据库的访问并创建代表动态盘上卷的设备对象，它为动态盘的每一个卷都创建一个形如DeviceHa

8、rddiskDmVolumesPhysicalDmVolumesBlockVolumeX的设备对象FtDisk和 DMIO负责识别文件系统驱动程序管理的卷，并将I/O直接从卷映射到组成卷的底层分区。对简单卷来说，通过把卷的偏移量加上卷在磁盘中的起始地址，卷管理器可以保证卷的偏移量被转换成盘的偏移量。对于多分区卷这就复杂多了，因为组成卷的分区可以是不邻接的分区，甚至可以在不同的磁盘中。有一些多分区卷使用数据冗余技术，所以它们需要更多的卷到磁盘的转换工作。,Windows的外存驱动程序,17,多重分区管理,跨分区卷(spanned volume)条带卷（striped volume）镜像卷（mir

9、rored volume）廉价冗余磁盘阵列5卷（RAID-5 volume）,18,一个单独的逻辑卷，最多由在一个或多个磁盘上的32个空闲分区组成。跨分区卷可以用来把小的磁盘空闲区域，或者把两个或更多的小磁盘组成大的卷。卷管理器对Windows 2000/XP的文件系统隐藏了磁盘物理配置信息。,跨分区卷,多重分区管理,19,条带卷（RAID-0卷）,多重分区管理,一系列分区组成的单独的逻辑卷，最多有32个分区并且每个盘一个分区。条带卷中的一个分区不需要占据整个磁盘，唯一的限制是每个盘上的分区大小相同数据能够被平均分配到每个磁盘上,20,镜像卷(RAID-1卷),多重分区管理,一个磁盘上分区的内

10、容被复制另一个磁盘与它等大小的分区中。镜像卷有时也被称为RAID-1。镜像卷能够可以在主分区和镜像分区之间平衡I/O操作。两个读操作可以同时进行，所以理论上只用一半时间就可以完成。当修改一个文件时，必须写入镜像卷的两个分区，但是磁盘写操作可以异步进行，所以用户态程序的性能一般不会被这种额外的磁盘更新所影响。,21,RAID-5卷,多重分区管理,普通条带卷的容错变形，也称为带奇偶校验的条带卷,22,卷安装,安装管理器安装点卷安装,23,安装管理器,安装管理器（Mountmgr.sys）是Windows 2000/XP中新的驱动程序，为在Window 2000/XP安装后创建的动态磁盘卷和基本磁盘

11、卷分配驱动器名。卷管理器创建卷时都将通知它。当接到通知时，确定新的卷GUID或者磁盘标记；安装管理器使用卷GUID（或者标识）在内部数据库中进行查询安装管理者使用第一个未分配的驱动器名，为这次分配创建一个符号链接（例如，?D:）,卷安装,24,安装点,安装点是Windows 2000/XP的新机制，利用安装点可以将其他卷链接到NTFS卷上的目录，从而可以访问没有驱动器名称的卷。C:ProjectCurrentProjectDescription.txtC:ProjectsCurrentProjectDescription.txt,卷安装,25,卷安装,安装操作由三个部分组成：文件系统驱动程序的

12、注册、卷参数块VPB和安装请求安装管理器把D:分配给系统中的第二个卷，它产生符号连接?D:指向设备对象DeviceHarddiskVolume2。一个WIN 32应用程序试图打开D:上的文件TempTest.txt时，它将会指定路径D:TempTest.txt。WIN 32子系统在调用NtCreateFile之前将路径转化为?D:TempTest.txt。I/O管理器将检查DeviceHarddiskVolume2的VPB是否引用一个文件系统。如果没有，I/O管理器通过一个安装请求来询问每个注册的文件系统驱动程序，是否识别该卷的格式。如果一个文件系统驱动程序作出肯定的回答，I/O管理器将填写V

13、PB，并将一个带着其余路径(Temp)的打开请求传给该文件系统驱动程序。文件系统驱动程序将完成这个请求，并用自己的文件系统格式来解释分区中存储的数据。如果没有文件系统驱动程序声明对分区的所有权，Windows 2000/XP内置的文件系统驱动程序RAW，将声明对这个分区的所有权，并且拒绝所有对这个分区的打开操作。,26,磁盘高速缓存管理的基本原理,逻辑块缓存：缓存管理器跟踪磁盘分区的那些块在缓存中。虚拟块缓存：缓存管理器跟踪哪些文件的哪些部分在缓存中。,27,磁盘高速缓存管理的基本原理,置换算法：最近最久未使用算法LRU最近未使用算法NRU最少使用算法LFU,28,预读 在读当前块的同时，还要

14、求提前将下一个盘块（提前读的块）中的数据也读入缓冲区。延迟写 延迟写是指在缓冲区中的数据本应立即写回磁盘，但考虑到该缓冲区中的数据，不久之后可能还会再被本进程或其它进程访问（共享数据），因而并不立即将该缓冲区A中的数据写入磁盘，而是将它挂在空闲缓冲区队列的末尾。,磁盘高速缓存管理的基本原理,29,Windows 高速缓存管理的主要特征高速缓存的结构高速缓存的大小高速缓存的数据结构高速缓存的操作访问缓存数据的方法,Windows的高速缓存管理,30,单一集中式系统高速缓存任何数据都能被高速缓存，无论它是用户数据流（文件内容和在这个文件上正在进行读和写的活动）或是文件系统的元数据（metadata

15、）（例如目录和文件头）与内存管理器结合因为它采用将文件视图映射到系统虚拟空间的方法访问数据,Windows高速缓存管理的主要特征,31,高速缓存的一致性,Windows高速缓存管理的主要特征,32,虚拟块缓存Windows 2000/XP高速缓速管理器用虚拟块缓存方式，管理器对缓存中文件的某些部分进行追踪。通过内存管理器的特殊系统高速缓存例程将256-KB大小的文件视图映射到系统虚拟地址空间，高速缓存管理器能够管理文件的这些部分。这种方式有以下几个主要特点：它使智能的文件预读成为可能。它允许I/O系统绕开文件系统访问已经在缓存中的数据（快速I/O）。,Windows高速缓存管理的主要特征,33

16、,基于流的缓存可恢复的文件系统支持文件系统写一个日志文件记录，记录将要进行的卷修改操作。文件系统调用高速缓存管理器将日志文件记录刷新到磁盘上。文件系统把卷修改内容写入高速缓存，即修改文件系统在高速缓存的元数据。高速缓存管理器将被更改的元数据刷新到磁盘上，更新卷结构。,Windows高速缓存管理的主要特征,34,高速缓存的结构,Windows 2000/XP系统高速缓存管理器基于虚拟空间缓存数据，它管理一块系统虚拟地址空间区域，而不是一块物理内存区域。高速缓存管理器把每个地址空间区域分成256-KB的槽(slot)，被称为视图(view),35,高速缓存的结构,36,高速缓存的大小,缓存区的虚拟

17、大小系统高速缓存虚拟大小是已安装物理内存总量的函数 缓存的物理大小系统高速缓存没有自己的工作集而是与页缓冲池、可分页的核心代码以及可分页的驱动程序代码共用一个系统工作集，系统高速缓存只是这个工作集的一个组成部分,37,高速缓存的数据结构,在系统高速缓存的每个256 KB的槽由一个VACB描述。每个打开的被缓存文件有一个专用的缓存映射，它包含了用于控制文件预读的信息。每个被缓存的文件有一个单独的共享缓存映射结构，它指向系统缓存中包含此文件映射视图的槽。,38,高速缓存的数据结构,系统范围的高速缓存数据结构,39,高速缓存的数据结构,40,高速缓存的数据结构,41,高速缓存的操作,回写缓存和延迟写

18、写入文件的数据首先被存储在高速缓存页面的内存中，然后再被写入磁盘。因此，写操作允许在短时间内积累，并一次性刷新到磁盘，这可以减少磁盘的I/O次数。屏蔽对文件延迟写在调用Win32 CreateFile函数时指定FILE_ATTRIBUTE_TEMPORARY标志创建一个临时文件，延迟写器就不会将脏页写回磁盘，除非物理内存严重不足或文件关闭。强制写缓存到磁盘刷新被映射的文件,42,虚拟地址预读解决缺页时，将被访问页面相近的几个页一起读到内存中。内存管理器的这种方法唯一缺点是：必须同步进行带历史信息的异步预读高速缓存管理器在文件的私有缓存映射结构中为正在被访问的文件句柄保存最后两次读请求的历史信息,高速缓存的操作,智能预读,43,访问缓存数据的方法,“拷贝读取”方法在系统空间中的高速缓存数据缓冲区和用户空间中的进程数据缓冲区之间拷贝用户数据；“映射暂留”方法使用虚拟地址直接读写高速缓存的数据缓冲区。“物理内存访问”方法使用物理地址直接读写高速缓存的数据缓冲区。,