1.文件和文件系统
文件管理:把所管理的程序和数据组织成一系列的文件,并能进行合理的存储、使用等操作。
1.1 基本概念
数据项:描述对象某种属性的字符集;是数据组织中可以命名的最小逻辑数据单位。
记录:一组相关数据项集合,描述对象某方面的属性;
关键字:一个记录中的一个或几个数据项的集合,用于唯一的标识一个记录。
文件:由创建者定义的、具有文件名的一组相关元素的集合。
无结构:字符流的形式有结构:由相关记录组成
属性:类型、长度、物理位置、创建时间
1.2 文件类型
不同的系统对文件的管理方式不同,大多用扩展名标志文件类型,按如下几种方式分类文件
按用途:系统、用户、库文件
按数据形式:源文件、目标文件、可执行文件
按存取控制属性:只执行、只读、读写
按组织和处理方式:普通文件、目录文件、特殊(设备)文件
1.3 文件系统模型
1.4 文件操作
操作系统提供哪些文件操作?
最基本的操作
创建/删除文件:分空间,形成FCB及目录(名,地址)
读、写:按名检索目录,找到文件地址,开始读、写
设置文件读写位置,实现随机存取(尤其适用于记录文件)
还需要:“打开”与“关闭”:
文件读/写操作 = 检索 + 读/写。
每次读写前都要重复检索增大开销。所以为了方便对同一文件的多次读写,一次检索到文件后就在内存中记录其位置,避免重复检索。被记录下位置的文件就是“打开”文件;
不需要再操作文件时,通过“关闭”这个系统调用关闭文件——即从打开文件表上删除其路径信息即可。
其他操作:改名、改所属用户、改访问权限等属性的操作。
2.文件的逻辑结构
文件系统设计的关键要素:如何构成一个文件,以及如何存储在外存。
文件结构:文件的逻辑结构file logical structure:按用户观点如何组织数据;又称文件组织file organization
基本要求:检索速度高、方便修改、降低存储空间费用(不连续)
文件的物理结构:根据外存上的物理块的分配机制,记录文件外存的存储结构。用户感知不到的。
2.1 文件逻辑结构的类型
有结构文件(记录式)
①定长记录
②变长记录
如何组织记录:
顺序文件。系统需按该类型记录“长度”,通常定长。
索引文件。系统需为文件建立索引表。
索引顺序文件。建索引表,记录每组记录的第一个记录位置。
无结构文件(字符流式)
字节为单位,利用读写指针依次访问。
系统对该类文件不需格式处理。
①顺序文件
两种记录排列方式
串结构:按记录形成的时间顺序串行排序。记录顺序与关键字无关;
顺序结构:按关键字排序。
检索方法:
从头检索,顺序查找要找的记录,定长的计算相对快。
顺序结构,可用折半查找、插值查找、跳步查找等算法提高效率
顺序结构记录按关键字排序,可按关键字检索
定长:结合折半查找算法等提高检索速度
变长:从第1个记录开始顺序扫描,直到扫描到要检索的关键字标识的记录(例如:数据库、文件系统的基于文件名排序的目录检索)
顺序文件的优缺点:
不方便随机存取某条记录,但适用批量存取的场合。
适合磁带等特殊介质。
单记录的查找、修改等交互性差;增减不方便(改进办法:把增删改的记录登记在一个事务文件中,在某段时间间隔后再与原文件合并更新)。
②索引文件
为了方便单个记录的随机存取,为文件建立一个索引表,记录每项记录在文件的逻辑地址及记录长度;该索引表按关键字排序。
索引表内容:索引号、长度、记录地址指针
检索效率:索引表本身即是个按记录键排序的定长顺序文件,所以能利用算法提高索引表检索速度。
一个索引文件可以有多个索引表,为方便用户根据不同记录属性检索记录,为顺序文件建立多个索引表,每种能成为检索条件的域都配备一张索引表。
索引文件的优缺点:
适用于变长记录,可提高检索速度,实现直接存取
索引表增加了存储开销
③索引顺序文件
既要方便,又要降低开销。
本方式是最常见的一种逻辑文件形式。
将顺序文件的所有记录分组
还是建立索引表,但每个表项记录的是每组第1条记录的键值和地址。
组内记录仍按顺序方式检索和使用。
检索一条记录的过程:先计算记录是在第几组,然后再检索索引确定组在哪里后,在组内顺序查找。
可利用多级索引,进一步提高检索效率。
④直接文件
给定键值(如学号)不需顺序检索直接得到记录的物理地址
�
3.外存分配方式
目标:有效利用外存空间,提高文件访问速度
常用三种方式:
连续分配、链接分配(不连续)、索引分配
通常一个系统中仅采用一种方式
采用的磁盘分配方式决定了文件的“物理结构”
顺序结构;链接式结构;索引式结构。
注意与逻辑结构名类似但不是一回事。
3.1 连续分配
为每一个文件分配一组相邻的盘块。
逻辑文件中的记录顺序与存储器中文件占用盘块的顺序一致。
优点:
顺序访问容易,读写速度快
缺点:
会产生外存碎片。可紧凑法弥补,但需要额外的空间,和内存紧凑相比更花时间。
创建文件时要给出文件大小;存储空间利用率不高,不利于文件的动态增加和修改;
适用于变化不大顺序访问的文件,在流行的UNIX系统中仍保留了连续文件结构。如对换区
3.2 链接分配
可以为每一个文件分配一组不相邻的盘块。
设置链接指针,将同属于一个文件的多个离散盘块链接成一个链表,这样形成的文件称为链接文件。会有链接成本。
优点:
离散分配,消除外部碎片,提高利用率
同时适用于文件的动态增长;修改容易
3.3 索引分配
链接的不足:
顺序检索的时间成本:不能支持高效的盘块直接存取。要对一个文件进行直接存取,仍需在FAT中顺序的查找许多盘块号。
链接信息的空间成本:FAT需占用较大的内存空间。当磁盘容量较大时,FAT可能要占用数MB以上的内存空间。这是令人难以忍受的
改进:
系统运行时只涉及部分文件,FAT表无需全部调入内存
每个文件单独建索引表(物理盘块索引),记录所有分配给它的盘块号;
建立文件时,便分配一定的外存空间用于存放文件盘块索引表信息;
③混合组织索引(增量式索引组织方式)
多种索引方式相结合,以UNIX system的索引结点为例:
一个索引结点定义为13个地址项:iaddr(0)~iaddr(12),总的来说分为两种:直接地址、间接地址
iaddr(0)~iaddr(9)存放直接地址,即存文件数据的盘块号;
iaddr(10)存放单级索引的索引盘块号;
剩余的用于文件较大时存放多级索引数据。
iaddr(11)存放二级索引的主索引盘块号
iaddr(12)存放三级索引的主索引盘块号
索引文件在顺序访问或随机访问中都比较灵活,是一种比较好的文件物理结构,但也是需要一定的用于索引表的空间开销和检索文件索引的时间开销的。
UNIX系统是使用索引结构成功的例子。
4.存储空间的管理
为实现存储空间分配,系统需要:
记住空闲存储空间使用情况;为空间设置相应的数据结构;
提供对存储空间分配、回收的操作手段。
4.1 空闲表法和空闲链表法
4.1.1 空闲表法
常用于连续分配管理方式
①数据结构
系统为外存上的所有空闲区建立一张空闲表
每个空闲区对应一个空闲表项
(表项包括序号、空闲区的第一个盘块号、空闲盘块数等。)
将所有空闲区按其起始盘块号递增的次序排列,如下图。
②存储空间的分配与回收操作
与内存的动态分配类似,同样可采用首次适应算法、循环首次适应算法等。
回收主要解决对数据结构的数据修改。
应该说明,虽然很少采用连续分配方式,然而在外存的管理中,由于它具有较高的分配速度,可减少访问磁盘的I/O频率,故它在诸多分配方式中仍占有一席之地。(如实现虚拟用的部分外存就是连续分配方式)
4.1.2 空闲链表法
将所有空闲盘区拉成一条空闲链。
①数据结构:链
根据构成链所用基本元素的不同,可把链表分成两种形式:空闲盘块链、空闲盘区链
空闲盘块链:分配回收简单。链表长,大量分配时需要操作的指针多
空闲盘区链:链表长度不定,分配时操作的指针数量相对较少,但分配回收操作相对复杂。
4.2 位示图法——位示图
利用二进制的一位来表示一个盘块的使用情况。
值为0表示对应的盘块空闲,为1表示已分配。有的系统则相反。
磁盘上的所有盘块都有一个二进制位与之对应,这样由所有盘块所对应的位构成一个集合,称为位示图。
总块数=m*n。可用m*n个位数来构成位示图,可看成是二维数组(数据结构)。
4.3 成组链接法
大型文件系统,空闲表或空闲链表太长不方便管理操作。
UNIX系统中采用成组链接法,这是将两种方法结合而形成的一种空闲盘块管理方法。
中心思想:
所有盘块按规定大小划分为组;
组间建立链接;
组内的盘块借助一个系统栈可快速处理,且支持离散分配回收。
链表长度上限固定
组内的盘块借助一个系统栈可快速处理,且分配回收比较简单。
支持离散分配回收。
①空闲盘块的组织
空闲盘块号栈。
用来存放当前可用的一组空闲盘块的盘块号(最多含100个号)
栈中尚有的空闲盘块号数N。
(N兼具栈顶指针用。栈底为S.free(0),栈满时栈顶到达S.free(99),N=100,表示有100个盘块供使用。)
链接
每一组的第一个盘块记录下一组的盘块号,形成了一条链。
总将链的第一组盘块总数和所有的盘块号,记入栈,作为当前可供分配的空闲盘块号。
②空闲盘块的分配与回收
分配盘块时,须调用分配过程来完成。
先检查空闲盘块号栈是否上锁,如没有,便从栈顶取出一空闲盘块号,将与之对应的盘块分配给用户,然后将栈顶指针下移一格。
若该盘块号已是栈底,即S.free(0),到达当前栈中最后一个可供分配的盘块号。
读取该盘块号所对应的盘块中的信息:即下一组可用的盘块号入栈。
原栈底盘块分配出去。修改栈中的空闲盘块数。
回收
回收盘块号记入栈顶,空闲数N加1
N达到100时,若再回收一块,则将该100条信息填写入新回收块。