4.存储系统二，相联存储器，高速缓存cache
（1）相联存储器
关联存储器（associative memory)也称为按内容访问存储器（content addressed memory)或简称为TLB(Translation Lookaside Buffer)它是一种不根据地址而是根据存储内容来进行存取的存储器,可以实现快速地查找快表.相联存储器的基本原理是把存储单元所存内容的某一部分作为检索项(即关键字项)，去检索该存储器，并将存储器中与该检索项符合的存储单元内容进行读出或写入。相联存储器可用在cache中，在虚拟存储器中用来作段表、页表或快表存储器，也用在数据库和知识库中。
（2）Cache
高速缓冲存储器是存在于主存与CPU之间的一级存储器， 由静态存储芯片(SRAM)组成，容量比较小但速度比主存高得多， 接近于CPU的速度。在计算机存储系统的层次结构中，是介于中央处理器和主存储器之间的高速小容量存储器。它和主存储器一起构成一级的存储器。高速缓冲存储器和主存储器之间信息的调度和传送是由硬件自动进行的。
高速缓冲存储器最重要的技术指标是它的命中率。主要由三大部分组成：
(a)Cache存储体：存放由主存调入的指令与数据块。
(b)地址转换部件：建立目录表以实现主存地址到缓存地址的转换。
(c)替换部件：在缓存已满时按一定策略进行数据块替换，并修改地址转换部件。
在有高速缓冲存储器的计算机系统中，中央处理器存取主存储器的地址划分为行号、列号和组内地址三个字段。于是，主存储器就在逻辑上划分为若干行；每行划分为若干的存储单元组；每组包含几个或几十个字。高速存储器也相应地划分为行和列的存储单元组。二者的列数相同，组的大小也相同，但高速存储器的行数却比主存储器的行数少得多。
当中央处理器存取主存储器时，硬件首先自动对存取地址的列号字段进行译码，以便将联想存储器该列的全部行号与存取主存储器地址的行号字段进行比较：若有相同的，表明要存取的主存储器单元已在高速存储器中，称为命中，硬件就将存取主存储器的地址映射为高速存储器的地址并执行存取操作；若都不相同，表明该单元不在高速存储器中，称为脱靶，硬件将执行存取主存储器操作并自动将该单元所在的那一主存储器单元组调入高速存储器相同列中空着的存储单元组中，同时将该组在主存储器中的行号存入联想存储器对应位置的单元内。
当出现脱靶而高速存储器对应列中没有空的位置时，便淘汰该列中的某一组以腾出位置存放新调入的组，这称为替换。确定替换的规则叫替换算法，常用的替换算法有:最近最少使用算法（LRU）、先进先出法（FIFO）和随机法（RAND）等。替换逻辑电路就是执行这个功能的。另外，当执行写主存储器操作时，为保持主存储器和高速存储器内容的一致性，对命中和脱靶须分别处理。
设置高速缓冲存储器（Cache）是解决存取速度的重要方法。在CPU和主存中间设置高速缓冲存储器，构成高速缓存（Cache）-主存层次，要求Cache在速度上能跟得上CPU的要求。Cache-主存间的地址映象和调度吸取了比它较早出现的主-辅存存储层次的技术，不同的是因其速度要求高，不是由软、硬件结合而完全由硬件来实现。
地址映象与转换
地址映象是指某一数据在内存中的地址与在缓冲中的地址，两者之间的对应关系。下面介绍三种地址映象的方式。
1.全相联方式
地址映象规则：主存的任意一块可以映象到Cache中的任意一块
(1) 主存与缓存分成相同大小的数据块。
(2) 主存的某一数据块可以装入缓存的任意一块空间中。如果Cache的块数为Cb，主存的块数为Mb，则映象关系共有Cb×Mb种。
目录表存放在相关（联）存储器中，其中包括三部分：数据块在主存的块地址、存入缓存后的块地址、及有效位（也称装入位）。由于是全相联方式，因此，目录表的容量应当与缓存的块数相同。
优点：命中率比较高，Cache存储空间利用率高。
缺点：访问相关存储器时，每次都要与全部内容比较，速度低，成本高，因而应用少。
2.直接相联方式
地址映象规则： 主存储器中一块只能映象到Cache的一个特定的块中。
(1) 主存与缓存分成相同大小的数据块。
(2) 主存容量应是缓存容量的整数倍，将主存空间按缓存的容量分成区，主存中每一区的块数与缓存的总块数相等。
(3) 主存中某区的一块存入缓存时只能存入缓存中块号相同的位置。
主存中各区内相同块号的数据块都可以分别调入缓存中块号相同的地址中，但同时只能有一个区的块存入缓存。由于主、缓存块号相同，因此，目录登记时，只记录调入块的区号即可。主、缓存块号及块内地址两个字段完全相同。目录表存放在高速小容量存储器中，其中包括二部分：数据块在主存的区号和有效位。目录表的容量与缓存的块数相同。
优点：地址映象方式简单，数据访问时，只需检查区号是否相等即可，因而可以得到比较快的访问速度，硬件设备简单。
缺点：替换操作频繁，命中率比较低。
3.组相联映象方式
组相联的映象规则：
(1) 主存和Cache按同样大小划分成块。
(2) 主存和Cache按同样大小划分成组。
(3) 主存容量是缓存容量的整数倍，将主存空间按缓冲区的大小分成区，主存中每一区的组数与缓存的组数相同。
(4) 当主存的数据调入缓存时，主存与缓存的组号应相等，也就是各区中的某一块只能存入缓存的同组号的空间内，但组内各块地址之间则可以任意存放，即从主存的组到Cache的组之间采用直接映象方式；在两个对应的组内部采用全相联映象方式。
主存地址与缓存地址的转换有两部分，组地址是按直接映象方式，按地址进行访问，而块地址是采用全相联方式，按内容访问。组相联的地址转换部件也是采用相关存储器实现。
优点：块的冲突概率比较低，块的利用率大幅度提高，块失效率明显降低。
缺点：实现难度和造价要比直接映象方式高。
常用的替换算法有下面三种。
1. 最不经常使用（LFU）算法：
LFU（Least Frequently Used，最不经常使用）算法将一段时间内被访问次数最少的那个块替换出去。每块设置一个计数器，从0开始计数，每访问一次，被访块的计数器就增1。当需要替换时，将计数值最小的块换出，同时将所有块的计数器都清零。
这种算法将计数周期限定在对这些特定块两次替换之间的间隔时间内，不能严格反映近期访问情况，新调入的块很容易被替换出去。
2. 近期最少使用（LRU）算法：
LRU（Least Recently Used，近期最少使用）算法是把CPU近期最少使用的块替换出去。这种替换方法需要随时记录Cache中各块的使用情况，以便确定哪个块是近期最少使用的块。每块也设置一个计数器，Cache每命中一次，命中块计数器清零，其他各块计数器增1。当需要替换时，将计数值最大的块换出。
LRU算法相对合理，但实现起来比较复杂，系统开销较大。这种算法保护了刚调入Cache的新数据块，具有较高的命中率。LRU算法不能肯定调出去的块近期不会再被使用，所以这种替换算法不能算作最合理、最优秀的算法。但是研究表明，采用这种算法可使Cache的命中率达到90%左右。
3. 随机替换
最简单的替换算法是随机替换。随机替换算法完全不管Cache的情况，简单地根据一个随机数选择一块替换出去。随机替换算法在硬件上容易实现，且速度也比前两种算法快。缺点则是降低了命中率和Cache工作效率。
Cache命中率除了和替换算法有关外，还与Cache的容量及块的大小有关。
Cache和主存的效率计算
第一，看命中率的定义：CPU欲访问的信息已经在Cache中的比率称之为命中率。
设程序在执行期间，Cache的命中次数是Nc,访问主存的次数是Nm,则命中率H=Nc/(Nc+Nm)，Tc是cache的存取时间。Tm为主存的访问时间。
平均访问时间Ta = H⋅Tc+(1−H)⋅Tm.
看一道习题理解两种策略的不同：同时访问Cache和主存，Cache命中时中断访存 || 先访问Cache,没有时再访问主存调入Cache再从Cache中拿数据。
例：假设Cache的访问速度是主存的5t,且Cache的命中率是95%，则采用Cache后，存储器的存储性能提高多少？
解：同时访主存时：Cache存储周期是t,主存的存储周期是5t
则平均访问时间：Ta = 0.95t + 0.05 * 5t = 1.2t
主存性能：5t/1.2t = 4.17倍
不同时访主存时，在不命中的时候用时就不是5t,而是6t
于是：Ta = 0.95t + 0.05 * 6t = 1.25t
主存性能：5t/1.25 = 4倍
即不同时访问时，在访问Cache失败时耽误了一点点时间，计算不命中的时间时加上访问Cache用时即可。
