中科大研究生高级数据库实验报告,用LRU算法实现buffermanager,模拟数据库对记录的处理过程

数据库实现技术实验报告

SC11011042吴**源代码获取请联系：email：wude_yun@https://www.360docs.net/doc/516777264.html,

wdyun@https://www.360docs.net/doc/516777264.html,

一、实验目的

为了了解数据库buffer管理器的工作原理，对数据库底层结构有更进一步的了解，我们将实现一个简单的存储和缓冲管理器。该实验涉及的存储和缓冲管理器，缓冲技术，散列技术，文件存储结构，磁盘空间和缓冲模块的接口功能。

二、实验环境

硬件平台：LENOVO ThinkPad E425

软件平台：开发系统：win7

开发工具：eclipse

开发语言：java

JDK版本jdk1.6

三、实验内容

1、相关数据结构描述

BCB类

1)1)BCB

BCB类的属性如下所示：

public class BCB{

private int page_id;//文件号

private int frame_id;//存放文件号的buffer地址的下标

private int latch;//锁

private int count;//计数器

private int dirty;//是否脏，修改过

private BCB next;//下一个bcb链

……

}

BCB类主要是实现快速的查找功能，既查找给定的文件号是否在缓存中。查找给定的文件号是否在缓存中，一种比较简单的方法是遍历整个buffer，但是这样势必浪费时间。因为整个记录的数目为50万条，buffer空间为1024。那么对所有的记录查找是否在buffer中就需要50万×1024≈5亿次。如果用BCB数组(类似一个十字链表的结构)Hash划分对每个文件号查找平均次数1(假设是平均划分，即使不是平均划分其平均查找次数远远小于1024

次)，对所有的记录的查找只要5万次，明显要快。

BCB类具体包含的属性及方法的UML如图1所示。

图1BCB的UML结构

2)BufferManager与LRU类

BufferManager类的属性如下所示：

public class BufferManager{

public static final int DEFBUFSIZE=1024;

private int[]ftop;//对应buffer的号中存放frame_id

private BCB[]ptof;//Hash Table

private LRU lru;//lru类管理替换规则

private int freeBuffer;//用于表示空闲的buffer的下标

public BufferManager(){

super();

this.ftop=new int[this.DEFBUFSIZE];

this.ptof=new BCB[this.DEFBUFSIZE];

this.initialFtop();

this.intialPtof();

lru.intial();

}

……

}

其中LRU类为实现当buffer满了时，使用LRU算法替换buffer。LRU类的属性如下所示：

public class LRU{

private Note head;

class Note{

private int bufNumber;//buffer的下标

private Note next;//后驱

private Note front;//前驱

}

public Note intial(){

//只申请1个空间

head=new Note();

head.front=head;

head.next=head;

return head;

}

……

}

LRU类包含一个head引用（类似c语言的指针）指示LRU链表的头，表示当前刚刚使用过的buffer地址。Note类是LRU的内部类，其实就相当于实现c语言的结构体，用于表示LRU链表的内部节点，将链表表示成一个双向循环链表。用双向循环链表实现LRU算法的好处是算法实现很简单。head引用所指向的节点是当前刚刚使用的节点，head的next 指向的节点是将要替换的节点。

LRU类包含一个初始化函数intial（）初始化LRU类，LRU类只有一个节点。这里需要指出不一次性生成1024个节点（或者说是buffersize大小的节点数）好处在于当buffer 未满时，如果page_id在buffer中既已命中，这时需要调整更新LRU链表，将命中的存有page_id的buffer调到head指向的节点的前面，调换两个节点的次序即可；否则如果生成1024个节点，由于此时buffer未满，则肯定有空的LRU节点，因此将命中的存有page_id的buffer 调到head指向的节点的前面，势必要调整整个链表。

BufferManager与LRU类及其之间的关系的UML如图2所示。

图2BufferManager与LRU类及其之间的关系的UML

DataStorageManager类

3)3)DataStorageManager

DataStorageManager类的属性如下所示：

public class DataStorageManager{

private BufferManager buffer;

private int ioCount;//io次数

private int hitCount;//lru命中次数

……

}

DataStorageManager类主要要是实现读取文件记录实现整个buffer管理。包含一个BufferManager类的成员变量buffer用于实现缓存的管理，ioCount表示整个I/O的次数，hitCount记录命中次数。DataStorageManager类的UML与其他类之间的关系如图3所示。

图3DataStorageManager类的UML与其他类之间的关系

2、算法描述及流程图

先依次读入所给测试文档里面的数据，然后按行依次处理每个命令，循环执行如下：判断是文件号是否已存在于缓存中，是则在ptob数组中修改该页对应的BCB参数，并同时找出该页在双向链表head中的位置，插到首位。读下一条记录。

若不存在I/O次数加1。并判断buffer是否已满，如果未满，在双向链表head首部插入新节点，并同时在ftop数组添加该页映射；如果满用LRU算法选择一个替换的buffer地址（将head移到下一个节点），在ftop数组中找到替换的oldpage_id,删除ptob数组中旧的oldpage_id节点，在ftop数组添加该页映射。最后将该页相关信息插入ptob数组中（不管是buffer否满）。并读下一条记录。

算法流程图如图3所示。

四、实验结果

更改buffer的大小，观察结果

1）当buffersize=1024时的结果为，如图4所示：

共用时间：1.447秒，LRU命中次数：169565，总共I/O次数：575225，命中率：33.913%

图4buffersize=1024时的结果

2）当buffersize=2048时的结果为，如图5所示：

共用时间：1.638秒，LRU命中次数：209569，总共I/O次数：535221，命中率：41.9138%

图5buffersize=2048时的结果

3）当buffersize=10000时的结果为，如图6所示：

共用时间：7.114秒，LRU命中次数：325557，总共I/O次数：419233，命中率：65.1114%

图6buffersize=10000时的结果

结论：随着buffersize的增加命中次数不断增大，I/O次数不断减小，命中率也不断增大。

五、实验总结

本次实验最难的地方是对整个程序流程的把握，其次是各个数据结构（类）之间的关系如何组织。LRU双向循环链表的使用大大简化了LRU替换算法的实现，Java语言没有指针使得编程变得相对简单。

通过本次实验，我对于数据库的buffer管理器的工作原理有了更进一步的了解，对于整个数据缓存技术也有了清晰的认识，收获颇多。