浅谈san与磁盘阵列关系

浅谈san与磁盘阵列关系
浅谈san与磁盘阵列关系

浅谈san与磁盘阵列关系

SAN,是Storage Area Network的缩写,即“存储区域网络”。SAN专注于企业级存储的特有问题。当前企业存储方案所遇到的两个问题是:数据与应用系统紧密结合所产生的结构性限制,以及目前小型计算机系统接口(SCSI)标准的限制。

SAN中,存储设备通过专用交换机到一群计算机上。在该网络中提供了多主机连接,允许任何服务器连接到任何存储阵列,让多主机访问存储器和主机间互相访问一样方便,这样不管数据置放在那里,服务器都可直接存取所需的数据。同时,随着存储容量的爆炸性增长,SAN也允许企业独立地增加它们的存储容量。

SAN的支撑技术是光纤通道---- Fibre Channel(FC)技术,FC是ANSI为网络和通道I/O接口建立的一个标准集成。支持HIP PI 、IPI、SCSI、IP、ATM 等多种高级协议,它的最大特性是将网络和设备的通讯协议与传输物理介质隔离开。这样多种协议可在同一个物理连接上同时传送,高性能存储体和宽带网络使

用单I/O接口,使得系统的成本和复杂程度大大降低。光纤通道支持多种拓扑结构,主要有:点到点(Links)、仲裁环(FC-AL)、交换式网络结构(FC-XS) 。

点对点方式的例子是一台主机与一台磁盘阵列透过光纤通道连接,可以实现DAS应用。FC-XS交换式架构下,主机和存储装置之间透过智能型的光纤通道交换器连接,并存储网络的管理软件统一管理,这种方式就是SAN。因为采用了FC技术,SAN具有更高的带宽。FC使用全双工串行通信原理传输数据,在1Gb标准下,传输速率高达1062.5Mbps ,即为100MB/S,双环可达200MB/S ,2Gb下,上述数字将翻倍。FC标准下可以通过同轴线、光纤介质进行设备间的信号传输,使用同轴线传输距离为30米,使用单模光纤传输距离可达10公里以上,这使得在SAN模式下实现物理上分离的、不在机房的存储变得非常容易。

现在SAN应用需求量逐步增大、成本在逐步降低,更重要的是,随着FC-SW 标准的确立,2GbFC标准下的各种SAN设备已解决了互操作性问题,这已从成本和技术上解决了SAN的应用瓶颈。因为SAN解决方案是从基本功能剥离出存储功能,所以运行备份操作就无需考虑它们对网络总体性能的影响。SAN方案简化了管理和集中控制,这对于全部存储设备都集中在信息中心,很有意义。

为什么服务器需要做磁盘阵列

为什么服务器需要做磁盘阵列? 磁盘阵列是一种把若干硬磁盘驱动器按照一定要求组成一个整体,整个磁盘阵列由阵列控制器管理的系统。冗余磁盘阵列RAID(Redundant Array of Independent Disks)技术1987年由加州大学伯克利分校提出,最初的研制目的是为了组合小的廉价磁盘来代替大的昂贵磁盘,以降低大批量数据存储的费用(当时RAID称为Redundant Array of Inexpensive Disks 廉价的磁盘阵列),同时也希望采用冗余信息的方式,使得磁盘失效时不会使对数据的访问受损失,从而开发出一定水平的数据保护技术。 磁盘阵列的工作原理与特征: RAID的基本结构特征就是组合(Striping),捆绑2个或多个物理磁盘成组,形成一个单独的逻辑盘。组合套(Striping Set)是指将物理磁盘组捆绑在一块儿。在利用多个磁盘驱动器时,组合能够提供比单个物理磁盘驱动器更好的性能提升。数据是以块(Chunks)的形式写入组合套中的,块的尺寸是一个固定的值,在捆绑过程实施前就已选定。块尺寸和平均I/O 需求的尺寸之间的关系决定了组合套的特性。总的来说,选择块尺寸的目的是为了最大程度地提高性能,以适应不同特点的计算环境应用。 磁盘阵列优点: 磁盘阵列有许多优点:首先,提高了存储容量;其次,多台磁盘驱动器可并行工作,提高了数据传输率;...RAID技术确实提供了比通常的磁盘存储更高的性能指标、数据完整性和数据可用性,尤其是在当今面临的I/O总是滞后于CPU性能的瓶颈问题越来越突出的情况下,RAID解决方案能够有效地弥补这个缺口。 阵列技术的介绍: RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种,RAID 0、RAID 1、RAID 0+1和RAID 5,我们常见的主板自带的阵列芯片或阵列卡能支持的模式有:RAID 0、RAID 1、RAID 0+1。 1) RAID 0是无数据冗余的存储空间条带化,它将所有硬盘构成一个磁盘阵列,可以同时对多个硬盘做读写动作,但是不具备备份及容错能力,具有成本低、读写性能极高、存储空间利用率高等特点,在理论上可以提高磁盘子系统的性能。 2) RAID 1是两块硬盘数据完全镜像,可以提高磁盘子系统的安全性,技术简单,管理方便,读写性能均好。但它无法扩展(单块硬盘容量),数据空间浪费大,严格意义上说,不应称之为“阵列”。 3) RAID 0+1综合了RAID 0和RAID 1的特点,独立磁盘配置成RAID 0,两套完整的RAID 0互相镜像。它的读写性能出色,安全性高,但构建阵列的成本投入大,数据空间利用率低,不能称之为经济高效的方案。 常见的阵列卡芯片有三种:Promise(乔鼎信息)、highpoint、ami(美商安迈)。这三种芯片都有主板集成或独立的阵列卡这二种形式的产品。我们主要用到的是Promise阵列卡,经过测试在无盘中稳定,并且不容易坏Promise常见的阵列芯片有:Promise Fasttrak 66、Fasttrak 100、Fasttrak 133、20262、20265、20267、20270、Fasttrak TX2、Fasttrak TX4、Fasttrak TX2000,TX4000.Highpoint常见的阵列芯片有:highpoint 370、370a、372、372a。AMI / LSI Logic MegaRAID 这种芯片的产品我们用得很少,现在知道的有艾崴WO2-R主板上集成了American Megatrends MG80649 控制器,其阵列卡的产品也没有使用过。 注意事项: 1) 用来创建磁盘阵列的硬盘一般需成对使用。

RAID技术工作原理及可靠性分析

RAID技术工作原理及可靠性分析 摘要:介绍了磁盘阵列的基本概念和常用的磁盘阵列种类,分析了RAID0、RAID3和RAID10三种磁盘阵列的可靠性值,同时与实验数据进行了比较。结果表明,磁盘阵列的可靠性值基于标准模型在一定程度上可以进行量化,能进行科学的计算,得出RAID10比相应其他的RAID的容量更大,可靠性更佳。该文的可靠性分析对磁盘阵列的进一步研究和生产能起到现实的指导作用。 关键字:磁盘阵列;可靠性;镜像; 磁盘阵列控制器; 1 引言 RAID是英文Redundant Array of Independent Disks的缩写,中文简称为独立冗余磁盘阵列。简单的说,RAID是一种把多块独立的硬盘(物理硬盘)按不同的方式组合起来形成一个硬盘组(逻辑硬盘),从 而提供比单个硬盘更高的存储性能和提供 数据备份技术。组成磁盘阵列的不同方式称为RAID级别(RAID Levels)。在用户看起来,组成的磁盘组就像是一个硬盘,用户可以对它进行分区,格式化等等。总之,对磁盘阵列的操作与单个硬盘一模一样。不同的是,磁盘阵列的存储速度要比单个硬盘高很多,而且可以提供自动数据备份。数据备份的功能是在用户数据一旦发生损坏后,利用备份信息可以使损坏数据得以恢复,从而保障了用户数据的安全性。 2磁盘阵列的基本概念和常用的磁盘阵列种类 2.1 RIAD技术简介 RAID包含多块硬盘,但是在操作系统下是作为一个独立的大型存储设备出现。利用RAID技术于存储系统的好处主要有以下三种: 通过把多个磁盘组织在一起作为一个逻辑 卷提供磁盘跨越功能; 通过把数据分成多个数据块(Block)并行 写入/读出多个磁盘以提高访问磁盘的速度;通过镜像或校验操作提供容错能力; 最初开发RAID的主要目的是节省成本,当时几块小容量硬盘的价格总和要低于大容 量的硬盘。目前来看RAID在节省成本方面 的作用并不明显,但是 RAID可以充分发挥出多块硬盘的优势,实现远远超出任何一块单独硬盘的速度和吞吐量。除了性能上的提高之外,RAID还可以提供良好的容错能力,在任何一块硬盘出现问题的情况下都可以 继续工作,不会受到损坏硬盘的影响。RAID技术分为几种不同的等级,分别可以提供不同的速度,安全性和性价比。根据实际情况选择适当的RAID级别可以满足用户对 存储系统可用性、性能和容量的要求。常用的RAID级别有以下几种:NRAID,JBOD,RAID0,RAID1,RAID1+0,RAID3,RAID5等。目前经常使用的是RAID5和RAID(1+0)。 磁盘阵列(Disk Array)是由一个硬盘控制器来控制多个硬盘的相互连接,使多个硬盘的读写同步,减少错误,增加效率和可靠度的技术。磁盘阵列卡则是实现这一技术的硬件产品,磁盘阵列卡拥有一个专门的处理器,还拥有专门的存贮器,用于高速缓冲数据。使用磁盘阵列卡服务器对磁盘的操作就直 接通过阵列卡来进行处理,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。阵列卡专用的处理单元来进行操作,它的性能要远远高于常规非阵列硬盘,并且更安全更稳定。 RAID技术的两大特点:一是速度、二是安全,由于这两项优点,RAID技术早期被应用于高级服务器中的SCSI接口的硬盘系统中,随 着近年计算机技术的发展,PC机的CPU的速

FC磁盘阵列 实现WWN端口绑定功能

FC磁盘阵列实现WWN端口绑定功能 实验环境:存储Infortrend F16F-R4031 服务器DELL 2950(操作系统win2003) 光纤卡Emulex LP1150 实施概述:首先在Emulex官方网站下载对应型号光纤卡驱动,在服务器端安装光纤卡驱动,使光纤卡可以正常使用,连接磁盘阵列。 对磁盘阵列进行连接、配置,做好逻辑盘、分区、映射等操作。在 本次实验中,对CH0端口和光纤卡WWN进行绑定。若在条件设备充足 分下,可以在服务器端插入2片光纤卡,并分别做CH0和光纤卡1 绑定,CH1和光纤卡2绑定,以达到实验效果。本次实验只对CH0端 口和光纤卡WWN进行绑定。 具体步骤: 1、服务器端安装光纤卡驱动,安装成功后,可在设备管理器中SCSI和RAID控制器中看见所安装光纤卡情况。 2、打开终端,进入磁盘阵列配置界面,对磁盘阵列进行必要配置。

3、进入终端界面,选择view and edit Logic drives,对磁盘阵列创建逻辑盘操作。 3、创建逻辑盘完成后,返回终端菜单,选择 view and edit Host Luns

4、在view and edit Host Luns下,选择 Edit Host-ID/WWN Name List 5、选择Edit Host-ID/WWN Name List菜单后,系统会弹出所安装光纤卡WWN 号,并安装系统提示进行操作、创建。

6、按照系统所提示,选择创建YES 7、选择Host-ID/WWN,会弹出所要选择的控制器A/B(本例子中选择slot A)

8、选择后,系统会提示创建Name(本例中name:A) 9、按Enter键,出现如下创建信息

磁盘阵列配置全程解

磁盘阵列配置全程解(图) 说到磁盘阵列(RAID,Redundant Array of Independent Disks),现在几乎成了网管员所必须掌握的一门技术之一,特别是中小型企业,因为磁盘阵列应用非常广泛,它是当前数据备份的主要方案之一。然而,许多网管员只是在各种媒体上看到相关的理论知识介绍,却并没有看到一些实际的磁盘阵列配置方法,所以仍只是一知半解,到自己真正配置时,却无从下手。本文要以一个具体的磁盘阵列配置方法为例向大家介绍磁盘阵列的一些基本配置方法,给出一些关键界面,使各位对磁盘阵列的配置有一个理性认识。当然为了使各位对磁盘阵列有一个较全面的介绍,还是先来简要回顾一下有关磁盘阵列的理论知识,这样可以为实际的配置找到理论依据。 一、磁盘阵列实现方式 磁盘阵列有两种方式可以实现,那就是“软件阵列”与“硬件阵列”。 软件阵列是指通过网络操作系统自身提供的磁盘管理功能将连 接的普通SCSI卡上的多块硬盘配置成逻辑盘,组成阵列。如微软的Windows NT/2000 Server/Server 2003和NetVoll的NetWare两种操作系统都可以提供软件阵列功能,其中Windows NT/2000 Server/ Server 2003可以提供RAID 0、RAID 1、RAID 5;NetWare操作系统

可以实现RAID 1功能。软件阵列可以提供数据冗余功能,但是磁盘子系统的性能会有所降低,有的降代还比较大,达30%左右。 硬件阵列是使用专门的磁盘阵列卡来实现的,这就是本文要介绍的对象。现在的非入门级服务器几乎都提供磁盘阵列卡,不管是集成在主板上或非集成的都能轻松实现阵列功能。硬件阵列能够提供在线扩容、动态修改阵列级别、自动数据恢复、驱动器漫游、超高速缓冲等功能。它能提供性能、数据保护、可靠性、可用性和可管理性的解决方案。磁盘阵列卡拥有一个专门的处理器,如Intel的I960芯片,HPT370A/372 、Silicon Image SIL3112A等,还拥有专门的存贮器,用于高速缓冲数据。这样一来,服务器对磁盘的操作就直接通过磁盘阵列卡来进行处理,因此不需要大量的CPU及系统内存资源,不会降低磁盘子系统的性能。阵列卡专用的处理单元来进行操作,它的性能要远远高于常规非阵列硬盘,并且更安全更稳定。 二、几种磁盘阵列技术 RAID技术是一种工业标准,各厂商对RAID级别的定义也不尽相同。目前对RAID级别的定义可以获得业界广泛认同的有4种,RAID 0、RAID 1、RAID 0+1和RAID 5。 RAID 0是无数据冗余的存储空间条带化,具有成本低、读写性能极高、存储空间利用率高等特点,适用于音、视频信号存储、临时文件的转储等对速度要求极其严格的特殊应用。但由于没有数据冗

磁盘阵列RAID0,RAID1和RAID5的基础原理及他们之间的区别

磁盘阵列RAID0,RAID1和RAID5的基础原理及他们之间的区 别 RAID 0:无差错控制的带区组 要实现RAID0必须要有两个以上硬盘驱动器,RAID0实现了带区组,数据并不是保存在一个硬盘上,而是分成数据块保存在不同驱动器上。因为将数据分布在不同驱动器上,所以数据吞吐率大大提高,驱动器的负载也比较平衡。如果刚好所需要的数据在不同的驱动器上效率最好。它不需要计算校验码,实现容易。它的缺点是它没有数据差错控制,如果一个驱动器中的数据发生错误,即使其它盘上的数据正确也无济于事了。不应该将它用于对数据稳定性要求高的场合。如果用户进行图象(包括动画)编辑和其它要求传输比较大的场合使用RAID0比较合适。同时,RAID可以提高数据传输速率,比如所需读取的文件分布在两个硬盘上,这两个硬盘可以同时读取。那么原来读取同样文件的时间被缩短为1/2。 RAID 1:镜象结构 对于使用这种RAID1结构的设备来说,RAID控制器必须能够同时对两个盘进行读操作和对两个镜象盘进行写操作。通过下面的结构图您也可以看到必须有两个驱动器。因为是镜象结构在一组盘出现问题时,可以使用镜象,提高系统的容错能力。它比较容易设计和实现。每读一次盘只能读出一块数据,也就是说数据块传送速率与单独的盘的读取速率相同。因为RAID1的校验十分完备,因此对系统的处理能力有很大的影响,通常的RAID功能由软件实现,而这样的实现方法在服务器负载比较重的时候会大大影响服务器效率。当您的系统需要极高的可靠性时,如进行数据统计,那么使用RAID1比较合适。而且RAID1技术支持“热替换”,即不断电的情况下对故障磁盘进行更换,更换完毕只要从镜像盘上恢复数据即可。当主硬盘损坏时,镜像硬盘就可以代替主硬盘工作。镜像硬盘相当于一个备份盘,可想而知,这种硬盘模式的安全性是非常高的,但带来的后果是硬盘容量利用率很低,只有50%,是所有RAID级别中最低的。

各种RAID的工作原理..

各种RAID的工作原理 RAID是通过磁盘阵列与数据条块化方法相结合,以提高数据可用率的一种结构。IBM早于1970年就开始研究此项技术。RAID 可分为RAID级别1到RAID级别6, 通常称为:RAID 0, RAID 1, RAID 2, RAID 3,RAID 4, RAID 5,RAID6。每一个RAID级别都有自己的强项和弱项。"奇偶校验"定义为用户数据的冗余信息, 当硬盘失效时,可以重新产生数据。 RAID 0:RAID 0 并不是真正的RAID结构,没有数据冗余。RAID 0 连续地分割数据并并行地读/写于多个磁盘上。因此具有很高的数据传输率。但RAID 0在提高性能的同时,并没有提供数据可靠性,如果一个磁盘失效,将影响整个数据。因此RAID 0 不可应用于需要数据高可用性的关键应用。 RAID 1:RAID 1通过数据镜像实现数据冗余,在两对分离的磁盘上产生互为备份的数据。RAID 1可以提高读的性能, 当原始数据繁忙时,可直接从镜像拷贝中读取数据。RAID 1是磁盘阵列中费用最高的, 但提供了最高的数据可用率。当一个磁盘失效,系统可以自动地交换到镜像磁盘上, 而不需要重组失效的数据。 RAID 2:从概念上讲, RAID 2 同RAID 3类似, 两者都是将数据条块化分布于不同的硬盘上, 条块单位为位或字节。然而RAID 2 使用称为"加重平均纠错码"的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息, 使得RAID 2技术实施更复杂。因此,在商业环境中很少使用. RAID 3:不同于RAID 2, RAID 3使用单块磁盘存放奇偶校验信息。如果一块磁盘失效, 奇偶盘及其他数据盘可以重新产生数据。如果奇偶盘失效,则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率, 但对于随机数据, 奇偶盘会成为写操作的瓶颈。 RAID 4:同RAID 2, RAID 3一样, RAID 4, RAID 5也同样将数据条块化并分布于不同的磁盘上, 但条块单位为块或记录。RAID 4使用一块磁盘作为奇偶校验盘, 每次写操作都需要访问奇偶盘, 成为写操作的瓶颈. 在商业应用中很少使用。 RAID 5:RAID 5没有单独指定的奇偶盘, 而是交叉地存取数据及奇偶校验信息于所有磁盘上。在RAID5 上, 读/写指针可同时对阵列设备进行操作, 提供了更高的数据流量。RAID 5更适合于小数据块, 随机读写的数据.RAID 3 与RAID 5相比, 重要的区别在于RAID 3每进行一次数据传输,需涉及到所有的阵列盘。而对于RAID 5来说, 大部分数据传输只对一块磁盘操作, 可进行并行操作。在RAID 5中有"写损失", 即每一次写操作,将产生四个实际的读/写操作, 其中两次读旧的数据及奇偶信息, 两次写新的数据及奇偶信息。 RAID 6:RAID 6 与RAID 5相比,增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法, 数据的可靠性非常高。即使两块磁盘同时失效,也不会影响数据的使用。但需要分配给奇偶校验信息更大的磁盘空间, 相对于RAID 5有更大的"写损失"。RAID 6 的写性能非常差, 较差的性能和复杂的实施使得RAID 6很少使用。 在计算机发展的初期,“大容量”硬盘的价格还相当高,解决数据存储安全性问题的主要方法是使用磁带机等设备进行备份,这种方法虽然可以保证数据的安全,但查阅和备份工作都相当繁琐。1987年,Patterson、Gibson和Katz这三位工程师在加州大学伯克利分校发表了题为《A Case of Redundant Array of Inexpensive Disks(廉价磁盘冗余阵列方案)》的论文,其基本思想就是将多只容量较小的、相对廉价的硬盘驱动器进行有机组合,使其性能超过一只昂贵的大硬盘。这一设计思想很快被接受,从此RAID技术得到了广泛应用,数据存储进入了更快速、更安全、更廉价的新时代。 磁盘阵列对于个人电脑用户,还是比较陌生和神秘的。印象中的磁盘阵列似乎还停留在这样

HP ProLiant存储服务器 (NAS)存储解决方案

HP ProLiant存储服务器(NAS)存储解决方案 项目背景与需求 某外企的存储分析系统,有多种不同应用系统。其中包含了基于Unix、Linux和Windows 平台的双机系统和数据分析系统。用户需要确保该存储系统中数据的实时性、高可用性和高可靠性;实现系统中Unix、Linux和Windows之间数据的共享;可实现对该系统中多台服务器和工作站的数据的集中存储管理。实现Windows系统分析工作站能够共享使用Unix和Linux服务器的文件数据。 解决方案 根据用户的需求,HP设计了SAN+NAS存储解决方案,该系统由1台NAS文件转换服务器(HP Storage Server DL380G4)、2台数据分析服务器(双机集群)、3台接口工作站(其中接口1个接口3采用HP XW4100工作站,接口2采用HP ML350G4服务器)与1台HP 8口光纤通道交换机和1台HP MSA1000光纤磁盘阵列组成SAN架构存储体系。每台工作站和服务器均安装有1块存储光纤通道卡通过交换机连接到MSA1000存储,最终实现各工作站和服务器的数据集中存入到光纤阵列中,进行统一的管理和存储。该方案采用了HP FCA 存储光纤交换机、HP MSA1000光纤磁盘阵列、HP Storage Server DL380G4、VERITAS备份和集群软件。 该方案具备以下特点:存储设备(磁盘阵列)采用主要部件冗余结构,具有高可靠性;Storage Server、服务器、交换机、存储设备都可以在线扩展,具有高扩展性;采用SAN、光纤磁盘阵列、多机共享SAN存储,具有更高的先进性;SAN磁盘阵列对各主机的操作系统平台都有良好的支持,将来可以灵活扩展,具有高度的灵活性;所有硬件产品(光纤卡,磁盘阵列,Storage Server)都配置了功能强大的管理软件,具有高度的可管理性。 全面的存储服务器解决方案 存储的需求和复杂性在迅速增加,而预算却在不断紧缩。使用当前的存储架构很难提供您的环境所需的服务级别。同时,由于管理设备和直连存储设备分遍于您的基础设施架构上,因而存储变得比以往更加复杂。这些正是您需要HP ProLiant存储服务器解决方案的原因所在。 HP ProLiant存储服务器经济适用、易于理解且部署简单,它采用工业标准组件构建而成,可与现有的以太网基础设施架构兼容,通过基于Web的图形用户界面,管理简单易行,实现了整合与集中的存储及存储管理,降低了您的总体拥有成本(TCO) ,可以快速、轻松地扩展,满足未来的存储扩展需要,建立在标准基础之上,降低您的成本. HP ProLiant DL380 G4存储服务器(SAN存储机型)将NAS和SAN的最佳功能组合在一个共享的存储池中。这一强大的融合将NAS“头”或“网关”与SAN相连,以便为客户机提供文件服务。应用服务器还可以连接到SAN中,提供数据块服务。这样,NAS便可扩展到SAN的极限。您不必再单独管理存储孤岛。集群会使您的应用程序始终正常运行。增强的可扩展性和可管理性、文件级存取及虚拟化使您可以充分利用存储网络,存储各种类型的数据。对于企业级部署,DL380存储服务器允许您向IT SAN提出更多的要求-更大的灵活

磁盘阵列的关键技术

磁盘阵列的关键技术 黄设星 存储技术在计算机技术中受到广泛关注,服务器存储技术更是业界关心的热点。一谈到服务器存储技术,人们几乎立刻与SCSI(Small Computer Systems Interface)技术联系在一起。尽管廉价的IDE硬盘在性能、容量等关键技术指标上已经大大地提高,可以满足甚至超过原有的服务器存储设备的需求。但由于Internet的普及与高速发展,网络服务器的规模也变得越来越大。同时,Internet不仅对网络服务器本身,也对服务器存储技术提出了苛刻要求。无止境的市场需求促使服务器存储技术飞速发展。而磁盘阵列是服务器存储技术中比较成熟的一种,也是在市场上比较多见的大容量外设之一。 在高端,传统的存储模式无论在规模上,还是安全上,或是性能上,都无法满足特殊应用日益膨胀的存储需求。诸如存储局域网(SAN)等新的技术或应用方案不断涌现,新的存储体系结构和解决方案层出不穷,服务器存储技术由直接连接存储(DAS)向存储网络技术(NAS)方面扩展。在中低端,随着硬件技术的不断发展,在强大市场需求的推动下,本地化的、基于直接连接的磁盘阵列存储技术,在速度、性能、存储能力等方面不断地迈上新台阶。并且,为了满足用户对存储数据的安全、存取速度和超大的存储容量的需求,磁盘阵列存储技术也从讲求技术创新、重视系统优化,以技术方案为主导的技术推动期逐渐进入了强调工业标准、着眼市场规模,以成熟产品为主导的产品普及期。 磁盘阵列又叫RAID(Redundant Array of Inexpensive Disks——廉价磁盘冗余阵列),是指将多个类型、容量、接口,甚至品牌一致的专用硬磁盘或普通硬磁盘连成一个阵列,使其能以某种快速、准确和安全的方式来读写磁盘数据,从而达到提高数据读取速度和安全性的一种手段。因此,磁盘阵列读写方式的基本要求是,在尽可能提高磁盘数据读写速度的前提下,必须确保在一张或多张磁盘失效时,阵列能够有效地防止数据丢失。磁盘阵列的最大特点是数据存取速度特别快,其主要功能是可提高网络数据的可用性及存储容量,并将数据有选择性地分布在多个磁盘上,从而提高系统的数据吞吐率。另外,磁盘阵列还能够免除单块硬盘故障所带来的灾难后果,通过把多个较小容量的硬盘连在智能控制器上,可增加存储容量。磁盘阵列是一种高效、快速、易用的网络存储备份设备。 回顾磁盘阵列的发展历程,一直和SCSI技术的发展紧密关联,一些厂商推出的专有技术,如IBM的SSA(Serial Storage Architecture)技术等,由于兼容性和升级能力不尽如人意,在市场上的影响都远不及SCSI技术广泛。由于SCSI技术兼容性好,市场需求旺盛,使得SCSI技术发展很快。从最原始5MB/s传输速度的SCSI-1,一直发展到现在LVD接口的160MB/s传输速度的Ultra 160 SCSI,320MB/s传输速度的Ultra 320 SCSI接口也将在2001年出现(见表1)。从当前市场看,Ultra 3 SCSI技术和RAID(Redundant Array of Inexpensive Disks)技术还应是磁盘阵列存储的主流技术。 1SCSI技术 SCSI本身是为小型机(区别于微机而言)定制的存储接口,SCSI协议的Version 1 版本也仅规定了5MB/s传输速度的SCSI-1的总线类型、接口定义、电缆规格等技术标准。随着技术的发展,SCSI协议的Version 2版本作了较大修订,遵循SCSI-2协议的16位数据带宽,高主频的SCSI存储设备陆续出现并成为市场的主流产品,也使得SCSI技术牢牢地占

磁盘阵列详解配置

磁盘阵列(Disk Array) 1.为什么需要磁盘阵列 如何增加磁盘的存取(access)速度,如何防止数据因磁盘的故障而失落及如何有效的利用磁盘空间,一直是电脑专业人员和用户的困扰;而大容量磁盘的价格非常昂贵,对用户形成很大的负担。磁盘阵列技术的产生一举解决了这些问题。 1 过去十年来,CPU的处理速度增加了五十倍有多,内存(memory)的存取速度亦大幅增加,而数据储存装置--主要是磁盘(hard disk)--的存取速度只增加了三、四倍,形成电脑系统的瓶颈,拉低了电脑系统的整体性能(throughput),若不能有效的提升磁盘的存取速度,CPU、内存及磁盘间的不平衡将使CPU及内存的改进形成浪费。 目前改进磁盘存取速度的的方式主要有两种。一是磁盘快取控制(disk cache controller),它将从磁盘读取的数据存在快取内存(cache memory)中以减少磁盘存取的次数,数据的读写都在快取内存中进行,大幅增加存取的速度,如要读取的数据不在快取内存中,或要写数据到磁盘时,才做磁盘的存取动作。这种方式在单工环境(single-tasking environment)如DOS之下,对大量数据的存取有很好的性能(量小且频繁的存取则不然),但在多工(multi-tasking)环境之下(因为要不停的作数据交换(swapping)的动作)或数据库(database)的存取(因为每一记录都很小)就不能显示其性能。这种方式没有任何安全保障。其二是使用磁盘阵列的技术。磁盘阵列是把多个磁盘组成一个阵列,当作单一磁盘使用,它将数据以分段(striping)的方式储存在不同的磁盘中,存取数据时,阵列中的相关磁盘一起动作,大幅减低数据的存取时间,同时有更佳的空间利用率。磁盘阵列所利用的不同的技术,称为RAID level,不同的level针对不同的系统及应用,以解决数据安全的问题。 一般高性能的磁盘阵列都是以硬件的形式来达成,进一步的把磁盘快取控制及磁盘阵列结合在一个控制器(RAID controller)?或控制卡上,针对不同的用户解决人们对磁盘输出入系统的四大要求: (1)增加存取速度, (2)容错(fault tolerance),即安全性 (3)有效的利用磁盘空间; (4)尽量的平衡CPU,内存及磁盘的性能差异,提高电脑的整体工作性能。 2.磁盘阵列原理 磁盘阵列中针对不同的应用使用的不同技术,称为RAID level, RAID是Redundant Array of Inexpensive Disks的缩写,而每一level代表一种技术,目前业界公认的标准是RAID 0~RAID 5。这个level并不代表技术的高低,level 5并不高于level 3,level 1也不低过level 4,至于要选择那一种RAID level的产品,纯视用户的操作环境(operating environment)及应用(application)而定,与level的高低没有必然的关系。RAID 0及RAID 1适用于PC及PC相关的系统如小型的网络服务器(network server)及需要高磁盘容量与快速磁盘存取的工作站等,因为比较便宜,但因一般人对磁盘阵列不了解,没有看到磁盘阵列对他们价

各种RAID的工作原理

各种RAID的工作原理 通常称为:RAID 0, RAID1, RAID2, RAID3,RAID4, RAID5,RAID6。每一个RAID级别都有自己的强项和弱项。 "奇偶校验"定义为用户数据的冗余信息, 当硬盘失效时,可以重新产生数据。R AID 0: RAID 0 并不是真正的RAID结构,没有数据冗余。R AID 0 连续地分割数据并并行地读/写于多个磁盘上。 因此具有很高的数据传输率。 但RAID 0在提高性能的同时,并没有提供数据可靠性,如果一个磁盘失效,将影响整个数据。因此RAID 0 不可应用于需要数据高可用性的关键应用。R AID1: RAID1通过数据镜像实现数据冗余,在两对分离的磁盘上产生互为备份的数据。R AID1可以提高读的性能, 当原始数据繁忙时,可直接从镜像拷贝中读取数据。RAID1是磁盘阵列中费用最高的, 但提供了最高的数据可用率。 当一个磁盘失效,系统可以自动地交换到镜像磁盘上, 而不需要重组失效的数据。R AID2: 从概念上讲, RAID2 同RAID3类似, 两者都是将数据条块化分布于不同的硬盘上, 条块单位为位或字节。然而RAID2 使用称为"加重平均纠错码"的编码技术来提供错误检查及恢复。这种编

码技术需要多个磁盘存放检查及恢复信息, 使得RAID2技术实施更复杂。因此,在商业环境中很少使用、 RAID3: 不同于RAID2, RAID3使用单块磁盘存放奇偶校验信息。 如果一块磁盘失效, 奇偶盘及其他数据盘可以重新产生数据。 如果奇偶盘失效,则不影响数据使用。RAID3对于大量的连续数据可提供很好的传输率, 但对于随机数据, 奇偶盘会成为写操作的瓶颈。R AID4: 同RAID2, RAID3一样, RAID4, RAID5也同样将数据条块化并分布于不同的磁盘上, 但条块单位为块或记录。R AID4使用一块磁盘作为奇偶校验盘, 每次写操作都需要访问奇偶盘, 成为写操作的瓶颈、在商业应用中很少使用。R AID5: RAID5没有单独指定的奇偶盘, 而是交叉地存取数据及奇偶校验信息于所有磁盘上。在RAID5 上, 读/写指针可同时对阵列设备进行操作, 提供了更高的数据流量。RAID5更适合于小数据块, 随机读写的数据、RAID3 与RAID5相比, 重要的区别在于RAID3每进行一次数据传输,需涉及到所有的阵列盘。而对于RAID5来说, 大部分数据传输只对一块磁盘操作, 可进行并行操作。在RAID5 中有"写损失", 即每一次写操作,将产生四个实际的读/写操作, 其中两次读旧的数据及奇偶信息, 两次写新的数据及奇偶信息。R AID6: RAID6 与RAID5相比,增加了第二个独立的奇偶校验信息块。

磁盘阵列技术详解

由磁盘阵列角度来看 磁盘阵列的规格最重要就在速度,也就是CPU的种类。我们知道SCSI的演变是由SCSI 2 (Narrow, 8 bits, 10MB/s), SCSI 3 (Wide, 16bits, 20MB /s), Ultra Wide (16bits, 40MB/s), Ultra 2 (Ultra Ultra Wide, 80MB /s), Ultra 3 (Ultra Ultra Ultra Wide, 160MB/s),在由SCSI到Serial I/O,也就是所谓的 Fibre Channel (FC- AL, Fibre Channel - Arbitration Loop, 100 – 200MB/s), SSA (Serial Storage Architecture, 80 – 16 0 MB /s), 在过去使用 Ultra Wide SCSI, 40MB/s 的磁盘阵列时,对CPU的要求不须太快,因为SCSI本身也不是很快,但是当SCSI演变到Ultra 2, 80MB/s时,对CPU的要求就非常关键。一般的CPU, (如 586)就必须改为高速的RISC CPU, (如 Intel RISC CPU, i960RD 32bits, i960RN 64 bits),不但是RISC CPU, 甚至于还分 32bits, 64 bits RISC CPU 的差异。586 与 RISC CPU 的差异可想而知 ! 这是由磁盘阵列的观点出发来看的。 由服务器的角度来看 服务器的结构已由传统的 I/O 结构改为 I2O ( Intelligent I/O, 简称 I2O ) 的结构,其目的就是为了减少服务器CPU的负担,才会将系统的 I/O 与服务器CPU负载分开。Intel 因此提出 I2O 的架构,I2O 也是由一颗 RISC CPU ( i960RD 或I960RN ) 来负责 I/O 的工作。试想想若服务器内都已是由 RISC i960 CPU 来负责 I/O,结果磁盘阵列上却仍是用 586 CPU,速度会快吗 ? 由操作系统的角度来看 在操作系统都已由 32 bits 转到 64 bits,磁盘阵列上的CPU 必须是 Intel i960 RISC CPU 才能满足速度的要求。586 CPU 是无法满足的! 磁盘阵列的功能 使用磁盘阵列的好处,在于数据的安全、存取的速度及超大的存储容量。如何确保数据的安全,则取决于磁盘阵列的设计与品质。其中几个功能是必须考虑的:是否有环境监控器针对温度、电压、电源、散热风扇、硬盘状态等进行监控。磁盘阵列内的硬盘连接方式是用SCA-II整体后背板还是只是用SCSI 线连的?在 SCA-II整体后背板上是否有隔绝芯片以防硬盘在热插拔时所产生的高/低电压,使系统电压回流,造成系统的不稳定,产生数据丢失的情形。我们一定要重视这个问题,因为在磁盘阵列内很多硬盘都是共用这同一SCSI 总线!一个硬盘热插拔,可不能引响其它的硬盘!甚幺是热插拔或带电插拔?硬盘有分热插拔硬盘, 80针的硬盘是热插拔硬盘,68针的不是热插拔硬盘,有没有热插拔,在电路上的设计差异就在于有没有保护线路的设计,同样的硬盘拖架也是一样有分真的热插拔及假的热插拔的区别。磁盘阵列内的硬盘是否有顺序的要求?也就是说硬盘可否不按次序地插回阵列中,数据仍能正常的存取?很多人认为不是很重要,不太会发生,但是可能会发生的,我们就要防止它发生。假如您用六个硬盘做阵列,在最出初始化时,此六个硬盘是有顺序放置在磁盘阵列内,分为第一、第二…到第六个硬盘,是有顺序的,如果您买的磁盘阵列是有顺序的要求,则您要注意了:有一天您将硬盘取出,做清洁时一定要以原来的摆放顺序插

磁盘阵列各种RAID原理、磁盘使用率

磁盘阵列RAID原理、种类及性能优缺点对比 磁盘阵列(Redundant Arrays of Independent Disks,RAID) 1. 存储的数据一定分片; 2. 分基于软件的软RAID(如mdadm)和基于硬件的硬RAID(如RAID卡); 3. RAID卡如同网卡一样有集成板载的也有独立的(PCI-e),一般独立RAID卡性能相对较好,淘宝一搜便可看到他们的原形; 4. 现在基本上服务器都原生硬件支持几种常用的RAID; 5. 当然还有更加高大上的专用于存储的磁盘阵列柜产品,有专用存储技术,规格有如12/24/48盘一柜等,盘可选机械/固态,3.5/2.5寸等。

近来想建立一个私有云系统,涉及到安装使用一台网络存储服务器。对于服务器中硬盘的连接,选用哪种RAID模式能准确满足需求收集了资料,简单整理后记录如下: 一、RAID模式优缺点的简要介绍 目前被运用较多的RAID模式其优缺点大致是这样的: 1、RAID0模式 优点:在RAID 0状态下,存储数据被分割成两部分,分别存储在两块硬盘上,此时移动硬盘的理论存储速度是单块硬盘的2倍,实际容量等于两块硬盘中较小一块硬盘的容量的2倍。 缺点:任何一块硬盘发生故障,整个RAID上的数据将不可恢复。 备注:存储高清电影比较适合。 2、RAID1模式 优点:此模式下,两块硬盘互为镜像。当一个硬盘受损时,换上一块全新硬盘(大于或等于原硬盘容量)替代原硬盘即可自动恢复资料和继续使用,移动硬盘的实际容量等于较小一块硬盘的容量,存储速度与单块硬盘相同。RAID 1的优势在于任何一块硬盘出现故障是,所存储的数据都不会丢失。 缺点:该模式可使用的硬盘实际容量比较小,仅仅为两颗硬盘中最小硬盘的容量。 备注:非常重要的资料,如数据库,个人资料,是万无一失的存储方案。 3、RAID 0+1模式 RAID 0+1是磁盘分段及镜像的结合,采用2组RAID0的磁盘阵列互为镜像,它们之间又成为一个RAID1的阵列。硬盘使用率只有50%,但是提供最佳的速度及可靠度。 4、RAID 3模式

磁盘阵列产品基本知识

第一章磁盘阵列产品基本知识 一. SCSI理论 ?SCSI入门 SCSI(Small Computer System Interface,小型计算机系统接口)是由美国国家标准协会(ANSI)所订定的用来连接外围设备(Peripheral Device)的并行(Parallel)接口(Interface),由于较其他标准接口的传输速率为快,所以在较好的高档电脑、工作站、服务器上常用来作为硬盘及其他储存装置的接口。作为连结主机和外围设备的接口,它支持包括磁盘驱动器、磁带机、光驱、扫描仪在内的多种设备。它由SCSI控制器进行数据操作,SCSI控制器相当于一块小型CPU,有自己的命令集和缓存。 ?SCSI的几种规格 ?几点说明: ●

● Single-Ended中每个信号都是通过总线中的一根电缆传送的。 DIFF通过总线传送时是靠两根电缆上的电压差传送的。 S.E与DIFF的信号最大传输距离也不同。DIFF较S.E的有效电平高,信号衰减也较慢,所以传输距离也较远。 ●HVD和LVD DIFF又分为高压差分(HVD)和低压差分(LVD,Ultra 2 SCSI)。LVD使用3.3V电压,2个线路传输数据(1路为传输数据1路为数据校验),大大降低信号的干扰,增强了稳定性。 ●安装SCSI设备注意事项: 设置唯一ID:作为SCSI设备在SCSI总线的唯一识别符,绝对不允许重复,可选范围从0到15,SCSI主控制器通常占用ID 7。 总线终结器,SCSI设备是以菊花链形来连接的,在整条SCSI总线的最后一个物理SCSI设备上需要加终结器,防止反射信号给SCSI控制器。终结的方式有三种:自终结设备、物理总线终结器和自终结电缆。 安装SCSI设备的驱动程序。 二.光纤通道(Fibre Channel)技术介绍 作为数据中心存储海量数据的磁盘阵列,最主要的就是它的容量和速度。这方面从理论

10分钟认识RAID磁盘阵列技术

在计算机发展的初期,"大容量"硬盘的价格还相当高,解决数据存储安全性问题的主要方法是使用磁带机等设备进行备份,这种方法虽然可以保证数据的安全,但查阅和备份工作都相当繁琐。1987年,Patterson、Gibson和Katz这三位工程师在加州大学伯克利分校发表了题为《 A Case of Redundant Array of Inexpensive Disks(廉价磁盘冗余阵列方案)》的论文,其基本思想就是将多只容量较小的、相对廉价的硬盘驱动器进行有机组合,使其性能超过一只昂贵的大硬盘。这一设计思想很快被接受,从此RAID技术得到了广泛应用,数据存储进入了更快速、更安全、更廉价的新时代。 磁盘阵列对于个人电脑用户,还是比较陌生和神秘的。印象中的磁盘阵列似乎还停留在这样的场景中:在宽阔的大厅里,林立的磁盘柜,数名表情阴郁、早早谢顶的工程师徘徊在其中,不断从中抽出一块块沉重的硬盘,再插入一块块似乎更加沉重的硬盘......终于,随着大容量硬盘的价格不断降低,个人电脑的性能不断提升,IDE-RAID作为磁盘性能改善的最廉价解决方案,开始走入一般用户的计算机系统。 一、RAID技术规范简介 RAID技术主要包含RAID 0~RAID 7等数个规范,它们的侧重点各不相同,常见的规范有如下几种: RAID 0:RAID 0连续以位或字节为单位分割数据,并行读/写于多个磁盘上,因此具有很高的数据传输率,但它没有数据冗余,因此并不能算是真正的RAID结构。RAID 0只是单纯地提高性能,并没有为数据的可靠性提供保证,而且其中的一个磁盘失效将影响到所有数据。因此,RAID 0不能应用于数据安全性要求高的场合。 RAID 1:它是通过磁盘数据镜像实现数据冗余,在成对的独立磁盘上产生互为备份的数据。当原始数据繁忙时,可直接从镜像拷贝中读取数据,因此RAID 1可以提高读取性能。RAID 1是磁盘阵列中单位成本最高的,但提供了很高的数据安全性和可用性。当一个磁盘失效时,系统可以自动切换到镜像磁盘上读写,而不需要重组失效的数据。 RAID 0+1: 也被称为RAID 10标准,实际是将RAID 0和RAID 1标准结合的产物,在连续地以位或字节为单位分割数据并且并行读/写多个磁盘的同时,为每一块磁盘作磁盘镜像进行冗余。它的优点是同时拥有RAID 0的超凡速度和RAID 1的数据高可靠性,但是CPU 占用率同样也更高,而且磁盘的利用率比较低。 RAID 2:将数据条块化地分布于不同的硬盘上,条块单位为位或字节,并使用称为"加重平均纠错码(海明码)"的编码技术来提供错误检查及恢复。这种编码技术需要多个磁盘存放检查及恢复信息,使得RAID 2技术实施更复杂,因此在商业环境中很少使用。 RAID 3:它同RAID 2非常类似,都是将数据条块化分布于不同的硬盘上,区别在于RAID 3使用简单的奇偶校验,并用单块磁盘存放奇偶校验信息。如果一块磁盘失效,奇偶盘及其他数据盘可以重新产生数据;如果奇偶盘失效则不影响数据使用。RAID 3对于大量的连续数据可提供很好的传输率,但对于随机数据来说,奇偶盘会成为写操作的瓶颈。 RAID 4:RAID 4同样也将数据条块化并分布于不同的磁盘上,但条块单位为块或记录。RAID 4使用一块磁盘作为奇偶校验盘,每次写操作都需要访问奇偶盘,这时奇偶校验盘会成为写操作的瓶颈,因此RAID 4在商业环境中也很少使用。 RAID 5:RAID 5不单独指定的奇偶盘,而是在所有磁盘上交叉地存取数据及奇偶校验信息。在RAID 5上,读/写指针可同时对阵列设备进行操作,提供了更高的数据流量。RAID 5更适合于小数据块和随机读写的数据。RAID 3与RAID 5相比,最主要的区别在于RAID 3每进行一次数据传输就需涉及到所有的阵列盘;而对于RAID 5来说,大部分数据传输只对一块磁盘操作,并可进行并行操作。在RAID 5中有"写损失",即每一次写操作将产生四个实际的读/写操作,其中两次读旧的数据及奇偶信息,两次写新的数据及奇偶信息。RAID

RAID技术概述

RAID技术概述 RAID的形式是多种多样的,它们都是高可用性和高性能存储的骨干力量。RAID设备的最初应用可以追溯到上世纪80年代末,而在今天,RAID已经成为我们IT生活中一个应用广泛且非常重要部分,以至于很多人已经忘记RAID这个缩写到底是什么意思。 RAID是Redundent Array of Inexpensive Disks的缩写,直译为“廉价冗余磁盘阵列”,也简称为“磁盘阵列”。后来RAID中的字母I被改作了Independent,RAID就成了“独立冗余磁盘阵列”,但这只是名称的变化,实质性的内容并没有改变。简单地讲,RAID技术就是利用多个硬盘的组合提供高效率及冗余的功能。 RAID这个概念最早是由1987年加州伯克利大学的David Patterson,Garth Gibson, Randy Katz提出的,他们的目标是展示一个RAID的性能可以达到或超过当时的一个单一的,大容量的,昂贵的磁盘。在项目开发的过程中,随着频繁的磁盘失败,通过磁盘的冗余来避免磁盘数据的丢失已经是必须的了。这样一来,该项目的研究对于将来的RAID变得至关重要。 一、RAID 的优点 RAID的采用为存储系统(或者服务器的内置存储)带来巨大利益,其中提高传输速率和提供容错功能是最大的优点。 RAID通过同时使用多个磁盘,提高了传输速率。RAID通过在多个磁盘上同时存储和读取数据来大幅提高存储系统的数据吞吐量(Throughput)。在RAID 中,可以让很多磁盘驱动器同时传输数据,而这些磁盘驱动器在逻辑上又是一个磁盘驱动器,所以使用RAID可以达到单个磁盘驱动器几倍、几十倍甚至上百倍

相关文档
最新文档