ceph学习资料

Ceph分布式存储

1. ceph概念

Ceph作为分布式存储，它有如下特点：

?高扩展性：普通的x86服务器组成的ceph集群，最多支持1000台以上的服务器扩展，并且可以在线扩展。

?高可靠性：数据容错性高，没有因为单点故障造成的数据丢失；多副本技术，数据安全性更加可靠；自动修复，数据丢失或者部分磁盘故障对全局没影响，不会影响上层的应用，对用户全透明。

?高性能：数据是均匀分布到每个磁盘上的，读写数据都是有多个osd并发完成的，集群性能理论上来说随着集群节点数和osd的增长而线性增长。

2. ceph架构

2.1 组件

Ceph的底层是RADOS，它的意思是“A reliable, autonomous, distributed object storage”（一个可靠的自治的分布式存储，字面意思哈）。

RADOS系统逻辑架构图：

RADOS主要由两个部分组成。一种是大量的、负责完成数据存储和维护功能的OSD（Object Storage Device），另一种则是若干个负责完成系统状态检测和维护的monitor。osd和monitor之间相互传输节点状态信息。

而ceph集群主要包括mon、mds、osd组件

其中，mon负责维护整个集群的状态以及包括crushmap、pgmap、osdmap等一系列map 信息记录与变更。

Osd负责提供数据存储，数据的恢复均衡。

Mds（元数据服务器）主要是使用文件系统存储的时候需要，它主要负责文件数据的inode 信息，并让客户端通过该inode信息快速找到数据实际所在地。

2.2 数据映射流程

在Ceph中，文件都是以object（对象）的方式存放在众多osd上。

一个file（数据）的写入顺序：

首先mon根据map信息将file（数据）切分成多个的object；再通过hash算法决定这些个object对象分别会存放在那些pg（放置组）里面；接下来在通过crushmap再决定将pg放在底层的那些osd上，pg与osd的关系属于一对多的关系。一个osd可以包括多

个pg，这些pg分属于不同的file的object对象。

1. File——file就是用户需要存储或者访问的文件。这个file也就对应于应用中的“对象”，也就是用户直接操作的“对象”。

2. Ojbect——object是RADOS所看到的“对象”。object与上面提到的file的区别是，object 的最大size由RADOS限定（通常为2MB或4MB），以便实现底层存储的组织管理。因此，当上层应用向RADOS存入size很大的file时，需要将file切分成统一大小的一系列object（最后一个的大小可以不同）进行存储。

3. PG（Placement Group）——顾名思义，pg的用途是对object的存储进行组织和位置映射。具体而言，一个pg负责组织若干个object（可以为数千个甚至更多），但一个object 只能被映射到一个pg中，即，pg和object之间是“一对多”映射关系。同时，一个pg会被映射到多个osd上，而每个osd上都会承载大量的pg，即，pg和osd之间是“多对多”映射关系。

pg计算方法：

Total PGs = ((Total_number_of_OSD * 100) / max_replication_count) / pool_count

假如一个ceph系统共90个osd，设置三个副本模式，三个pool，那么每个pool分配的pg 数通过上面的公式计算则为1000，然后取2的幂次方最近的一个数值，即1024，每个pool 的分配的pg数则为1024。

4. OSD——即object storage device，通俗来讲就是给object和pg提供存放位置。

5. Failure domain——字面意思大概就是失效域，个人也不是很理解这个具体定义是啥。

2.3 强一致性

数据写完副本才返回客户端

?Ceph的读写操作采用主副本模式primary-replica，client只向object所对应的osd 主本发起读写请求，保证数据的强一致性。

?每一个object都只有一primary osd，所以object的更新不需要考虑数据同步的问题。

?当primary收到object的写请求时，它负责把数据发送给其他replicas，只要这个数据被保存在所有的osd上时，primary才应答object的写请求，这保证了副本的

一致性。

2.4 容错机制

在分布式系统中，对于常见的一些故障，如网络故障，服务器故障，磁盘故障等，ceph 都可以容忍这些故障，并且可以进行自动修复，保证数据的可靠性和系统的可用性。

故障检测：

osd之间有心跳检测，当osd a检测到osd b没有回应时，会报告给monitor说osd b 无法连接，此时monitor就给osd b标记为一个状态（down），并更新osd的map信息，当超过一段时间（此时间是osd的心跳检测值osd_heartbeat_interval）之后还是无法连接到osd b，则monitor给osd b标记一个新的状态（out），表示该osd不能工作，并更新osdmap信息。

故障恢复：

1.假如某个pg对应的osd被标记为down的状态，刚好这个osd又是该pg的主本，

那么此时该pg的副本就会成为新的主本去响应所有的读写请求，这个时候被标记的pg就会处于active+degraded状态。

2.当超过一段时间之后该osd还是无法连接，那么该osd的状态则会被标记为out，

monitor会重新计算pg的映射关系，当有新的osd加入集群的时候monitor会重新计算pg到osd的映射，保证副本数目的正常。

3. RADOS组成

自下向上，可以将Ceph系统分为四个层次：

3.1 基础存储系统RADOS

（Reliable, Autonomic, Distributed Object Store，一个可靠的，自治的，分布式的对象存储）

顾名思义，这一层本身就是一个完整的对象存储系统，所有存储在Ceph系统中的用户数据事实上最终都是由这一层来存储的。而Ceph的高可靠、高可扩展、高性能、高自动化等等特性本质上也是由这一层所提供的。

在物理上，RADOS由大量的存储设备节点组成，每个节点拥有自己的硬件资源（CPU，内存，硬盘，网络）,并运行着操作系统和文件系统。

3.2 基础库librad os

这一层的功能是对rados进行抽象和封装，并向上层提供API，以便直接基于rados（而不是整个Ceph）进行应用开发。特别要注意的是，rados是一个对象存储系统，因此，librados 实现的API也只是针对对象存储功能的。

3.3 高层应用接口

这一层包括了三个部分：radosgw（RADOS Gateway）、rbd（Reliable Block Device）和Ceph FS（Ceph File System），其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。

3.3.1 对象网关

radosgw是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，且对象存储不是实现文件系统的一些操作比如打开，编辑等，因此对象网关是不需要mds元数据服务器来提供元数据的储存和查找的。在大量的文件并发访问的情况下，文件系统因为要处理大量读写请求的元数据访问和存储，所以会对mds造成很大的压力，而对象网关在这方面的优势就比较明显了。

3.3.2 块接口

块接口即RBD（Reliable Block Device），一般使用场景为通过rbd新建一个块设备通过iscsi协议共享给某台主机或者直接使用rbd设备来给数据库提供存储。

使用块接口供上层应用的协议一般为iscsi协议：

比如新建一个rbd设备通过iscsi协议共享给windows主机或者linux主机使用；或者直接map到客户端供客户端进行使用。

另外也可以直接使用rbd设备给虚拟机提供磁盘存储空间，对应的一些应用场景为KVM 或者QEMU等。

3.3.3 文件系统接口

文件系统接口即Ceph FS（Ceph File System），网络文件系统要想使用是必须进行mount操作的，mount操作后就可以像操作本地文件系统一样进行操作，cephfs提供了两种挂载方式。

ceph kernel：ceph kernel是基于内核空间的挂载方式；

kernel的挂载方式为：mount -t ceph monip mountpiont

比如mount -t ceph 192.168.0.100 /mnt

注意：使用kernel挂载方式需要系统带有ceph模块

#lsmod|grep ceph

ceph fuse：fuse是基于用户空间的挂载方式。

Fuse的挂载方式为：ceph-fuse -m monip mountpoint

比如ceph-fuse -m 192.168.0.100 /mnt

注意：使用fuse挂载方式需要安装ceph fuse的支持包。

#yum install ceph-fuse

另外使用文件系统接口供上层用户和应用使用的协议有诸如cifs协议，nfs协议，ftp和http协议等。

两种挂载方式的优缺点：

各有利弊，ceph fuse使用和修改上更为方便，但是性能略差于kernel的使用方式。

3.4 应用层

这一层就是对应不同场景下的ceph接口的各种应用方式，比如基于文件系统接口的上层应用如cifs和nfs文件共享等；基于rbd接口的上层应用比如数据库存储，kvm/qemu虚拟机等；基于对象网关的上层应用如S3,如openstack swift接口等。

4.ceph重要功能特性原理

4.1 基本功能

4.1.1 高性能

Client和server直接通信，不需要代理和转发；

多个osd带来的高并发度。objects是分布在所有osd上；

负载均衡，每个osd都有权重值；

Client不需要负责副本的复制（由primary负责），降低了client的网络消耗。

4.1.2 高可靠性

保证集群高可靠性一共有以下几个特点：

数据多副本。通过多副本来维持数据的安全性，当一份数据丢失之后还有其他数据可供读写；

无单点故障。意外的节点或者磁盘故障并不影响集群和应用使用；

自动恢复。磁盘或者节点出现异常导致宕机或者故障的时候系统会自动进行数据恢复操作，不需要人为干预；

并行恢复。多个osd磁盘并行进行数据恢复操作，减少数据恢复时间提高数据的可靠性。

4.1.3 高扩展性

高度并行。没有单独的控制组件，所有的负载都是均衡分布在ceph集群的各个节点服务器上；

自管理。容易扩展、升级和替换。当集群中某个组件发生故障时，可以自动进行数据的

重新复制，当组件发生变化（添加/删除）时，可以自动进行数据的重分布。

4.2 扩展功能

4.2.1 快照

快照分为文件系统快照和块设备快照。

关于文件系统快照了解不多，这里无法进行过多讲解，一般情况下主要使用的是块设备快照。

快照的操作包括新建（create），删除（delete），回滚（rolling）,克隆（clone）等。

应用场景：当使用ceph集群给上层数据库应用提供rbd时，这个时候给块设备定期做快照和备份是保证数据库能持久运行的一个重要条件。

Ceph先通过块设备接口 create一个images，然后将该images map成一个块设备，在通过iscsi协议将该块设备共享给数据库系统使用，并且定期给该images做快照（snapshot）或者给快照进行克隆操作（clone），保证数据的安全性。

4.2.2 自动分层

自动分层就是利用到ssd的高速读写功能和crush规则，集群部署过程中使用了部分ssd磁盘并通过crush规则定义了数据冷热分层，规定经常访问的数据（热数据）存放在热池（hot池），很少读到的数据（冷数据）存放在冷池（cold池）。

自动分层的好处就是大大提高了热数据的读写效率，比如一些虚拟机的应用场景。将虚拟机images存放在热池就可以保证虚拟机是访问效率和文件读写速率得到很大的提高。

5. 附录

5.1 Ceph PG状态总结

5.1.1. Creating（正在创建）

创建存储池时,它会创建指定数量的归置组。ceph 在创建一或多个归置组时会显示creating;创建完后,在其归置组的 acting set 里的 osd 将建立互联;一旦互联完成,归置组状态应该变为 active+clean,意思是ceph 客户端可以向归置组写入数据了。

5.1.2. peering（协商PG状态）

ceph 为归置组建立互联时,会让存储归置组副本的 osd 之间就其中的对象和元数据状态达成一致。ceph 完成了互联,也就意味着存储着归置组的 osd 就其当前状态达成了一致。然而,互联过程的完成并不能表明各副本都有了数据的最新版本。

5.1.3. active（激活）

ceph 完成互联进程后,一归置组就可变为 active。active 状态通常意味着在主归置组和副本中的数据都可以读写。

5.1.4. clean（干净）

某一归置组处于 clean 状态时,主 osd 和副本 osd 已成功互联,并且没有偏离的归置组。ceph 已把归置组中的对象复制了规定次数。

5.1.5. degraded（降级）

当客户端向主 osd 写入数据时,由主 osd 负责把副本写入其余复制 osd。主 osd把对象写入复制 osd后,在没收到成功完成的确认前,主osd 会一直停留在 degraded 状态。

归置组状态可以是 active+degraded 状态,原因在于一 osd 即使没所有对象也可以处于 active 状态。如果一osd挂了,ceph 会把相关的归置组都标记为 degraded;那个 osd 重生后,它们必须重新互联。然而,如果归置组仍处于 active 状态,即便它处于 degraded 状态,客户端还可以向其写入新对象。

如果一osd 挂了,且 degraded 状态持续,ceph 会把 down 的 osd 标记为out、并把那些 down 掉的osd上的数据重映射到其它osd。从标记为 down 到 out 的时间间隔由 mon osd down out interval 控制,默认是 300 秒。

5.1.

6. recovering（迁移）

当某osd挂了(down)时,其上的数据会落后于归置组内的其它副本;它重生(up)时,归置组内容必须更新,以反映当前状态;在此期间,osd在recovering 状态。

5.1.7. back filling（回填）

有新osd 加入集群时,crush就会把现有集群内的归置组重分配给它。在这个osd状态变为in之前，这一个过程就叫做backfill。

5.1.8. remapped（重新映射）

某一归置组的 acting set 变更时,数据要从旧集合迁移到新的。主osd要花费一些时间才能提供服务,所以它可以让老的主osd 持续服务、直到归置组迁移完。数据迁移完后,主 osd 会映射到新 acting set。

5.1.9. stale（未知）

ceph 用心跳来保证主机和守护进程在运行,但是有些时候仍然会有osd进程和pg处于stuck状态（如网络瞬间中断），如果有osd没有收到相邻osd的心跳状态，那么就会被判

断该pg或者osd处于stale状态。

5.2 ceph 主机模式

Ceph集群的很多高级功能大多数都是通过crushmap规则来进行定义的，比如上面讲到的自动分层技术、主副本分离技术等。而crushmap分为四个部分：

Devices（设备），设备有一个或者多个对象存储设备组成，而在集群中每一个osd 进程都代表一个设备；

Bucket type（‘桶’类型），‘桶’类型定义了你在集群crush中使用bucket种类，比如rock，osd，host等。

Bucket instances（桶的区域），当你给crush设置了bucket type，那么在bucket instances中就必须给主机和桶区域声明一个bucket。

Rules（规则），规则由选择的bucket组成。

比如：在一般情况下的ceph集群可以允许某个磁盘或者某几个磁盘故障（由副本数决定），那么当主机发生故障的时候集群该如何使用？

上图是一个比较简单的crushmap规则架构图，最上方的rack在bucket里面的定义为机架，host定义为主机，此种crush配置完成之后就意味着不管你host主机上面有多少个osd，我都可以在副本允许的条件下允许你down主机，比如上图情况下，我设置的副本为2，那么以上host主机我可以随意down一台主机，数据依然可进行读写。

5.3 ceph 纠删模式

纠删就是通过一定的算法（n=k+m）将数据切分成的块纠删成指定的块，其中n指的是纠删过程中创建的数据块，k表示数据被分片的值，m表示纠删值，比如一个原数据落到集群上之前被切分成4片（k值），通过纠删算法纠删成6片（n值），那么此时的纠删值（n 值）则为2。

相比于副本技术而言，纠删技术对存储空间利用率有很大的提升，一些小型企业网络环境已经固化不需要提升的，但是又对数据安全性有要求的就可以使用这种配置。以前的双副本模式只允许一般的存储空间拿来使用，在纠删模式下可使用的空间得到了大大的提高。不过有利就有弊，因为ceph纠删加入了纠删码的编码和解码运算，所以对存储性能会有一定影响。