京东服务器测试白皮书

京东服务器测试白皮书

京东商城文件系统团队

版本号：V0.1

目录

京东服务器测试白皮书 (1)

1引言 (3)

2 网络拓扑 (3)

4 测试流程 (5)

5测试压力变化模型 (6)

6 测试类型描述 (7)

6.1性能测试 (7)

6.1.1服务器测试 (7)

6.1.2单台服务器 (7)

6.1.4 N台服务器 (7)

6.1.5单级目录项数目 (8)

6.1.5多级目录深度 (8)

6.2压力测试 (8)

6.2.1服务器测试 (8)

6.2.1单台服务器 (8)

6.2.3 N台服务器 (8)

6.3容错测试 (9)

6.3.1服务器断电 (9)

6.3.2数据重建与一致性 (9)

6.3.3 磁盘空间不足 (9)

6.4稳定性测试 (9)

6.5数据迁移测试 (9)

7 测试环境描述 (10)

7.1 测试与监控 (10)

7.1.1 测试工具 (10)

7.1.2 监控指标 (10)

7.1.3 监控软件 (10)

7.2 样本数据 (10)

7.2.1大文件与小文件 (10)

7.2.2大文件数据样本 (10)

7.2.3小文件数据样本 (11)

7.3.1测试结果 (11)

8厂商服务器评比 (12)

8.1服务器评比规则 (12)

8.2服务器厂商硬件对比 (13)

8.3服务器厂商测试数据对比 (13)

8.4 计算规则 (15)

8.4对比结果 (16)

9 参考文献 (16)

1引言

为了清楚厂商服务器是否满足存储产品需求，需要对其服务器进行测试。通过测试获得各个厂商服务器在功能，稳定性，扩展性，高性能，能耗等方面数据，为”JDFS”分布式文件系统选择“性价比“最高的服务器提供数据依据。为了提供一套选择服务器的标准，需要重点关注一些点，将这些点作为选择服务器的标准。

在对服务器进行总体评价时，综合了性能、功能和价格三方面因素，依据《网络世界》所做的用户调查结果，分别给予不同权重，性能占60%，功能占30%，而价格则占10%。

通常情况下，厂商可以提供服务器安装“JDFS”（EMC等厂商除外），因此下面的测试标准是可以通用的，如果不能安装“JDFS”,也可以将其解决方案与其他厂商安装了“JDFS”的服务器进行对比。

2 网络拓扑

网络拓扑图代表了厂商服务器与客户机通过交换机连接的物理架构图，在左边为厂商服务器，此处以2台代表多台，右边为京东客户端服务器，以4台代表多台，中间通过1000MB，10000MB交换机将服务器与客户端连接起来。服务器与客户端机器均安装了“JDFS”。

网络拓扑示意图

3测试类型

4 测试流程

要获得厂商服务器性能，功能等数据，需要对这些服务器进行测试，下面为整体测试顺序图，每个厂商要完成测试简略图和测试详细图中的每个阶段，才算测试完毕。

测试简略图

测试详细图

单个TC流程图

单个TC流程图说明：

1、环境搭建，为测试提供硬件环境；

2、务器客户端服务器缓存，测试前保持机器的安静；

3、好测试的样本数据；

4、服务端监控设备，为测试数据收集做准备；

5、测试程序，该过程会产生大量的测试数据；

6、监控设备收集到测试数据；

7、集到的数据进行分析加工。

5测试压力变化模型

随着单位时间流量的不断增长，被测系统的压力不断增大，服务器资源会不断被消耗，TPS 值会因为这些因素而发生变化，而且符合一定的规律。京东商城性能测试压力变化模型如图4-1 所示：

上图说明：

a 点：性能期望值

b 点：高于期望，系统资源处于临

c 点：高于期望，拐点

d 点：超过负载，系统崩溃

6 测试类型描述

6.1性能测试

性能测试主要测试服务器大文件顺序读，大文件顺序写，大文件随机读，大文件随机写，小文件顺序读，小文件顺序写，小文件随机读，小文件随机写，大小文件混合读写，及其服务器在集群模式下的性能表现，同时也为服务器线性扩展提供数据依据。

性能测试对应图4-1的a-b之间，狭义的性能测试，是指以性能预期目标为前提，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。

6.1.1服务器测试

在不安装JDFS的情况下，对单台服务器进行性能测试。

6.1.2单台服务器

在客户端机器数量有限的情况下，测试单台服务器进行文件读写（包括混合读写，顺序读写，随机读写，下同）可以支持的客户机数量，为线性扩展服务器与客户端提供数据依据，同时即使每个厂家仅提供一台测试服务器，也可以进行产品对比。

6.1.3 N台服务器

测试多台服务器对应多台客户端机器模式下的文件读写性能测试，从而确定

服务器在集群模式下的性能表现；确定多台机器可以支持的客户端数目；与1，2台性能测试数据进行对比，计算服务器与客户端是否做到了线性扩展（主要针对JDFS特点）

6.1.4单级目录项数目

在3.1.1到3.1.4的每种测试的时候验证单级目录支持的目录项，因为存储节点不一样，”JDFS”查询效率也不一样。单级目录目录项梯度测试为：100，500，1000，5000，10000，10 0000

6.1.5多级目录深度

在3.1.1到3.1.4的每种测试的时候验证多级目录支持的目录深度查询，理论上仅仅测试3，1，1即能满足要求。目录深度梯度为：1，5，10，20，50

6.2压力测试

压力测试对应图4-1中b 点到d 点之间，狭义的压力测试，是指超过安全负载的情况下，对系统不断施加压力，是通过确定一个系统的瓶颈或不能接收用户请求的性能点，来获得系统能提供的最大服务级别的测试。

6.2.1服务器测试

在不安装JDFS的情况下，对单台服务器进行压力测试。

6.2.2单台服务器

测试1台服务器能够支持的并发压力数，在拐点处记录其并发数，CPU,内存，网络资源情况。

6.2.3 N台服务器

测试2台服务器能够支持的并发压力数，在拐点处记录其并发数，CPU,内存，

网络资源情况。

6.3容错测试

6.3.1服务器断电

在一个节点挂掉的环境下，进行读写数据，服务器正常工作是否受影响，性能是否受影响，受多大影响。

6.3.2数据重建与一致性

在挂掉一块磁盘后，进行数据恢复，测试该磁盘恢复数据所需要的时间和磁盘恢复速度及数据恢复的完整性。

6.3.3 磁盘空间不足

磁盘空间存储容量达到90%后速度会很慢，测试此时的集群性能情况。

6.4稳定性测试

稳定性测试对应图1-1中a 点到b 点之间，狭义的稳定性测试，是指被测试系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以此检测系统是否稳定，进行7x24小时不间断的压力测试，保证系统的稳定性。

6.5数据迁移测试

模拟线上卷数据迁移，测试该集群迁移数据所需要的时间和迁移速度及数据迁移后的完整性验证。

7 测试环境描述

7.1 测试与监控

7.1.1 测试工具

分布式集群测试工具有很多，采用iozone或者自己写脚本。不管采用哪种方式，尽量每个厂家均采用iozone或者脚本测试。

7.1.2 监控指标

需要包括的指标包括如下几点：

1、网络；

2、CPU；

3、内存；

4、I/O

7.1.3 监控软件

监控软件有：ibmonitor，top，iostat等。

7.2样本数据

7.2.1大文件与小文件

不同的存储系统对大文件与小文件有不同的划分，针对“JDFS”文件系统，大小文件界定如下：

1、大文件：小于1MB的数据定为小文件；

2、小文件：大于1MB的数据定为大文件。

7.2.2大文件数据样本

7.2.3小文件数据样本

7.3测试结果显示

1、相同服务器，不同客户端，不同并发

2、性能，并发拐点时的数据统计

8厂商服务器评比

对各个厂商服务器测试后，需要进行评比。这样就需要制定评比规则，来评比各个厂商的硬件配置，测试数据。并且为这些评比项设置不同的权重。找出性价比最高的服务器。

8.1服务器评比规则

服务器测试后，需要进行各个方面的参数比较，各个厂家提供的服务器配置等均不一致，这样评比的结果是没有意义的，因此首先应该确保服务器配置大致一致，或者可以推算大致一致。要满足这个条件：1、厂商服务器送来前，要求他们提供服务器满足台数，存储密度等要求；2、厂商服务器配置有多种，通过一定规则也可以进行对比，大致规则如下：

CPU：一般均为intel，型号比较固定，大致可以推算；

内存：一般服务器内存为16GB，32GB，同等类型内存进行比较，并且比较服务器最大支持内存值；

硬盘：厂商一般提供硬盘为20TB，30TB，50TB等，可以比较30TB的存储密度情况下的值；

网卡：网卡决定了网络吞吐量，一般服务器网口一般2，4等，选择网卡大概一致进行评比；

主板：

PCIE：

价格：

功耗：

8.2服务器厂商硬件对比

8.3服务器厂商测试数据对比

下面以没有安装JDFS的单台服务器，以安装了JDFS服务器为例，说明如何对服务器进行对比。如果没有特别指明是否安装了“JDFS”，默认为安装。不管1台服务器或者N台服务器，测试数据均以下面表格方式进行统计。

假设2台磁盘密度共为6T，网卡共为4口，交换机为1000MB的为例对比结果如下：

8.3.1两台服务器1000并发

1、大文件读

2、大文件写

3、小文件读

4、小文件写

5、大小文件混合读

6、大小文件混合写

2、一定数据量重建时间

3、稳定性测试

4、单级一定目录项

5、一定目录深度

8.4 计算规则

在厂商服务器分数计算上，遵循性能60%，功能30%，价格10%的权重规则，满份100分。

在N台服务器,一定存储密度，一定并发下，计算各个厂商的分数。

厂商分数=性能（60%）+功能（30%）+价格（10%）；

性价比=价格/性能；

性能=大小文件读写（55%）+数据重建（10%）+稳定性（25%）+单级目录数目（5%）

+目录深度（5%）；

注：数据重建，稳定性，单级目录数目，目录深度与并发数没有关系，与服务器台数有关系，为了体现性能参数的完整性，不管并发多少，我们均在性能计算内加入这几个参数。

数据重建：以最高的厂商为满分，其他厂商减去相应分数；

单级目录项数目：以最大目录项数目的厂商为满分，其他厂商减去相应分数；目录深度：以最大目录深度的厂商为满分，其他厂商减去相应分数

功能：因每个厂商提供服务器功能均差不多，且能支持分布式文件系统基本操作，所以这部分值均不变且为满分30分，如果的却不满足某些功能再减去相应分数；价格:暂定满分为10分，以价格最低的厂商为满分，其他厂商扣去相应分数。

8.5对比结果

厂商1 =性能（60%）+功能（30%）+价格（10%）；

厂商2 =性能（60%）+功能（30%）+价格（10%）；

如：2台服务器对比

9 参考文献

【1】Amazon云计算服务及EC2与S3的性能对比分析

【2】淘宝性能测试白皮书；

【3】服务器基准测试方法与误区；