YCSB(0.8.0)安装与初步使用

YCSB安装与初步使用

整理：岳凯2016年4月29日

1什么是YCSB

1.1简介

YCSB英文全称：Yahoo! Cloud Serving Benchmark。是 Yahoo 公司的一个用来对云服务（cloud serving）/NoSQL/Key-Value Store 进行基础测试的工具，代码开源。目标是促进新一代云数据服务系统的性能比较。

1.2YCSB客户端架构

随着cloud serving的流行，传统数据库不能满足Avalability、Scalabilty等要求，简化了功能（表连接等）、一致性（事务处理）的NoSQL数据库开始流行。这类数据库数量很多，各有tradeoff（read and write，latency and durability，sync and async等），开发人员和用户很难根据应用的特点选择合适的解决方案。YCSB的目的是提供一个公平的舞台。

（近期写入的记录是热记录）。

YCSB目前支持多种数据库，如：HBase、Hypertable、Cassandra、Couchbase、Voldemort、MongoDB、OrientDB、Infinispan、Redis、GemFire、DynamoDB、Tarantool、Memcached等。

用户可以用任意负载测试任意数据库。YCSB有很好的扩展性，只要按要求实现DB抽象类，就可以添加新的数据库支持。

1.3当前版本

当前版本：YCSB 0.8.0，

发布时间：Apr 13, 2016

源代码地址：https://https://www.360docs.net/doc/b69729989.html,/brianfrankcooper/YCSB/

当前版本对各种数据库的测试情况（Tested Databases）：

Tested support

The following datastore bindings have been verified as working as of this release:

?Apache Accumulo 1.6.0 (via accumulo binding).

?Apache Cassandra 2.5.5 (via cassandra2-cql binding).

?Couchbase 4.1 (via couchbase binding).

?DynamoDB using AWS SDK 1.10.48 (via dynamodb binding).

?Elasticsearch 2.0.2, 2.1.2, 2.2.2, 2.3.1 (via elasticsearch binding).

?Apache Geode (incubating)1.0.0-incubating.M1 (via geode binding).

?Apache HBase 1.0.0 (CDH5.5.2) (via hbase10 bindings).

?MongoDB 1.8.5(async only), 2.0.9, 2.2.7, 2.4.14, 2.6.12, 3.0.11,

3.2.4 (via mongodb and mongodb-async bindings).

?Amazon S3 (via s3 binding).

?Tarantool 1.6.6-249, 1.6.8, 1.7-alpha (via tarantool binding). Supported

?Aerospike (via aerospike binding).

?Apache HBase 0.9.8 (via hbase098 binding).

?Apache Kudu (incubating) (via kudu binding).

?Apache Solr 5.4.0 (via solr binding).

?Google Cloud Datastore (via googledatastore binding).

?JDBC on MySQL 5.1.73 (via jdbc binding).

?Memcached 1.4.4 (via memcached binding).

Untested

?Apache Cassandra versions prior to 2.0 (via cassandra-7, cassandra-8, cassandra-10 bindings).

?Apache Cassandra versions 3+ (via cassandra2-cql bindings).

?Apache HBase (via hbase094 binding).

?HyperTable (via hypertable binding).

?Infinispan (via infinispan and infinispan-cs bindings)

?Mapkeeper (via mapkeeper binding)

?NoSQLDB (via nosqldb binding)

?OrientDB 2.1.2 (via orientdb binding).

2YCSB安装

YCSB的编译和安装依赖Maven、JRE、和Python。

2.1Maven下载与安装

1、Maven官网：

官网：https://www.360docs.net/doc/b69729989.html,/

最新版本：2015-11-18，Maven 3.3.9

下载地址：https://www.360docs.net/doc/b69729989.html,/apache/ https://www.360docs.net/doc/b69729989.html,/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.zip

2、下载及安装

1）进入opt目录，创建/opt/modules/目录

# cd /opt

# mkdir modules

# cd modules/

2）下载Maven，并解压

# wget

https://www.360docs.net/doc/b69729989.html,/apache/maven/maven-3/3.3.9/binaries/apach e-maven-3.3.9-bin.zip

# unzip apache-maven-3.3.9-bin.zip

3）追加路径到/etc/profile环境变量中

# vi/etc/profile

export MAVEN_HOME=/opt/modules/apache-maven-3.3.9

PATH=${MAVEN_HOME}/bin:$PATH

export PATH

使环境变量生效

# source /etc/profile

2.2YCSB下载与安装

源代码地址：https://https://www.360docs.net/doc/b69729989.html,/brianfrankcooper/YCSB/ 1）下载源代码并解压缩

进入/usr/local

# cd /usr/local

# wget https://https://www.360docs.net/doc/b69729989.html,/brianfrankcooper/YCSB/archive/master.zip

3YCSB初步使用

3.1YCSB运行命令

命令的格式是：

bin/ycsb [load|run] dbname –P path/to/workloadfile –p key=value

具体例子如：

./bin/ycsb load mongodb -threads 100 -P workloads/workloada

./bin/ycsbrunmongodb -threads 100 -P workloads/workloada

>bin/ycsb load redis -s -P workloads/workloada -p "redis.host=127.0.0.1" -p "redis.port=6379"

>bin/ycsb run redis -s -P workloads/workloada -p "redis.host=127.0.0.1" -p "redis.port=6379" -threads 128 -p "operationcount=10000" -p "measurementtype=timeseries" -p "timeseries.granularity=5000"

说明：

用户首先需要用load初始化数据库，然后用run运行负载。dbname指定了目标数据库。-P指定负载文件的位置。-p用来设置一些参数，比如数据库的ip和port。-threads是模拟的线程数。还有一个常用的参数是-target，指的是每秒最大操作数，当一秒内到达这个阈值，线程就会休眠1毫秒。

当然，在运行YCSB之前，目标数据库必须是开启的。测试完成后，YCSB会打印平均/最小/最大延迟等信息。

3.2Workload文件

在YCSB-master/workloads目录下有6个workload文件，主要区别如下表：

Workload文件部分参数意思如下面注释：

mongodb.url=mongodb://localhost:27017 # 待测试mongo实例的数据库地址mongodb.database=ycsb# 测试时使用的数据库名称

mongodb.writeConcern=normal # 写入安全性为常规

recordcount=10000 # 测试数据集的记录条数

operationcount=10000 # 测试过程中执行的操作总数

workload=com.yahoo.ycsb.workloads.CoreWorkload# workload实现类readallfields=true # 查询时是否读取记录的所有字段

readproportion=0.5 # 读操作的百分比

updateproportion=0.5 # 更新操作的百分比

scanproportion=0 # 扫描操作的百分比

insertproportion=0 # 插入操作的百分比

requestdistribution=zipfian# 请求分布模式，包括：Uniform（等概率随机选择记录）、Zipfian（随机选择记录，存在热纪录）和Latest（近期写入的记录是热记录）

3.3运行YCSB

1）创建自己的workload文件

# cpworkloadaworkloadyk01

# vi workloadyk01

添加如下mogodb的设置：

mongodb.url=mongodb://localhost:27017

mongodb.database=ycsb

mongodb.writeConcern=normal

保存workloadyk01文件

2）运行YCSB load

# cd /usr/local/YCSB-master/

# ./bin/ycsb load mongodb -threads 100 -P workloads/workloadyk01

运行成功后显示：

说明如下：

[OVERALL], RunTime(ms), 720.0 // 数据加载所用时间：0.7秒[OVERALL], Throughput(ops/sec), 1388.888888888889 //加载操作的吞吐量，

平均并发量每秒1388条[TOTAL_GCs], Count, 2.0

[CLEANUP], Operations, 100.0 //参数中的100个线程[CLEANUP], AverageLatency(us), 450.58 //平均响应时间0.45ms [CLEANUP], MinLatency(us), 0.0 //最小响应时间0ms [CLEANUP], MaxLatency(us), 45055.0 //最大响应时间45ms [CLEANUP], 95thPercentileLatency(us), 1.0

[CLEANUP], 99thPercentileLatency(us), 8.0

[INSERT], Operations, 1000.0 //执行insert操作的总数,1000 [INSERT], AverageLatency(us), 29928.784//每次insert操作的平均延时

29.9ms

[INSERT], MinLatency(us), 827.0 //所有insert操作的最小延时,0.8ms [INSERT], MaxLatency(us), 351231.0 //所有insert操作的最大延时，351ms [INSERT], 95thPercentileLatency(us), 203519.0 //95%的insert操作延时

在203.5ms以内[INSERT], 99thPercentileLatency(us), 329983.0 //99%的insert操作延时

在329.9ms以内[INSERT], Return=OK, 1000 //成功返回数1000

3）运行YCSB run

# cd /usr/local/YCSB-master/

# ./bin/ycsbrunmongodb -threads 100 -P workloads/workloadyk01

运行成功后显示：

[OVERALL], RunTime(ms), 720.0

[OVERALL], Throughput(ops/sec), 1388.888888888889 [TOTAL_GCs], Count, 2.0

[READ], Operations, 514.0

[READ], AverageLatency(us), 27392.836575875488 [READ], MinLatency(us), 940.0

[READ], MaxLatency(us), 340991.0

[READ], 95thPercentileLatency(us), 169087.0 [READ], 99thPercentileLatency(us), 272895.0 [READ], Return=OK, 514

[CLEANUP], Operations, 100.0

[CLEANUP], AverageLatency(us), 456.31 [CLEANUP], MinLatency(us), 0.0

[CLEANUP], MaxLatency(us), 45631.0 [CLEANUP], 95thPercentileLatency(us), 1.0 [CLEANUP], 99thPercentileLatency(us), 9.0 [UPDATE], Operations, 486.0

[UPDATE], AverageLatency(us), 31491.29012345679 [UPDATE], MinLatency(us), 1027.0

[UPDATE], MaxLatency(us), 331775.0 [UPDATE], 95thPercentileLatency(us), 189183.0 [UPDATE], 99thPercentileLatency(us), 288767.0 [UPDATE], Return=OK, 486

3.4查看MongoDB中的数据情况

打开mongo shell

# /usr/local/mongodb/mongodb-3.2.4/bin/mongo

> show dbs

local 0.000GB

ycsb 0.002GB

> use ycsb

switched to dbycsb

> show collections

usertable

>https://www.360docs.net/doc/b69729989.html,ertable.count()

1000

>

可以看到在usertable数据集合里面有1000条数据，是YCSB插入的。

如果再次运行YCSB load，需要删除mongodb中的usertable数据集合，否则会报[INSERT-FAILED]错。

删除mongodb中的usertable数据集合语句如下：

> show dbs

local 0.000GB

ycsb 0.002GB

> use ycsb

switched to dbycsb

>db.dropDatabase() { "dropped" : "ycsb", "ok" : 1 } > show dbs

local 0.000GB

>