如何安装HBase性能测试工具YCSB

YCSB

1.背景概念

英文全称：Yahoo!云服务基准 (YCSB)。它是雅虎推出的一款用于云服务基本测试的工具。目标是促进新一代云数据服务系统的性能比较。为四个广泛使用的系统订购了一组核心的基本测试和结果报告：Cassandra、HBase、PNUTS 和简单的分片 MySQL 实现。

2.资源获取

首先从官网下载源码并编译或者直接下载软件包

https://github.com/brianfrankcooper/YCSB/releases/tag/ 0.10.0

编译需要依赖maven项目和其他资源包，比较麻烦。建议o 直接下载软件包。

添加一些编译内容：

下载最新源码

本地解压，进入源码根目录YCSB- 0.10。 0

如果要编译完整版本，直接输入

mvn clean package

如果编译成功，YCSB里面会有一个文件-0.10.0/distribution目录对应的ycsb压缩包，复制解压即可使用

这种方法编译出来的完整版ycsb适用于多种数据库，所以依赖的库太多，目标文件太大，耗时太长。不建议这样编译。

建议单独编译一个ycsb，仅用于测试某个数据库（如hbase）。

mvn -pl com.yahoo.ycsb:hbase10-binding -am clean package #我是这样编译的

编译结果摘录：

如果这个方法编译成功，就会在YCSB-0.10中.0/hbase10/target目录下会有

ycsb-hbase10-binding-0.10.0.tar.gz压缩包，也就是我们的目标文件。解压后可以使用环境中的mvn仓库 172.7.1.216上的资源。在实际编译过程中，会遇到依赖包不匹配或者依赖包不存在的问题。您可以在search.maven.org上手动搜索并下载相应的资源并放在本地。进入~/.m2/repository/对应目录即可

这里我们测试的是hbase，所以我们直接下载了ycsb-hbase10-binding-0.10.0.tar.gz（注意这个仅针对hbase10 即hbase1.0适用，官网有一个软件包，适用于所有数据库 300M太大了，网络不好的话就不用下载了。）用吧。

3.配置与使用

这里首先要检查hbase-site.xml中的配置是否正确，否则运行ycsb时会报错

将会下载ycsb-hbase10-binding- 0.10.0.tar.gz解压后使用

目录结构：

这里补充介绍一下ycsb版本的完整目录结构

完整版需要手动将相关hbase库复制到hbase-binding的lib目录下，并将hbase-site.xml复制到hbase-binding的conf目录下hbase 绑定。

我们的 ycsb-hbase10-binding-0.10.0 更具针对性和精简性。 lib目录下有各种需要的库文件。无需手动从hbase的lib目录进行cp。没有conf目录，我们只需要直接使用bin下的ycsb即可。

具体使用方法为int如下：

1.在hbase上建表，YCSB需要在HBase中创建一个名为usertable的表，该表包含一个Cloumn Family，CF名称可以自定义。依次执行以下两条命令：

命令含义：pre-splittingstrategy预分区及建表

使用HBase shell创建表，同时创建一些预分片策略分区，这样可以防止第一次插入数据时出现热点

2.使用以下命令进行测试

首先初始化数据

-cp指定hbase的配置文件所在路径/usr/hdp/2.4.2.0-258/hbase/conf/（前面说过，精简版的ycsb没有conf目录）

用户首先需要用load初始化数据库，然后使用 run 运行负载。 dbname 指定目标数据库。

目前YCSB自带6种工作负载（在workloads/目录下），下表列出了其中的5种。用户可以自定义操作比例（读取、更新、插入、扫描），并选择操作目标记录的分布：Uniform（等概率随机选取记录）、Zipfian（随机选取记录，热点记录存在）和Latest（最近）所写的记录是热门记录）。

-P 指定负载文件的位置。

-p用于设置一些参数，比如数据库的ip、端口等。当然，在运行YCSB之前，目标数据库必须打开。测试完成后，YCSB会打印平均/最小/最大延迟等信息。参数ers线程recordcount等后面可以使用

-s 输出运行状态，运行时间较长时比较有用

[root@node1 ycsb-hbase10-binding -0.10.0] #bin/ycsb 加载 hbase10 -P 工作负载/workloada -cp/usr/hdp/2.4.2.0-258/hbase/conf/ -p table=usertable -p columnfamily=family -s -threads10 -p recordcount =100

#这里加载的是工作负载a负载，其中一半是读取和更新操作

Ycsb运行后打印分析结果：

然后执行run程序

[root@node1ycsb-hbase10-binding-0.10.0]# bin/ycsb run hbase10 -Pworkloads/workloada -cp /usr/hdp/2.4.2.0-258/hbase/conf/ -p table=usertable -pcolumnfamily=family -s –threads 10 -p recordcount=100

Ycsb操作完成结果打印并分析：

四。用例介绍

这里介绍一下我们使用ycsb进行hbase性能测试时的用例方法。

首先直接使用ycsb_load.sh和ycsb_run.sh两个脚本进行测试。用户只需要自定义一个与工作负载类型类似的配置文件即可。

对应的目录结构：

后缀名为report的文件是脚本运行时所有的终端打印记录， ycsb正在运行（文件较大，测试完成后得到key值可以删除）。

Ycsb_load.sh脚本内容：

脚本内容比较简单。 ycsb_run.sh脚本的内容几乎与上面（最后一句ycsb run命令中的load改为run），其中$1变量是用户在运行时指定的配置文件（workload、TR1003等）。

-jvm-args='-Xmx32g' 这个用于配置ycsb运行时jvm虚拟机的内存大小。这意味着最多可以分配32G内存给ycsb clinet进程

具体用法：sh ycsb_load.sh TR1003

ycsb配置文件TR1003（与工作负载文件相同）

该配置文件在加载阶段加载数据库时单独使用，其中clientbuffer配置项是配置hbase客户端的写缓存。配置写入缓存可以减少写入hbase操作时的RPC开销。具体功能可以查看hbase测试调优文档。这是默认情况下未配置。该配置项的默认值为配置项writebuffersize=1024。 *1024*12（12M），requestdistribution指的是操作需求分发所采用的方式。

运行阶段配置文件TR1003：

该配置文件用于运行阶段，与ycsb_run.sh配合使用。这里的run阶段主要是从hbase数据库读取数据。

scan：

Maxscanlength配置项用于指定扫描次数（ycsb代码中的实现是取1到Maxscanlength之间的随机值作为扫描次数)

hbase.usepagefilter配置项是扫描的结果是否以页面形式显示。默认启用

scanlengthdistribution配置项m决定如何获取1~Maxscanlength范围内的值。 ，或默认均匀分布（等概率随机分布）。

还值得注意的是，在执行扫描操作时，每秒的ycsb操作数currentops/sec可能会很小：

2016-08-30 04:21： 40:791 60 秒：1 次操作； 0.1 当前操作/秒；预计在 1388 天 21hours 完成 SCAN count: 1, Average Latency(us): 49083737.00

这是由于 ycsb 的计算方法造成的，它只统计了每个操作的具体次数，而不是总数扫描次数，所以0.1可以理解为10秒内进行1次扫描操作，那么这10秒内的平均操作次数就是0.1当前ops/秒。

对于扫描操作，我们可以通过带宽来计算一次操作扫描了多少条数据。

读取：

读取类似于加载阶段的输出，一次搜索一个读取。

注意！ ！ ！ ：

负载标准age其实就是加载数据，也就是往hbase中插入数据。工作负载文件中的recordcount 是要插入的记录数。 run阶段是对hbase进行各种操作。 operacount是操作的次数，所以load阶段必须正确执行，否则run阶段会出现类似[READ-FAILED]的错误。

感谢您的阅读！这篇关于《如何安装HBase性能测试工具YCSB》的文章就分享到这里了，希望以上内容能够给大家带来一些帮助，让大家能够学到更多的知识。如果您觉得文章不错，可以分享出去，让更多的人看到！