Memcache压力测试工具 -- memslap使用教程

Memcache,memslap

Memcache监控工具 -- memcachephp http://ultrasql.blog.51cto.com/9591438/1638019/

1、说明

Memslap是memcached服务器的压力测试工具,它能产生可配置压力环境,如:线程、并发、连接、运行时间、覆盖、命中率、key的长度、value的长度、get/set比率等。另外,它还支持数据确认、失效时间确认、UDP、二进制协议,facebook检测等操作。
Memslap管理网络连接的机制与memcached管理事件的机制相同。每个memslap线程绑定到一个cpu内核上,所有线程彼此不进行通信。每个线程有多个socket连接,每个socket连接保存一份其自己的key的长度、value的长度和命令(set/get)。

Memslap有如下特点:

  • 使用互斥libevent管理网络。 对于memslap来说,TCP和UDP都采用无阻塞IO,其网络模型和memcached很相似,所有网络事件的管理如同memcached中的libevent的管理。libevent使memslap管理网络很有效。
  • 可以使用TCP和UDP进行无阻塞传输。

  • 提高并行量:高效的多线程环境。 Memslap多线程的实现机制和memcached相似。Memslap创建一个或多个能自我控制的线程,如果系统支持设置cpu环境,那么将每个线程绑定到一个cpu内核上。
    另外,每个线程都有一个libevent去管理网络事件、一个或多个自我控制的并发、一个或多个socket连接。即使在一个线程中,所有并发彼此都不会进行通信。
    Memslap会创建多个socket连接,每个并发有多个socket连接。么个并发从socket连接池中随机或顺序选择一个socket连接运行。所以,memslap保证每个并发在任何时间都会有一个soket连接。用户可以根据所要的测试用例设定并发的数量和每个并发中的socket连接的数量。
  • 提高时间效率:快速的运算速度。
  • Key的长度和value的长度可以配置。 为提升时间效率和空间利用率,memslap创建一个10M个文字的随机文字表。所有的key和value都是从这个表中随机产生的。
  • 支持get、多重get和set命令,并且命令可以配置。
  • 支持可控制的命中率和覆盖率。
  • 支持数据确认和失效时间确认。
  • 支持定期清理固定数据
  • 支持多tcp连接
  • 支持二进制协议
  • 支持facebook测试(通过TCP进行set,通过UDP进行多重get)和复制测试

2、memsalp安装

memcached压力测试工具memslap的安装 要使用memslap需安装libmemcached,其将自带memslap的工具。 官方网站与下载地址 最新版 https://launchpad.net/libmemcached/+download 这里选择了最新版(2018.0818)

3、用法

用户至少要指定一个服务器端。

1.Key、value的长度和命令

Memslap对命令(set/get)的设置放在配置文件中,key的最短长度是16byte,最大长度是260byte。Value最小值是1byte,最大值是1Mbyte。

2. 多线程和并发

默认的线程数是1,并发数是16.用户可以使用“--thread”和“--concurrency”来设定线程数和并发数。

3. 窗口大小

一般来说,用户不需要设定窗口大小,窗口的默认大小是10k。用户可以使用“--win_size”或“-w”指定窗口大小。

4.确认

用户可以使用“—verify=”或者“-v”选项来设置数据的确认。在理论上,memslap支持100%确认。用户可以使用“—exp_verify=”或者“-e”选项来设定失效时间的确认。使用“--verbose”会产生更详细的错误信息。

5. 多服务器、多客户端

Memslap支持多服务器端和多客户端,但是要注意服务器端的数量不能比线程数多。用户可以使用选项“—server=”或者“-s”来指定多服务器端。

6.运行模式:时间模式、数量模式

默认模式是时间模式,默认时间是10分钟,如果到时,memslap推出。请不要同时使用两种模式。

7.定期清理静态数据

使用选项“—stat_freq=”或者“-S”来设置时间间隔。

8.多重get

用户可以使用“--division”选项设置多重get的数量。Memslap的默认值是1,即单一get。

9. UDP和TCP

Memslap支持udp和tcp协议。对tcp来说,memslap在socket连接中断时不会重新连接。如果所有连接都丢失了,memslap会推出。如果用户使用了“--reconnect”选项,那么当socket连接丢失时,它会重新连接。

用户可以使用“--udp”选项来启用udp,但是udp是有局限性的:
Udp不能set超过1400byte的数据
Udp不支持二进制协议
不支持重新连接

10. Facebook检测

用tcp set数据,用udp多重get数据。使用一下选项:“—facebook
–division=50”,如果你想创建多个tcp连接,使用选项“—conn_sock=”。

11. 复制任务

若使用该特性,用户必须保证有两个(以上)memcached服务器。用户可以使用“—rep_write=”选项启动该特性。

12. 支持多tcp连接

使用选项“—conn_sock=”或者“-n”。这个特性在socket断开后不支持重新连接。

13. 支持二进制协议

使用选项“--binary”或者“-B”启动memslap。这个选项支持除了UDP以外的所有特性。

3、命令选项

-s, --servers=:列出一个或多个所要连接的memcached服务器端。服务器的数量一定要小于线程的数量e.g.: --servers=localhost:1234,localhost:11211
-T, --threads=:线程数量,最好等于cpu数量。默认值为8
-c, --concurrency=:负载需要虚拟的并发数量,默认值是128
-n, --conn_sock=:一个并发的tcp连接数量,默认值是1
-x, --execute_number=:set/get数量,默认值100w
-t, --time=:运行时间,其格式为: s-seconds, m-minutes, h-hours, d-days e.g.: --time=2h.
-F, --cfg_cmd=:加载配置文件
.
-w, --win_size=:任务窗口大小,e.g.: --win_size=10k. 默认值为10k
-X, --fixed_size=:value的大小
-v, --verify=:所要确认的数据比例, e.g.: --verify=0.01
-d, --division=:多重get的数量,默认值为1即单个get
-S, --stat_freq=:定期清理静态数据的间隔时间, e.g.: --resp_freq=10s.
-e, --exp_verify=:失效时间的比例, e.g.: --exp_verify=0.01。默认情况是不设置该选项
-o, --overwrite=:对象需要覆盖的比例, e.g.: --overwrite=0.01.默认情况是不进行覆盖。
-R, --reconnect:支持重新连接
-U, --udp:使用UDP协议,默认是TCP协议
-a, --facebook:启动faceb检测
-B, --binary:使用二进制协议,默认值是ascii协议
-P, --tps=:吞吐量, e.g.: --tps=10k.
-p, --rep_write=:前n个服务端可以写数据, e.g.: --rep_write=2.
-b, --verbose:错误信息
-h, --help:帮助文档
-V, --version:版本信息

用法实例:

memslap -s 127.0.0.1 --concurrency=1000