- 本月热门
-
如何成为一名前端开发工程师 by 姜赟 -
移动APP测试的22条军规 by 黄勇@ThoughtWorks -
mongoDB入门简介-Java篇： Strongly Typed Languages and Flexible Schemas -
前端自动化测试实践 by 马逸清@七牛 -
酷狗前端内嵌页发展史 by 杜剑峰(浏览器版本兼容及性能问题解决办法) -
Node Profiler 一款JavaScript的性能调优工具 by 朴灵 -
基于Netty构建高性能RPC通信框架 by 李林锋 -
An introduction to MongoDB by Rácz Gábor -
利用OAuth劫持用户身份 by 蓝色di雪球@新浪微博 -
技术经理管理技巧-TECH LEAD SKILLS FOR DEVELOPERS by patkua@ThoughtWorks
第1页
MySQL压力测试经验
如何避免生产环境性能瓶颈
个人几年来的测试经验，很乐意拿出来和大家分享
第2页
个人介绍
叶金荣
Oracle ACE
搜狐畅游福州(www.17173.com)
系统部经理
imysql@gmail.com
Weibo: @yejinrong
Oracle ACE
搜狐畅游福州(www.17173.com)
系统部经理
imysql@gmail.com
Weibo: @yejinrong
第3页
为什么要压力测试
采购新设备，评估新设备性能
开发新项目，评估数据库容量
新系统上线前，预估/模拟数据库负载
更换数据库版本，评估性能变化
开发新项目，评估数据库容量
新系统上线前，预估/模拟数据库负载
更换数据库版本，评估性能变化
第4页
关注指标
CPU
%wait，%user，%sys
内存
只内存读写，不产生swap
IO
IOPS、iowait、svctm、%util
数据库
TPS/TpmC、吞吐量（QPS）、响应时长、InnoDB指标
%wait，%user，%sys
内存
只内存读写，不产生swap
IO
IOPS、iowait、svctm、%util
数据库
TPS/TpmC、吞吐量（QPS）、响应时长、InnoDB指标
await:从请求磁盘操作到系统完成处理,每次请求的平均消耗时间,包括请求队列等待时间,单位是毫秒(1秒=1000毫秒)
%iowait：显示用于等待I/O操作占用 CPU 总时间的百分比
svctm: 平均每次设备I/O操作的服务时间 (毫秒)%util: 一秒中有百分之多少的时间用于 I/O 操作，或者说一秒中有多少时间 I/O 队列是非空的
InnoDB指标：
buffer pool hit ratio
Data read bytes
Data written bytes
Unpurged/Purged_Trascations
Dirty page
第5页
影响因素
硬件
CPU（省电模式、超线程、多核）
内存（镜像模式、xen内核限制可用总内存大小）
阵列卡(BBU、CACHE、条带、读写策略、FW)
硬盘（SSD/SAS）
系统
内核参数（tcp相关）
文件系统
IO调度器
CPU（省电模式、超线程、多核）
内存（镜像模式、xen内核限制可用总内存大小）
阵列卡(BBU、CACHE、条带、读写策略、FW)
硬盘（SSD/SAS）
系统
内核参数（tcp相关）
文件系统
IO调度器
bios设置中，和cpu/内存相关
内核参数（tcp相关）：recycle、reuse、timeout、timestamp
文件系统：xfs、ext4
io调度器： deadline(SAS)、noop(SSD)、cfq
第6页
影响因素
MySQL
TRANSACTION ISOLATION LEVEL
Buffer pool
Concurrency thread
Redo log
Binlog sync
innodb_flush_log_at_trx_commit
…
TRANSACTION ISOLATION LEVEL
Buffer pool
Concurrency thread
Redo log
Binlog sync
innodb_flush_log_at_trx_commit
…
第7页
注意事项
只在本地加压
压测数据量小
压测时间过短
压测模式太少
压力负载过大或过小
每轮测试完毕要净化环境
压测数据量小
压测时间过短
压测模式太少
压力负载过大或过小
每轮测试完毕要净化环境
只在本地加压（Over lan）
压测数据量小（500DW）
压测时间过短（1h+）
压测模式太少（读写比例变化、并发数变化，RO、RW）
压力负载过大或过小（并发4-1024，最大请求数100w – 10亿 ）
每轮测试完毕要净化环境
第8页
测试环境
第9页
测试工具
sysbench
Primarily for MySQL OLTP benchmarking，By MySQL AB
cpu、threads、mutex、memory、fileio、oltp
tpcc-mysql
Primarily for MySQL OLTP benchmarking，By Percona
tpch
Primarily for OLAP benchmarking
tcpcopy
模拟生产环境真实请求
其他
mysqlslap
sql-bench
Primarily for MySQL OLTP benchmarking，By MySQL AB
cpu、threads、mutex、memory、fileio、oltp
tpcc-mysql
Primarily for MySQL OLTP benchmarking，By Percona
tpch
Primarily for OLAP benchmarking
tcpcopy
模拟生产环境真实请求
其他
mysqlslap
sql-bench
TPC-C测试用到的模型是一个大型的商品批发销售公司，它拥有若干个分布在不同区域的商品仓库。当业务扩展的时候，公司将添加新的仓库。
每个仓库负责为10个销售点供货，其中每个销售点为3000个客户提供服务，每个客户提交的订单中，平均每个订单有10项产品，
所有订单中约1%的产品在其直接所属的仓库中没有存货，必须由其他区域的仓库来供货。同时，每个仓库都要维护公司销售的100000种商品的库存记录。
源自：http://baike.baidu.com/view/2776305.htm
tpch是TPC(Transaction Processing Performance Council)组织提供的工具包。用于进行OLAP测试，以评估商业分析中决策支持系统（DSS）的性能。它包含了一整套面向商业的ad-hoc查询和并发数据修改，强调测试的是数据库、平台和I/O性能，关注查询能力。
第10页
测试工具 – sysbench
项目地址
http://sysbench.sourceforge.net/
分支版本
https://code.launchpad.net/sysbench
特点：支持lua，增加选项 oltp-tables-count
http://sysbench.sourceforge.net/
分支版本
https://code.launchpad.net/sysbench
特点：支持lua，增加选项 oltp-tables-count
第11页
测试工具 – sysbench
安装
./configure --with-mysql-includes=path --with-mysql-libs=path && make && make install
支持其他数据库
with-pgsql
with-oracle
运行
sysbench --test=[mode] [other_options] prepare
sysbench --test=[mode] [other_options] run
sysbench --test=[mode] [other_options] cleanup
./configure --with-mysql-includes=path --with-mysql-libs=path && make && make install
支持其他数据库
with-pgsql
with-oracle
运行
sysbench --test=[mode] [other_options] prepare
sysbench --test=[mode] [other_options] run
sysbench --test=[mode] [other_options] cleanup
第12页
测试工具 – sysbench
通用基准
最大请求数：5,000,000
并发线程数：8 ~ 512
基准 – OLTP
mode=complex
engine=innodb
oltp-table-size=100,000,000
最大请求数：5,000,000
并发线程数：8 ~ 512
基准 – OLTP
mode=complex
engine=innodb
oltp-table-size=100,000,000
第13页
测试工具 – sysbench
测试用例
sysbench --test=oltp --mysql-host=host \
--mysql-user=user --mysql-password=passwd \
--oltp-test-mode=complex --mysql-table-engine=innodb \--oltp-table-size=100000000 --mysql-db=db \
--oltp-table-name=test_tbl --num-threads=128 \
--max-requests=5000000 run
--oltp-test-mode 测试模式：complex/simple/nontrx
sysbench --test=oltp --mysql-host=host \
--mysql-user=user --mysql-password=passwd \
--oltp-test-mode=complex --mysql-table-engine=innodb \--oltp-table-size=100000000 --mysql-db=db \
--oltp-table-name=test_tbl --num-threads=128 \
--max-requests=5000000 run
--oltp-test-mode 测试模式：complex/simple/nontrx
1亿条记录，128线程，每线程500万次请求
第14页
测试工具 – sysbench
测试结果
1亿条记录，128线程，每线程500万次请求
第15页
测试工具 – sysbench
不足
只能模拟简单OLTP
测试表列数少
测试表数据类型少
标准版本只能支持一个测试表
只能模拟简单OLTP
测试表列数少
测试表数据类型少
标准版本只能支持一个测试表
1亿条记录，128线程，每线程500万次请求
第16页
测试工具 – tpcc mysql
安装
下载 bzr branch lp:~percona-dev/perconatools/tpcc-mysql
直接make即可
create_table.sql - 创建数据表
add_fkey_idx.sql – 创建索引及外键
初始化加载数据
tpcc_load db_host db_name db_user db_passwd db_warehouse_num
例如：tpcc_load localhost tpcc1000 user passwd 1000
运行OLTP测试
./tpcc_start -h localhost -d tpcc1000 -u root -p ' xx' -w 1000 -c 32 -r 120 -l 3600 -f ./tpcc_mysql_20120314
下载 bzr branch lp:~percona-dev/perconatools/tpcc-mysql
直接make即可
create_table.sql - 创建数据表
add_fkey_idx.sql – 创建索引及外键
初始化加载数据
tpcc_load db_host db_name db_user db_passwd db_warehouse_num
例如：tpcc_load localhost tpcc1000 user passwd 1000
运行OLTP测试
./tpcc_start -h localhost -d tpcc1000 -u root -p ' xx' -w 1000 -c 32 -r 120 -l 3600 -f ./tpcc_mysql_20120314
第17页
测试工具 – tpcc mysql
基准 - OLTP
warehouse = 1000
max connection = 8 ~ 512
warm up = 120(s)
run time/duration = 3600(s)
warehouse = 1000
max connection = 8 ~ 512
warm up = 120(s)
run time/duration = 3600(s)
第18页
测试工具 – tpcc mysql
测试用例
./tpcc_start -h host -d db -u user -p passwd \
-w 500 -c 128 -r 120 -l 3600
-w warehose/仓库数
-c concurrent threads/并发线程
-r warmup/数据预热时长
-l during time/持续加压时长
./tpcc_start -h host -d db -u user -p passwd \
-w 500 -c 128 -r 120 -l 3600
-w warehose/仓库数
-c concurrent threads/并发线程
-r warmup/数据预热时长
-l during time/持续加压时长
第19页
测试工具 – tpcc mysql
测试结果
第20页
测试工具 – tpcc mysql
不足
测试表模式设计未优化
存在外键
部分索引不合理
测试表模式设计未优化
存在外键
部分索引不合理
1亿条记录，128线程，每线程500万次请求
第21页
测试工具 – tpch
安装
下载 http://www.tpc.org/tpch/spec/tpch_2_16_0.zip
cp makefile.suite makefile
编辑 makefile 文件
CC = gcc
DATABASE = MYSQL
MACHINE = LINUX
WORKLOAD = TPCH
编辑tpcd.h，增加宏定义
#ifdef MYSQL
#define GEN_QUERY_PLAN ""
#define START_TRAN "START TRANSACTION"
#define END_TRAN "COMMIT"
#define SET_OUTPUT ""
#define SET_ROWCOUNT "limit %d;\n"
#define SET_DBASE "use %s;\n"
#endif
下载 http://www.tpc.org/tpch/spec/tpch_2_16_0.zip
cp makefile.suite makefile
编辑 makefile 文件
CC = gcc
DATABASE = MYSQL
MACHINE = LINUX
WORKLOAD = TPCH
编辑tpcd.h，增加宏定义
#ifdef MYSQL
#define GEN_QUERY_PLAN ""
#define START_TRAN "START TRANSACTION"
#define END_TRAN "COMMIT"
#define SET_OUTPUT ""
#define SET_ROWCOUNT "limit %d;\n"
#define SET_DBASE "use %s;\n"
#endif
第22页
测试工具 – tpch
初始化
初始化测试表数据： ./dbgen -s 100
生成测试数据：mysql -f tpch < dss.ddl
默认的初始化模式无主键、无索引
LOAD DATA INFILE导入数据
注意max_binlog_cache_size限制，需要切分文件导入
执行修改主键/外键/额外索引脚本
数据表名全部改成小写，适应TPC-H测试SQL脚本
运行qgen生成测试SQL
修改部分SQL语句
拆分完成测试SQL脚本成23个测试SQL
运行
执行23个测试脚本，记录运行时长
初始化测试表数据： ./dbgen -s 100
生成测试数据：mysql -f tpch < dss.ddl
默认的初始化模式无主键、无索引
LOAD DATA INFILE导入数据
注意max_binlog_cache_size限制，需要切分文件导入
执行修改主键/外键/额外索引脚本
数据表名全部改成小写，适应TPC-H测试SQL脚本
运行qgen生成测试SQL
修改部分SQL语句
拆分完成测试SQL脚本成23个测试SQL
运行
执行23个测试脚本，记录运行时长
第23页
测试工具 – tpch
基准 - tpch
warehouse = 1000
单进程
tpch侧重OLAP模型，而MySQL并不适合OLAP，因此warehouse设定较小
warehouse = 1000
单进程
tpch侧重OLAP模型，而MySQL并不适合OLAP，因此warehouse设定较小
第24页
测试工具 – tpch
测试用例
生成测试数据：./dbgen -s 1000
执行OLAP查询：time mysql -f tpch < ./queries/tpch_${NN}.sql
-s warehose/仓库数
生成测试数据：./dbgen -s 1000
执行OLAP查询：time mysql -f tpch < ./queries/tpch_${NN}.sql
-s warehose/仓库数
默认的初始化模式无主键、无索引
注意max_binlog_cache_size限制，需要切分文件导入
执行修改主键/外键/额外索引脚本
数据表名全部改成小写，适应TPC-H测试SQL脚本
运行qgen生成测试SQL
修改部分SQL语句，由于源码包中自带的tpch初始化库表脚本并不能完全适用MySQL，需要修改部分代码
第25页
测试工具 – tpch
不足
初始化比较麻烦
部分索引不合理
MySQL本身不擅长做OLAP，测试模式有局限
初始化比较麻烦
部分索引不合理
MySQL本身不擅长做OLAP，测试模式有局限
1亿条记录，128线程，每线程500万次请求
第26页
测试工具 – tcpcopy
安装
项目地址：https://github.com/wangbin579/tcpcopy
下载，执行 sh autogen.sh 后直接编译安装即可
按照文档配置server和client端，即可启动压测
项目地址：https://github.com/wangbin579/tcpcopy
下载，执行 sh autogen.sh 后直接编译安装即可
按照文档配置server和client端，即可启动压测
第27页
测试工具 – tcpcopy
测试用例
第28页
测试工具 – tcpcopy
不足
测试MySQL时，测试机需要开启 skip-grant-tables，否则无法正常进行，因为MySQL需要进行认证；在线服务器无需调整
测试过程中不能执行flush privileges，否则上述选项会失效
每次启用tcpcopy时，都需要重启mysqld，不能在线直接应用，否则不能转发包
不支持prepare语义
可能需要调整部分内核tcp参数，避免出现queue dropped
无法100%保证生产环境与测试环境数据一致性
测试MySQL时，测试机需要开启 skip-grant-tables，否则无法正常进行，因为MySQL需要进行认证；在线服务器无需调整
测试过程中不能执行flush privileges，否则上述选项会失效
每次启用tcpcopy时，都需要重启mysqld，不能在线直接应用，否则不能转发包
不支持prepare语义
可能需要调整部分内核tcp参数，避免出现queue dropped
无法100%保证生产环境与测试环境数据一致性
1亿条记录，128线程，每线程500万次请求
第29页
测试报告 – sysbench
第30页
测试报告 – sysbench
TPS
threads
第31页
测试报告 – tpcc mysql
第32页
测试报告 – tpcc mysql
TpmC
threads
第33页
测试报告 – tpch
第34页
测试报告 – tpch
耗时
第35页
可靠性测试
模拟意外事件
断电(硬件冷重启)
RESET(硬件热重启)
阵列卡掉线
磁盘掉线
REBOOT(系统重启)
正常关闭服务(kill -TERM)
异常关闭服务(kill -9)
磁盘空间满
删除文件
破坏性修改已打开文件
…
断电(硬件冷重启)
RESET(硬件热重启)
阵列卡掉线
磁盘掉线
REBOOT(系统重启)
正常关闭服务(kill -TERM)
异常关闭服务(kill -9)
磁盘空间满
删除文件
破坏性修改已打开文件
…
磁盘空间满了之后，不断写入，可能会导致硬件故障或者文件系统异常
第36页
可靠性测试
长期极限高压
持续数小时、数天、数周运行高负载计算、IO任务
考验服务器在高压下的性能波动情况
考验硬件设备在高压下的稳定性表现
模拟恶劣环境
供电不稳
通风冷却不好
湿气大、灰尘多
持续数小时、数天、数周运行高负载计算、IO任务
考验服务器在高压下的性能波动情况
考验硬件设备在高压下的稳定性表现
模拟恶劣环境
供电不稳
通风冷却不好
湿气大、灰尘多
第37页
参考
http://baike.baidu.com/view/2776305.htm
https://code.google.com/p/tcpcopy
http://imysql.com/2012/12/21/tpch-for-mysql-manual.html
http://imysql.com/2012/08/04/tpcc-for-mysql-manual.html
http://imysql.com/node/312
http://imysql.com/2009/04/24/using_mysqlslap_for_load_testing.html
http://imysql.com/2008_07_25_innodb_vs_pbxt
http://imysql.com/2011/10/22/using-tcpcopy-for-request-replication-or-testing.html
https://code.google.com/p/tcpcopy
http://imysql.com/2012/12/21/tpch-for-mysql-manual.html
http://imysql.com/2012/08/04/tpcc-for-mysql-manual.html
http://imysql.com/node/312
http://imysql.com/2009/04/24/using_mysqlslap_for_load_testing.html
http://imysql.com/2008_07_25_innodb_vs_pbxt
http://imysql.com/2011/10/22/using-tcpcopy-for-request-replication-or-testing.html
第38页
附件
整合sysbench测试脚本 [下载]
整合tpcc-mysql测试脚本 [下载]
整合tpch测试脚本 [下载]
汇总下载 [下载]
测试结果表格模板 [下载]
整合tpcc-mysql测试脚本 [下载]
整合tpch测试脚本 [下载]
汇总下载 [下载]
测试结果表格模板 [下载]
第39页
Thanks