一、percona-toolkit简介
percona-toolkit是一组高级命令行工具的集合,用来执行各种通过手工执行非常复杂和麻烦的mysql和系统任务,这些任务包括:
- 检查master和slave数据的一致性
- 有效地对记录进行归档
- 查找重复的索引
- 对服务器信息进行汇总
- 分析来自日志和tcpdump的查询
- 当系统出问题的时候收集重要的系统信息
percona-toolkit源自Maatkit 和Aspersa工具,这两个工具是管理mysql的最有名的工具,现在Maatkit工具已经不维护了,请大家还是使用percona-toolkit吧!这些工具主要包括开发、性能、配置、监控、复制、系统、实用六大类,作为一个优秀的DBA,里面有的工具非常有用,如果能掌握并加以灵活应用,将能极大的提高工作效率。
二、percona-toolkit工具包安装
1. 软件包下载
访问http://www.percona.com/software/percona-toolkit/下载最新版本的Percona Toolkit 或者通过如下命令行来获取最新的版本:
1
2
|
wget percona.com /get/percona-toolkit . tar .gz wget percona.com /get/percona-toolkit .rpm |
我这里选择直接从网站上找到最新版本下载:
1
2
|
wget http: //www .percona.com /redir/downloads/percona-toolkit/2 .1.1 /percona-toolkit-2 .1.1-1.noarch.rpm wget http: //www .percona.com /redir/downloads/percona-toolkit/2 .1.1 /percona-toolkit-2 .1.1. tar .gz |
从http://pkgs.repoforge.org/perl-TermReadKey/下载最新的TermReadKey包
1
|
wget http: //pkgs .repoforge.org /perl-TermReadKey/perl-TermReadKey-2 .30-1.el5.rf.x86_64.rpm |
2. 软件包安装
我的环境是Centos 5.5 64 BIT
A. percona-toolkit的rpm安装方式
1
2
|
rpm -ivh perl-TermReadKey-2.30-1.el5.rf.x86_64.rpm rpm -ivh percona-toolkit-2.1.1-1.noarch.rpm |
注意:需要安装Term::ReadKey 包,否则会报perl(Term::ReadKey) >= 2.10 is needed by percona-toolkit-2.1.1-1.noarch错误
B. percona-toolkit的编译安装方式
tar xzvf percona-toolkit-2.1.1.tar.gz
cd percona-toolkit-2.1.1
perl Makefile.PL
make
make test
make install
三、常用功能
1. pt-duplicate-key-checker
功能介绍:
功能为从mysql表中找出重复的索引和外键,这个工具会将重复的索引和外键都列出来,并生成了删除重复索引的语句,非常方便
用法介绍:
pt-duplicate-key-checker [OPTION...] [DSN]
包含比较多的选项,具体的可以通过命令pt-duplicate-key-checker --help来查看具体支持那些选项,我这里就不一一列举了。DNS为数据库或者表。
使用示例:
查看test数据库的重复索引和外键使用情况使用如下命令
1
|
pt-duplicate-key-checker --host=localhost --user=root --password=zhang@123 --databases= test |
2. pt-online-schema-change
功能介绍:
功能为在alter操作更改表结构的时候不用锁定表,也就是说执行alter的时候不会阻塞写和读取操作,注意执行这个工具的时候必须做好备份,操作之前最好详细读一下官方文档http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.html。
工作原理是创建一个和你要执行alter操作的表一样的空表结构,执行表结构修改,然后从原表中copy原始数据到表结构修改后的表,当数据copy完成以后就会将原表移走,用新表代替原表,默认动作是将原表drop掉。在copy数据的过程中,任何在原表的更新操作都会更新到新表,因为这个工具在会在原表上创建触发器,触发器会将在原表上更新的内容更新到新表。如果表中已经定义了触发器这个工具就不能工作了。
用法介绍:
pt-online-schema-change [OPTIONS] DSN
options可以自行查看help,DNS为你要操作的数据库和表。
这里有两个参数需要介绍一下:
--dry-run 这个参数不建立触发器,不拷贝数据,也不会替换原表。只是创建和更改新表。
--execute 这个参数的作用和前面工作原理的介绍的一样,会建立触发器,来保证最新变更的数据会影响至新表。注意:如果不加这个参数,这个工具会在执行一些检查后退出。这一举措是为了让使用这充分了解了这个工具的原理,同时阅读了官方文档。
使用示例:
在线更改表的的引擎,这个尤其在整理innodb表的时候非常有用,示例如下:
1
|
pt-online-schema-change --user=root --password=zhang@123 --host=localhost --lock-wait- time =120 --alter= "ENGINE=InnoDB" D= test ,t=oss_pvinfo2 --execute |
从下面的日志中可以看出它的执行过程:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
Altering `test`.`oss_pvinfo2`... Creating new table... Created new table test._oss_pvinfo2_new OK. Altering new table... Altered `test`.`_oss_pvinfo2_new` OK. Creating triggers... Created triggers OK. Copying approximately 995696 rows... Copied rows OK. Swapping tables... Swapped original and new tables OK. Dropping old table... Dropped old table `test`.`_oss_pvinfo2_old` OK. Dropping triggers... Dropped triggers OK. Successfully altered `test`.`oss_pvinfo2`. |
在来一个范例,大表添加字段的,语句如下:
1
|
pt-online-schema-change --user=root --password=zhang@123 --host=localhost --lock-wait- time =120 --alter= "ADD COLUMN domain_id INT" D= test ,t=oss_pvinfo2 --execute |
3. pt-query-advisor
功能介绍:
根据一些规则分析查询语句,对可能的问题提出建议,这些评判规则大家可以看一下官网的链接:http://www.percona.com/doc/percona-toolkit/2.1/pt-query-advisor.html,这里就不详细列举了。那些查询语句可以来自慢查询文件、general日志文件或者使用pt-query-digest截获的查询语句。目前这个版本有bug,当日志文件非常大的时候会需要很长时间甚至进入死循环。
用法介绍:
1
2
3
|
pt-query-advisor /path/to/slow-query .log pt-query-advisor -- type genlog mysql.log pt-query-digest -- type tcpdump.txt --print --no-report | pt-query-advisor |
使用示例:
分析一个语句的例子:
1
|
pt-query-advisor --query "select * from aaa" |
分析general log中的查询语句的例子:
1
|
pt-query-advisor /data/dbdata/general .log |
分析慢查询中的查询语句的例子:
1
|
pt-query-advisor /data/dbdata/localhost-slow .log |
4. pt-show-grants
功能介绍:
规范化和打印mysql权限,让你在复制、比较mysql权限以及进行版本控制的时候更有效率!
用法介绍:
pt-show-grants [OPTION...] [DSN]
选项自行用help查看,DSN选项也请查看help,选项区分大小写。
使用示例:
查看指定mysql的所有用户权限:
1
|
pt-show-grants --host= 'localhost' --user= 'root' --password= 'zhang@123' |
查看执行数据库的权限:
1
|
pt-show-grants --host= 'localhost' --user= 'root' --password= 'zhang@123' --database= 'hostsops' |
查看每个用户权限生成revoke收回权限的语句:
1
|
pt-show-grants --host= 'localhost' --user= 'root' --password= 'zhang@123' --revoke |
5. pt-upgrade
功能介绍:
在多台服务器上执行查询,并比较有什么不同!这在升级服务器的时候非常有用,可以先安装并导数据到新的服务器上,然后使用这个工具跑一下sql看看有什么不同,可以找出不同版本之间的差异。
用法介绍:
pt-upgrade [OPTION...] DSN [DSN...] [FILE]
比较文件中每一个查询语句在两个主机上执行的结果,并检查在每个服务器上执行的结果、错误和警告。
使用示例:
只查看某个sql在两个服务器的运行结果范例:
1
|
pt-upgrade h= 'localhost' h=192.168.3.92 --user=root --password=zhang@123 --query= "select * from user_data.collect_data limit 5" |
查看文件中的对应sql在两个服务器的运行结果范例:
1
|
pt-upgrade h= 'localhost' h=192.168.3.92 --user=root --password=zhang@123 aaa.sql |
查看慢查询中的对应的查询SQL在两个服务器的运行结果范例:
1
|
pt-upgrade h= 'localhost' h=192.168.3.92 --user=root --password=zhang@123 slow.log |
此外还可以执行compare的类型,主要包含三个query_times,results,warnings,比如下面的例子,只比较sql的执行时间
1
|
pt-upgrade h=192.168.3.91 h=192.168.3.92 --user=root --password=zhang@123 --query= "select * from user_data.collect_data" --compare query_times |