Percona XtraBackup简介
专注于为中小企业提供成都网站设计、成都做网站服务,电脑端+手机端+微信端的三站合一,更高效的管理,为中小企业乐昌免费做网站提供优质的服务。我们立足成都，凝聚了一批互联网行业人才，有力地推动了1000多家企业的稳健成长，帮助中小企业通过网站建设实现规模扩充和转变。
其是一款开源,免费的MySQL数据库热备工具,可对InnoDB存储引擎进行non-blocking的全备和增备,同时还支持压缩,加密和流式等特性.
安装Generic版本
1. root@db01 /data/software # ls percona-xtrabackup-2.4.8-Linux-x86_64.tar.gz
percona-xtrabackup-2.4.8-Linux-x86_64.tar.gz
2. root@db01 /data/software # tar zxf percona-xtrabackup-2.4.8-Linux-x86_64.tar.gz
3. root@db01 /usr/local # ln -s /data/software/percona-xtrabackup-2.4.8-Linux-x86_64 percona-xtrabackup-2.4.8
4.设置环境变量PATH
root@db01 ~ # grep 'PATH' .bash_profile
PATH=/usr/local/percona-xtrabackup-2.4.8/bin:/usr/local/sysbench-1.0.9/bin:/opt/mysql/bin:$PATH:$HOME/bin
export PATH
root@db01 ~ # xtrabackup --version
xtrabackup version 2.4.8 based on MySQL server 5.7.13 Linux(x86_64) (revision id: 97330f7)
同时也能查看Percona XtraBackup相应命令的man page了,如命令行敲入man xtrabackup.
root@db01 ~ # man -w
/usr/local/percona-xtrabackup-2.4.8/man:/opt/mysql/man:/usr/local/share/man:/usr/share/man/overrides:/usr/share/man/en:/usr/share/man
体会下命令xtrabackup的使用.
1.创建全备
root@db01 /data1/xtrabackup_test # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup
创建增备
root@db01 /data1/xtrabackup_test # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_inc --backup --incremental-basedir=./pxb_full
2. Prepare阶段
root@db01 /data1/xtrabackup_test # xtrabackup --target-dir=./pxb_full --prepare --apply-log-only --use-memory=4G
root@db01 /data1/xtrabackup_test # xtrabackup --target-dir=./pxb_full --prepare --use-memory=4G --incremental-dir=./pxb_inc
3.恢复备份
root@db01 /data1/xtrabackup_test # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --target-dir=./pxb_full --copy-back
上面xtrabackup的工作过程简述如下.
xtrabackup启动后,会先创建redo线程,再创建ibd线程. redo线程负责拷贝事物日志,若是增备情况,其会根据上次备份中文件xtrabackup_checkpoints里to_lsn的值进行拷贝; ibd线程负责拷贝数据文件.
ibd线程拷贝事物数据文件过程中, redo线程会一直监控,并拷贝新增的事物日志.待ibd线程拷贝完事物数据文件, xtrabackup执行FLUSH TABLES WITH READ LOCK,获取全局读锁, ibd线程开始拷贝非事物数据文件,这期间redo线程仍在工作.待ibd线程拷贝完非事物数据文件,该线程结束, xtrabackup执行SHOW MASTER STATUS,获取二进制日志坐标,执行FLUSH NO_WRITE_TO_BINLOG ENGINE LOGS,刷新InnoDB存储引擎日志,这时redo线程结束,执行UNLOCK TABLES,释放锁.最后写元数据.
Prepare阶段, xtrabackup进行crash recovery操作(类似InnoDB存储引擎的崩溃恢复),将提交的事物roll forward,未提交的事物roll back,将数据库恢复到FLUSH TABLES WITH READ LOCK时刻的一致状态.
接下来从三个场景出发进一步熟练xtrabackup的使用.
1.如何在从数据库上进行备份,用于部署一新的从数据库.
这里主要是参数--slave-info的使用,有了该参数,其会记录下主数据库二进制日志的坐标,类似于命令mysqldump的参数--dump-slave,命令行如下.
root@db02 /data1/xtrabackup_test # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=pxb_full --backup --slave-info
注意,若从数据库开启了多线程复制, xtrabackup会退出,并报错如下.
The --slave-info option requires GTID enabled for a multi-threadedslave.
2. xtrabackup备份属于物理备份,相比mysqldump的逻辑备份,占用磁盘空间较大,实际使用中,一般会把备份文件压缩, xtrabackup有两种压缩方式,一是借助tar和gzip进行压缩,一是其自身提供了压缩功能.
2.1 tar和gzip方式
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=tar 2> ./pxb_full/pxb.log | gzip -> ./pxb_full/pxb_full.tar.gz
xtrabackup还提供了并行备份的参数--parallel,是否可以加速上面的过程呢,测试如下:
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=tar --parallel=4 2> ./pxb_full/pxb.log | gzip - > ./pxb_full/pxb_full.tar.gz
xtrabackup在STDERR中提示如下,参数--parallel不支持tar流,其会被忽略.
xtrabackup: warning: the --parallel option does not have anyeffect when streaming in the 'tar' format. You can use the 'xbstream' formatinstead.
2.2自带的压缩功能, quicklz和xbstream方式
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=xbstream --compress=quicklz 2> ./pxb_full/pxb.log > ./pxb_full/pxb_full.qp.xbstream
利用参数--compress-threads和--parallel加速上面的过程.
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=xbstream --compress=quicklz --compress-threads=4 --parallel=4 2> ./pxb_full/pxb.log > ./pxb_full/pxb_full.qp.xbstream
3.如何尽量快的部署一个从数据库呢...该过程可分成3个步骤:备份数据,传送备份,将数据准备到Prepare阶段前,在后的过程都是一样的.大致有4种方式,分别测试如下.
3.1 tar流, gzip压缩,通过scp传送到远端.
3.1.1备份数据
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=tar 2> ./pxb_full/pxb.log | gzip -> ./pxb_full/pxb_full.tar.gz
real 7m14.839s
user 7m7.201s
sys 0m6.227s
3.1.2.传送备份
root@db01 /data1/xtrabackup_test/pxb_full # time scp pxb_full.tar.gz 192.168.1.4:/data1/xtrabackup_test/pxb_full
pxb_full.tar.gz 100% 2214MB 110.7MB/s 00:20
real 0m19.992s
user 0m7.095s
sys 0m4.136s
3.1.3解压备份
root@db02 /data1/xtrabackup_test/pxb_full # time tar zxf pxb_full.tar.gz
real 1m7.359s
user 0m59.890s
sys 0m7.446s
总耗时: 7m14.839s + 0m19.992s + 1m7.359s = 522.190s
3.2 quicklz压缩, xbstream流,通过scp传送到远端.
3.2.1备份数据
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=xbstream --compress=quicklz --compress-threads=4 --parallel=4 2> ./pxb_full/pxb.log > ./pxb_full/pxb_full.qp.xbstream
real 0m19.780s
user 0m35.536s
sys 0m7.299s
3.2.2传送备份
root@db01 /data1/xtrabackup_test/pxb_full # time scp pxb_full.qp.xbstream 192.168.1.4:/data1/xtrabackup_test/pxb_full
pxb_full.qp.xbstream 100% 3032MB112.3MB/s 00:27
real 0m27.373s
user 0m10.102s
sys 0m6.272s
3.2.3提取,解压备份
解压quicklz算法压缩的文件,需安装工具qpress,将其和命令xtrabackup放在相同目录即可,下载链接: http://www.quicklz.com.
3.2.3.1提取
root@db02 /data1/xtrabackup_test/pxb_full # mkdir for_repl
root@db02 /data1/xtrabackup_test/pxb_full # time xbstream --extract --directory=./for_repl < pxb_full.qp.xbstream
real 0m4.760s
user 0m0.410s
sys 0m4.279s
3.2.3.2解压
root@db02 /data1/xtrabackup_test/pxb_full # time xtrabackup --target-dir=./for_repl --decompress --remove-original --parallel=4
real 0m8.714s
user 0m20.519s
sys 0m9.200s
总耗时: 0m19.780s + 0m27.373s + 0m4.760s + 0m8.714s = 60.627s
3.3 tar流,通过ssh传送到远端.
3.3.1备份,传送数据
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=tar 2> ./pxb_full/pxb.log | ssh 192.168.1.4 "tar xfi - --directory=/data1/xtrabackup_test/pxb_full"
real 1m0.779s
user 0m31.110s
sys 0m10.708s
总耗时: 1m0.779s = 60.779s
3.4 quicklz压缩, xbstream流,通过ssh传送到远端.
3.4.1备份数据
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # time xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=xbstream --compress=quicklz --compress-threads=4 2> ./pxb_full/pxb.log | ssh 192.168.1.4 "/usr/local/percona-xtrabackup-2.4.8/bin/xbstream - --extract --directory=/data1/xtrabackup_test/pxb_full --parallel=4"
real 0m48.778s
user 0m44.296s
sys 0m6.859s
3.4.2解压
root@db02 /data1/xtrabackup_test # time xtrabackup --target-dir=./pxb_full --decompress --remove-original --parallel=4
real 0m8.116s
user 0m20.610s
sys 0m9.236s
总耗时: 0m48.778s + 0m8.116s = 56.894s
可见第四种方法最快,第三种次之,但两者都是流式传送,要求网络环境较好,否则就是第二种方法了.
另,前面还说到xtrabackup提供了备份加密功能,其有key和key-file两种方式,此处选择key-file演示,同时一并梳理整个备份恢复过程.
1.制作key-file文件
root@db01 /data1/xtrabackup_test # openssl rand -base64 24
qEBPZrck0JQHYSnG8ScdW0UjAeKkOCFt
root@db01 /data1/xtrabackup_test # echo -n 'qEBPZrck0JQHYSnG8ScdW0UjAeKkOCFt' > /usr/local/percona-xtrabackup-2.4.8/bin/keyfile
2.备份数据
root@db01 /data1/xtrabackup_test # mkdir pxb_full
root@db01 /data1/xtrabackup_test # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --login-path=mytest --target-dir=./pxb_full --backup --stream=xbstream --compress=quicklz --compress-threads=4 --encrypt=AES256 --encrypt-key-file=/data/software/percona-xtrabackup-2.4.8-Linux-x86_64/bin/keyfile --encrypt-threads=4 --parallel=4 2> ./pxb_full/pxb.log > ./pxb_full/pxb_full.qp.encrypt.xbstream
3.提取
root@db01 /data1/xtrabackup_test/pxb_full # mkdir for_recovery
root@db01 /data1/xtrabackup_test/pxb_full # xbstream --extract --directory=./for_recovery < pxb_full.qp.encrypt.xbstream
4.解密
root@db01 /data1/xtrabackup_test/pxb_full # xtrabackup --target-dir=./for_recovery --encrypt-key-file=/data/software/percona-xtrabackup-2.4.8-Linux-x86_64/bin/keyfile --decrypt=AES256 --remove-original --parallel=4
5.解压
root@db01 /data1/xtrabackup_test/pxb_full # xtrabackup --target-dir=./for_recovery --decompress --remove-original --parallel=4
6. Prepare阶段
root@db01 /data1/xtrabackup_test/pxb_full # xtrabackup --target-dir=./for_recovery --prepare --use-memory=4G
7.恢复
root@db01 /data1/xtrabackup_test/pxb_full # xtrabackup --defaults-file=/data1/3316/conf/my.cnf --target-dir=./for_recovery --copy-back --parallel=4
至此整个MySQL Database Backup Methods系列就结束了,算是自己的一个总结,也希望看到文章的人能有所收获.
再有,马上就国庆,中秋节了,提前祝福节日快乐!
若感兴趣可关注订阅号”数据库最佳实践”(DBBestPractice).
