{{ item.name }}
{{ item.name }}

{{ it.name }}

{{ it.text }}

{{ it.name }}

{{ innerIt.name }}

{{ innerIt.text }}

{{news.time}}
{{news.title}}
技术分享 | MySQL 主从复制 binlog 传输压缩
2021-06-22发布 12,990浏览
本文目录:
前言
如何开启 binlog 压缩
binlog 压缩的压缩效果
  • 创建压缩表灌入数据
  • 关闭状态
    • 主库监控
    • 从库监控
  • 开启状态
    • 主库监控
    • 从库监控
结论
注意事项

前言

现在使用 MySQL 时 binlog 格式都是基于 ROW ,binlog 文件大小一直是一个比较大的问题。在传输到从库时会耗费一定量的网络资源,假如有大事务把一个 binlog 搞到10个G复制到从库,几乎让主库网络累的嗷嗷叫。下面我们介绍一个开启 binlog 压缩参数来缓解这个问题!

如何开启 binlog 压缩

slave_compressed_protocol 参数用于控制MySQL主从复制是否使用压缩协议,开启 binlog 复制压缩对于缓解 binlog 数据量大导致的网络带宽问题有一定的帮助。

# 主库 & 从库
set global slave_compressed_protocol = ON ;

stop slave io_thread;start slave io_thread;
# 开启or关闭 slave_compressed_protocol参数,需重启复制,让该参数生效。

binlog 压缩的压缩效果

压缩到底有没有效果呢?不废话直接压测看结果。

创建压缩表灌入数据

socket='/data/mysql/data/7777/mysqld.sock'
user='root'
password='123'
db='lubao7hao'
table_num='10'
table_size='500000'
thread_num='128'

sysbench /usr/share/sysbench/tests/include/oltp_legacy/oltp.lua --mysql-
socket=${socket} --mysql-user=${user} --mysql-password=${password} --mysql-
db=${db} --oltp-tables-count=${table_num} --oltp-table-size=${table_size} --
report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --
oltp-nontrx-mode=select --oltp-read-only=off --max-time=360000 --num-
threads=${thread_num} prepare

关闭状态

主库监控:


从库监控:


开启状态

主库监控:

从库监控:

结论


主库 cpu从库 cpu主库 send主库 recv从库 send从库 recv
未压缩4.24%2.7%14.50MB/s7.31MB35KB/s14.60MB/s
压缩8.50%3.18%6.68MB/s7.27MB/s35KB/s6.610MB/s
1、开启 slave_compressed_protocol 参数,压缩效果明显,网络数据传输量约为未开启一半,压缩率 50%。

2、开启 slave_compressed_protoco 参数,在一定程度上是会消耗 CPU 资源;如果 CPU 负载已经很高 就不太建议再开压缩了。

注意事项

在 MySQL 在 5.7.21 以下,或者 8.0.4 以下的版本在 slave_compressed_protocol=ON 与半同步复制一起使用时,会触发 Bug 导致主库写入卡住。这里就不多说了,以免偏离主题太多。见地址:https://bugs.my sql.com/bug.php?id=86230

关键字:数据库运维数据平台云数据库

上一篇
技术分享 | 主从和集群架构下 redis client 连接实例的实现方式
400-820-6580 13916131869
marketing@actionsky.com
上海市闵行区万源路2138号泓茂中心2号楼
产品详情
关系型数据库
AI数据库
数据库智能管理平台
数据库生态产品
行业案例
金融行业
新零售行业
制造业
通信行业
更多
公司动态
最新新闻
国产化信息
技术分享
关于我们
公司简介
公司分布
国家专利
资质认证
扫码关注公众号
© Copyright 2017, All rights reserved by: 上海爱可生信息技术股份有限公司 沪ICP备12003970号-1 | 法律声明 | 网站地图
沪公网安备 31010402003331号