docker容器中mysql优化过程

最近有个项目用的mysql5.5(跑在docker里面),查询时经常性地把CPU占到100%,导致整体性能下降,根本没法用,最开始以为是docker容器导致mysql的性能问题,官方论坛也有人指出docker导致mysql性能下降。后来直接在实体机上编译安装mysql,执行同样的查询,发现CPU占用率依然很高,可以确定是查询语句的问题。

后来经过排查发现是longtext字段的问题,大量查询这个字段就会导致CPU占用率飙升,降低系统整体性能。
解决方案:
1:将longtext换成mediumtext,longtext最大支持4GB内容存储,mediumtext最大支持到16M内存,一般情况下都够用了。
2:(重点),查询语句中尽量避免longtext字段的查询,如果非要处理longtext字段的内容,可以在表中加一个字段,把longtext字段处理的结果直接放到新加的字段里面,这样间接的避免了对longtext字段的直接查询。
优化结果后从原来的4秒多变成现在的100毫秒以下,提升了速度40多倍。

docker里面运行mysql

最开始用的是官方mysql镜像,后来用的是优化过的mysql-server,建议用后者,标题写着优化过的,而且是oracle在维护

# 启动mysql镜像
docker run --name=mysql -d --restart=always mysql/mysql-server:5.5  #你可以换自己的版本,这里是5.5

# 产生的随机密码可以看日志,类似于 GENERATED ROOT PASSWORD: Axegh3kAJyDLaRuBemecis&EShOs
docker logs mysql

如果远程连不上,可能是IP限制了,更改IP限制

# 登陆mysql,输入刚才的密码
docker exec -it mysql mysql -uroot -p

# 以下是在mysql中操作
> use mysql;
> update  user set host ='%' where user = 'root'
> flush privileges;
> exit

# 重启mysql容器
docker restart mysql

导入数据

准备要导入的数据库文件,假设为/root/dump.sql (主机中的,不是容器里面的)

# 将数据拷贝到容器里面
docker cp /root/dump.sql mysql:/dump.sql

# 登陆mysql,输入刚才的密码
docker exec -it mysql mysql -uroot -p

# 以下操作在mysql中
> create database my;
> use my;
> set names utf8;
> source /dump.sql;
> exit

优化mysql

# 进入容器编辑my.cnf文件,如果没有vi,可以 【yum install -y vi 】安装
docker exec -it mysql /bin/bash 
vi /etc/my.cnf

以下内容参考秋水的文章

[mysqld]
port = 3306
socket = /tmp/mysql.sock
skip-external-locking
#避免 MySQL 的外部锁定,减少出错几率增强稳定性。

key_buffer_size = 16M
#指定用于索引的缓冲区大小,增加它可得到更好的索引处理性能。16M适用于 512MB内存,对于内存在4GB左右的服务器该参数可设置为256M,依此类推即可。注意:该参数值设置的过大反而会是服务器整体效率降低!

max_allowed_packet = 1M
#MySQL 根据此配置会限制 server 接受的数据包大小。

table_open_cache = 64
#指定表高速缓存的大小。每当MySQL访问一个表时,如果在表缓冲区中还有空间,该表就被打开并放入其中,这样可以更快地访问表内容。注意,不能盲目地把table_open_cache设置成很大的值。如果设置得太高,可能会造成文件描述符不足,从而造成性能不稳定或者连接失败。
64 适用于 512MB 内存,1GB 内存则可以设置成 128,依此类推即可。

sort_buffer_size = 512K
#查询排序时所能使用的缓冲区大小。注意:该参数对应的分配内存是每连接独占,如果有100个连接,那么实际分配的总共排序缓冲区大小为100 × 512K = 50MB。
512K 适用于 512MB 内存,1GB 内存则可以设置成 1M,依此类推即可。

net_buffer_length = 8K
#初始化server 接受的数据包大小,当需要的时候再由 max_allowed_packet 控制增长的大小。注意:该参数值设置的范围只能为1 – 1024K。

read_buffer_size = 256K
#读查询操作所能使用的缓冲区大小。和 sort_buffer_size 一样,该参数对应的分配内存也是每连接独享。
256K 适用于 512MB 内存,1GB 内存则可以设置成 512K,依此类推即可。

read_rnd_buffer_size = 512K
#查询操作多表所能使用的缓冲区大小。设置较大的值可以有效提升 ORDER BY 的性能。和 sort_buffer_size 一样,该参数对应的分配内存也是每连接独享。
512K适用于 512MB 内存,1GB 内存则可以设置成 1M,依此类推即可。

myisam_sort_buffer_size = 8M
#MyISAM 排序所能使用的缓冲区大小。
8M 适用于 512MB 内存,1GB 内存则可以设置成 16M,依此类推即可。

max_connections = 256
#指定MySQL允许的最大连接进程数。如果在访问时经常出现 Too Many Connections 的错误提示,则需要增大该参数值。
注意:该参数默认值为 151,最大可以设置为 100000
这里建议设置成内存的一半,比如 512MB 内存就设置成 256,依此类推。

[写在最后]
我发现所谓的 MySQL 优化大部分都是来自于官方文档的说明。
国内的教程要么是很老的,要么是随处转载的,几乎没有多大参考价值。
没有最优的配置文件,只有适合自己的配置。所以需要结合实际情况,比如内存大小,磁盘 I/O 状况来调整。
LAMP 一键脚本默认的配置(默认是用于 512MB 内存的 VPS),肯定不是适合你的(是适合我的)。
而上面只是列举出几个比较重要的参数,更多的参数请参照官方网站。
Tags:dockermysql优化
上一篇
打赏
下一篇

添加新评论