mysql 大表批量删除大量数据的实现方法
作者:干货满满张哈希 时间:2024-01-22 10:28:34
问题参考自:https://www.zhihu.com/question/440066129/answer/1685329456 ,mysql中,一张表里有3亿数据,未分表,其中一个字段是企业类型,企业类型是一般企业和个体户,个体户的数据量差不多占50%,根据条件把个体户的行都删掉。请问如何操作?答案为个人原创
假设表的引擎是 Innodb, MySQL 5.7+
删除一条记录,首先锁住这条记录,数据原有的被废弃,记录头发生变化,主要是打上了删除标记。也就是原有的数据 deleted_flag 变成 1,代表数据被删除。但是数据没有被清空,在新一行数据大小小于这一行的时候,可能会占用这一行。这样其实就是存储碎片。
之后,相关数据的索引需要更新,清除这些数据。并且,会产生对应的 binlog 与 redolog 日志。
如果 delete 的数据是大量的数据,则会:
如果不加 limit 则会由于需要更新大量数据,从而索引失效变成全扫描导致锁表,同时由于修改大量的索引,产生大量的日志,导致这个更新会有很长时间,锁表锁很长时间,期间这个表无法处理线上业务。
由于产生了大量 binlog 导致主从同步压力变大
由于标记删除产生了大量的存储碎片。由于 MySQL 是按页加载数据,这些存储碎片不仅大量增加了随机读取的次数,并且让页命中率降低,导致页交换增多。
由于产生了大量日志,我们可以看到这张表的占用空间大大增高。
解决方案
我们很容易想到,在 delete 后加上 limit 限制控制其数量,这个数量让他会走索引,从而不会锁整个表。
但是,存储碎片,主从同步,占用空间的问题并没有解决。可以在删除完成后,通过如下语句,重建表:
alter table 你的表 engine=InnoDB, ALGORITHM=INPLACE, LOCK=NONE;
注意这句话其实就是重建你的表,虽然你的表的引擎已经是 innodb 了,加上后面的, ALGORITHM=INPLACE, LOCK=NONE 可以不用锁表就重建表。
还有一种方案是,新建一张同样结构的表,在原有表上加上触发器:
create trigger person_trigger_update AFTER UPDATE on 原有表 for each row
begin set @x = "trigger UPDATE";
Replace into 新表 SELECT * from 原有表 where 新表.id = 原有表.id;
END IF;
end;
这样可以保证线上业务有新数据会同步。之后,将所有企业类型的数据,插入新表,同时如果已存在则证明发生了更新同步就不插入。个体户数据由于业务变化,并不在这个表上更新,所以这样通过了无表锁同步实现了大表的数据清理
来源:https://blog.csdn.net/zhxdick/article/details/112798605
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python实现数据分析与建模
php 模拟get_headers函数的代码示例
keras实现VGG16 CIFAR10数据集方式
![](https://img.aspxhome.com/file/2023/4/103664_0s.jpg)
Python字符串、整数、和浮点型数相互转换实例
如何在sae中设置django,让sae的工作环境跟本地python环境一致
python通过opencv调用摄像头操作实例分析
WebSocket部署到服务器出现连接失败问题的分析与解决
![](https://img.aspxhome.com/file/2023/1/117511_0s.png)
python面向对象 反射原理解析
教你如何用Python实现人脸识别(含源代码)
![](https://img.aspxhome.com/file/2023/6/104396_0s.jpg)
python中的编码和解码及\\x和\\u问题
PyQt5+Pycharm安装和配置图文教程详解
![](https://img.aspxhome.com/file/2023/0/100880_0s.jpg)
深度剖析Golang中的数组,字符串和切片
BootStrap 轮播插件(carousel)支持左右手势滑动的方法(三种)
python http服务flask架构实用代码详解分析
![](https://img.aspxhome.com/file/2023/2/135092_0s.png)
Golang中HttpRouter路由的使用详解
总结Python编程中函数的使用要点
关于vue3默认把所有onSomething当作v-on事件绑定的思考
windows下Mysql多实例部署的操作方法
sqlserver数据库优化解析(图文剖析)
![](https://img.aspxhome.com/file/2023/8/98008_0s.jpg)