MySQL limit使用方法以及超大分页问题解决

作者:呼延十 时间:2024-01-24 21:46:56 

前言

日常开发中,我们使用mysql来实现分页功能的时候,总是会用到mysql的limit语法.而怎么使用却很有讲究的,今天来总结一下.

limit语法

limit语法支持两个参数,offset和limit,前者表示偏移量,后者表示取前limit条数据.

例如:


## 返回符合条件的前10条语句
select * from user limit 10

## 返回符合条件的第11-20条数据
select * from user limit 10,20

从上面也可以看出来,limit n 等价于limit 0,n.

性能分析

实际使用中我们会发现,在分页的后面一些页,加载会变慢,也就是说:


select * from user limit 1000000,10

语句执行较慢.那么我们首先来测试一下.

首先是在offset较小的情况下拿100条数据.(数据总量为200左右).然后逐渐增大offset.


select * from user limit 0,100 ---------耗时0.03s
select * from user limit 10000,100 ---------耗时0.05s
select * from user limit 100000,100 ---------耗时0.13s
select * from user limit 500000,100 ---------耗时0.23s
select * from user limit 1000000,100 ---------耗时0.50s
select * from user limit 1800000,100 ---------耗时0.98s

可以看到随着offset的增大,性能越来越差.

这是为什么呢?因为limit 10000,10的语法实际上是mysql查找到前10010条数据,之后丢弃前面的10000行,这个步骤其实是浪费掉的.

优化

用id优化

先找到上次分页的最大ID,然后利用id上的索引来查询,类似于select * from user where id>1000000 limit 100.
这样的效率非常快,因为主键上是有索引的,但是这样有个缺点,就是ID必须是连续的,并且查询不能有where语句,因为where语句会造成过滤数据.

用覆盖索引优化

mysql的查询完全命中索引的时候,称为覆盖索引,是非常快的,因为查询只需要在索引上进行查找,之后可以直接返回,而不用再回数据表拿数据.因此我们可以先查出索引的ID,然后根据Id拿数据.


select * from (select id from job limit 1000000,100) a left join job b on a.id = b.id;

耗时0.2秒.

总结

用mysql做大量数据的分页确实是有难度,但是也有一些方法可以进行优化,需要结合业务场景多进行测试.
当用户翻到10000页的时候,不如我们直接返回空好了,这么无聊的吗...

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对脚本之家的支持。

来源:https://juejin.im/post/5db658faf265da4d500f8386

标签:mysql,limit,分页
0
投稿

猜你喜欢

  • 在Django的URLconf中使用命名组的方法

    2021-05-30 06:20:15
  • Python实现人脸识别并进行视频跟踪打码

    2022-08-04 22:57:25
  • 浅谈Python大神都是这样处理XML文件的

    2021-09-20 22:40:42
  • Python+selenium 获取浏览器窗口坐标、句柄的方法

    2023-03-21 16:21:52
  • WEB2.0网页制作标准教程(5)head区的其他设置

    2007-11-13 13:28:00
  • 利用python实现xml与数据库读取转换的方法

    2024-01-23 06:27:51
  • QT连接Oracle数据库并实现登录验证的操作步骤

    2024-01-27 13:06:44
  • python使用Turtle库画画写名字

    2023-12-03 03:58:38
  • 基于Python实现电影售票系统

    2021-02-21 16:26:05
  • Oracle数据库游标使用大全

    2008-03-04 18:24:00
  • TensorFlow2.4完成Word2vec词嵌入训练方法详解

    2023-10-17 03:23:14
  • Python配置mysql的教程(推荐)

    2024-01-21 00:40:19
  • Python爬虫获取op.gg英雄联盟英雄对位胜率的源码

    2024-01-02 13:03:52
  • oracle查看被锁的表和被锁的进程以及杀掉这个进程

    2024-01-15 12:04:15
  • MySQL性能优化的最佳20+条经验

    2024-01-27 15:25:06
  • 浅析Python是如何实现集合的

    2022-05-16 03:38:58
  • python TCP Socket的粘包和分包的处理详解

    2021-06-14 16:49:50
  • Python flask与fastapi性能测试方法介绍

    2022-12-07 00:10:17
  • php中设置index.php文件为只读的方法

    2023-11-17 20:13:54
  • Elasticsearch的删除映射类型操作示例

    2022-05-03 09:46:50
  • asp之家 网络编程 m.aspxhome.com