MySQL中使用流式查询避免数据OOM

作者:zlt2000 时间:2024-01-23 01:23:00 

一、前言

程序访问MySQL数据库时,当查询出来的数据量特别大时,数据库驱动把加载到的数据全部加载到内存里,就有可能会导致内存溢出(OOM)。

其实在MySQL数据库中提供了流式查询,允许把符合条件的数据分批一部分一部分地加载到内存中,可以有效避免OOM;本文主要介绍如何使用流式查询并对比普通查询进行性能测试。

二、JDBC实现流式查询

使用JDBC的PreparedStatement/StatementsetFetchSize方法设置为Integer.MIN_VALUE或者使用方法Statement.enableStreamingResults()可以实现流式查询,在执行ResultSet.next()方法时,会通过数据库连接一条一条的返回,这样也不会大量占用客户端的内存。


public int execute(String sql, boolean isStreamQuery) throws SQLException {
Connection conn = null;
PreparedStatement stmt = null;
ResultSet rs = null;
int count = 0;
try {
 //获取数据库连接
 conn = getConnection();
 if (isStreamQuery) {
  //设置流式查询参数
  stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
  stmt.setFetchSize(Integer.MIN_VALUE);
 } else {
  //普通查询
  stmt = conn.prepareStatement(sql);
 }

//执行查询获取结果
 rs = stmt.executeQuery();
 //遍历结果
 while(rs.next()){
  System.out.println(rs.getString(1));
  count++;
 }
} catch (SQLException e) {
 e.printStackTrace();
} finally {
 close(stmt, rs, conn);
}
return count;
}

「PS」:上面的例子中通过参数isStreamQuery来切换「流式查询」「普通查询」,用于下面做测试对比。

三、性能测试

创建了一张测试表my_test进行测试,总数据量为27w条,分别使用以下4个测试用例进行测试:

  • 大数据量普通查询(27w条)

  • 大数据量流式查询(27w条)

  • 小数据量普通查询(10条)

  • 小数据量流式查询(10条)

3.1. 测试大数据量普通查询


@Test
public void testCommonBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, false);
}

3.1.1. 查询耗时

27w 数据量用时 38 秒

MySQL中使用流式查询避免数据OOM

3.1.2. 内存占用情况

使用将近 1G 内存

MySQL中使用流式查询避免数据OOM

3.2. 测试大数据量流式查询


@Test
public void testStreamBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, true);
}

3.2.1. 查询耗时

27w 数据量用时 37 秒

MySQL中使用流式查询避免数据OOM

3.2.2. 内存占用情况

由于是分批获取,所以内存在30-270m波动

MySQL中使用流式查询避免数据OOM

3.3. 测试小数据量普通查询


@Test
public void testCommonSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, false);
}

3.3.1. 查询耗时

10 条数据量用时 1 秒

MySQL中使用流式查询避免数据OOM

3.4. 测试小数据量流式查询


@Test
public void testStreamSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, true);
}

3.4.1. 查询耗时

10 条数据量用时 1 秒

MySQL中使用流式查询避免数据OOM

四、总结

MySQL 流式查询对于内存占用方面的优化还是比较明显的,但是对于查询速度的影响较小,主要用于解决大数据量查询时的内存占用多的场景。

「DEMO地址」:https://github.com/zlt2000/mysql-stream-query

来源:https://segmentfault.com/a/1190000038792484

标签:MySQL,流式查询
0
投稿

猜你喜欢

  • 分享6 个值得收藏的 Python 代码

    2022-12-31 05:09:57
  • Go语言中的函数详解

    2024-04-25 15:04:35
  • Python读取csv文件分隔符设置方法

    2021-10-22 16:59:47
  • Pycharm 2020年最新激活码(亲测有效)

    2023-07-24 00:42:14
  • 20行Python代码实现视频字符化功能

    2023-01-08 21:17:02
  • Pandas如何对Categorical类型字段数据统计实战案例

    2023-03-01 20:02:26
  • Redis数据库基础与ASP.NET Core缓存实现

    2024-01-26 18:19:09
  • Python中的if判断语句中包含or问题

    2021-12-03 14:30:21
  • 生成Jupyter Lab快捷方式的小技巧

    2022-11-29 11:55:42
  • python获取http请求响应头headers中的数据的示例

    2023-06-30 14:49:02
  • 使用go xorm来操作mysql的方法实例

    2024-01-18 11:56:35
  • Go语言的Channel遍历方法详解

    2023-09-24 07:50:08
  • 增强网站的魅力 网页制作技巧三则

    2007-10-04 10:06:00
  • 详解微信小程序「渲染层网络层错误」的解决方法

    2024-04-22 13:01:23
  • Vue插槽原理与用法详解

    2024-05-09 10:43:09
  • Python中operator模块的操作符使用示例总结

    2023-01-31 12:32:14
  • Centos中安装多个mysql数据的配置实例

    2024-01-21 08:36:02
  • python实现发送邮件

    2021-08-06 04:33:28
  • escape解决AJAX中文乱码的简单方法

    2008-10-23 14:32:00
  • Http与https对比详细介绍

    2022-09-10 05:01:38
  • asp之家 网络编程 m.aspxhome.com