Python 循环读取数据内存不足的解决方案

作者:ON_THE_WAY_FOREVER 时间:2022-02-25 17:32:17 

看代码吧~


import gc
for x in list(locals().keys())[:]:
   del locals()[x]
# del all_s_x, AE, AE_split, x_ticks, split
gc.collect()

补充:Python读取大文件的"坑“与内存占用检测

python读写文件的api都很简单,一不留神就容易踩”坑“。笔者记录一次踩坑历程,并且给了一些总结,希望到大家在使用python的过程之中,能够避免一些可能产生隐患的代码。

1.read()与readlines():

随手搜索python读写文件的教程,很经常看到read()与readlines()这对函数。所以我们会常常看到如下代码:


with open(file_path, 'rb') as f:
   sha1Obj.update(f.read())

or


with open(file_path, 'rb') as f:
   for line in f.readlines():
       print(line)

这对方法在读取小文件时确实不会产生什么异常,但是一旦读取大文件,很容易会产生MemoryError,也就是内存溢出的问题。

Why Memory Error?

我们首先来看看这两个方法:

当默认参数size=-1时,read方法会读取直到EOF,当文件大小大于可用内存时,自然会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

同样的,readlines会构造一个list。list而不是iter,所以所有的内容都会保存在内存之上,同样也会发生内存溢出的错误。

Python 循环读取数据内存不足的解决方案

2.正确的用法:

在实际运行的系统之中如果写出上述代码是十分危险的,这种”坑“十分隐蔽。所以接下来我们来了解一下正确用,正确的用法也很简单,依照API之中对函数的描述来进行对应的编码就OK了:

如果是二进制文件推荐用如下这种写法,可以自己指定缓冲区有多少byte。显然缓冲区越大,读取速度越快。


with open(file_path, 'rb') as f:
   while True:
       buf = f.read(1024)
       if buf:    
           sha1Obj.update(buf)
       else:
           break

而如果是文本文件,则可以用readline方法或直接迭代文件(python这里封装了一个语法糖,二者的内生逻辑一致,不过显然迭代文件的写法更pythonic )每次读取一行,效率是比较低的。笔者简单测试了一下,在3G文件之下,大概性能和前者差了20%.


with open(file_path, 'rb') as f:
   while True:
       line = f.readline()
       if buf:    
           print(line)
       else:
           break
with open(file_path, 'rb') as f:
   for line in f:
       print(line)

3.内存检测工具的介绍:

对于python代码的内存占用问题,对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。


memory_profiler

首先先用pip安装memory_profiler


pip install memory_profiler

memory_profiler是利用python的装饰器工作的,所以我们需要在进行测试的函数上添加装饰器。


from hashlib import sha1
import sys
@profile
def my_func():
   sha1Obj = sha1()
   with open(sys.argv[1], 'rb') as f:
       while True:
           buf = f.read(10 * 1024 * 1024)
           if buf:
               sha1Obj.update(buf)
           else:
               break
   print(sha1Obj.hexdigest())
if __name__ == '__main__':
   my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

Python 循环读取数据内存不足的解决方案

guppy

依样画葫芦,仍然是通过pip先安装guppy


pip install guppy

之后可以在代码之中利用guppy直接打印出对应各种python类型(list、tuple、dict等)分别创建了多少对象,占用了多少内存。


from guppy import hpy
import sys
def my_func():
   mem = hpy()
   with open(sys.argv[1], 'rb') as f:
       while True:
           buf = f.read(10 * 1024 * 1024)
           if buf:
               print(mem.heap())
           else:
               break

如下图所示,可以看到打印出对应的内存占用数据:

Python 循环读取数据内存不足的解决方案

通过上述两种工具guppy与memory_profiler可以很好地来监控python代码运行时的内存占用问题。

4.小结:

python是一门崇尚简洁的语言,但是正是因为它的简洁反而更多了许多需要仔细推敲和思考的细节。希望大家在日常工作与学习之中也能多对一些细节进行总结,少踩一些不必要的“坑”。

来源:https://blog.csdn.net/weixin_41888257/article/details/107919638

标签:Python,读取,数据,内存不足
0
投稿

猜你喜欢

  • 利用Python编写一个闹钟,治好你的拖延症

    2021-11-15 12:06:48
  • 面向对象设计过程中必须遵守的相关准则

    2009-01-08 15:52:00
  • python验证码识别教程之滑动验证码

    2023-12-24 00:19:59
  • Python实现视频目标检测与轨迹跟踪流程详解

    2021-12-27 06:48:37
  • JS实现点击li标签弹出对应的索引功能【案例】

    2024-04-17 10:24:23
  • 用python实现PDF解密打印文件

    2022-01-01 03:53:44
  • [Oracle] CPU/PSU补丁安装详细教程

    2024-01-27 22:17:52
  • ASP Session对象的集合以及属性方法事件

    2009-02-02 09:26:00
  • javascript自动生成包含数字与字符的随机字符串

    2024-04-17 09:45:29
  • python环境路径配置以及命令行运行脚本

    2023-09-19 21:19:05
  • Django Channel实时推送与聊天的示例代码

    2021-08-14 13:33:58
  • Spring+Mybatis+Mysql搭建分布式数据库访问框架的方法

    2024-01-19 07:46:18
  • 浅谈vue项目可以从哪些方面进行优化

    2024-05-09 15:19:50
  • Python深度学习之实现卷积神经网络

    2021-08-11 01:57:01
  • python flask框架详解

    2023-07-20 02:54:52
  • MacOS中 VSCode 安装 GO 插件失败问题的快速解决方法

    2023-06-18 02:32:32
  • 解决Building wheel for wrapt (setup.py) ... error的问题

    2023-09-25 22:24:17
  • python特效之字符成像详解

    2021-06-07 02:18:45
  • Python 实现图像特效中的油画效果

    2021-04-10 18:29:49
  • 如何做一个只搜索本网站的引擎?

    2010-07-12 19:02:00
  • asp之家 网络编程 m.aspxhome.com