python读取大文件越来越慢的原因与解决

作者:hank-yan 时间:2022-07-23 08:35:28 

背景:

今天同事写代码,用python读取一个四五百兆的文件,然后做一串逻辑上很直观的处理。结果处理了一天还没有出来结果。问题出在哪里呢?

解决:

1. 同事打印了在不同时间点的时间,在需要的地方插入如下代码:


print time.strftime('%Y-%m-%d %H:%M:%S',time.localtime(time.time()))

发现一个规律,执行速度到后面时间越来越长,也就是处理速度越来越慢。

2. 为什么会越来越慢呢?

1)可能原因1,GC 的问题,有篇文章里面写,python list append 的时候会越来越慢,解决方案是禁止GC:

使用 gc.disable()和gc.enable()

 2)改完上面,仍然不行,然后看到一篇文章里面写,可能是因为 git 导致的,因为append 的时候 git 会不断同步,会出问题,于是删除 .git 文件夹,结果还是不行。

3)继续查询,发下一个及其有可能出问题的地方。dict 的 in dict.key(),判断 key 是否在 dict 里面,这个的效率是非常低的。看到一篇文章比较了效率:

          ① 使用  in dict.keys() 效率:

python读取大文件越来越慢的原因与解决

          ② 使用 has_key()  效率:

python读取大文件越来越慢的原因与解决

发现 has_key() 效率比较稳定。于是修改,问题解决。

后话:

最初的时候,的确是使用 has_key(), 结果后面上传代码的时候,公司代码检查过不了,提示不能使用这个函数,只能改成 in dict.key() 这种方式,为什么公司不让这么传呢?经过一番百度,发现原因所在:在 python3 中,直接将 has_key() 函数给删除了,所以禁止使用。那禁止了该怎么办呢?原来 python 中 in 很智能,能自动判断 key 是否在字典中存在。所以最正规的做法不是 has_key(),   更不是 in dict.keys(), 而是 in dict.  判断 key 在 map 中,千万别用 in dict.keys() !!!

附录:

in、 in dict.keys()、 has_key() 方法实战对比:


>>> a = {'name':"tom", 'age':10, 'Tel':110}
>>> a
{'age': 10, 'Tel': 110, 'name': 'tom'}
>>> print 'age' in a
True
>>> print 'age' in a.keys()
True
>>>
>>> print a.has_key("age")
True

总结

参考资料:

https://www.douban.com/group/topic/44472300/

http://www.it1352.com/225441.html

https://www.jb51.net/article/145424.htm

来源:https://www.cnblogs.com/hank-yan/p/8660162.html

标签:python,大文件,读取
0
投稿

猜你喜欢

  • 使用Python操作PDF文件

    2022-01-01 06:15:12
  • python实现txt文件格式转换为arff格式

    2022-05-11 16:06:06
  • 合并ThinkPHP配置文件以消除代码冗余的实现方法

    2023-11-21 11:54:31
  • python实现弹窗祝福效果

    2021-09-08 04:22:15
  • Numpy 理解ndarray对象的示例代码

    2023-07-17 00:56:20
  • python同义词替换的实现(jieba分词)

    2022-02-10 20:58:00
  • python新手练习实例之万年历

    2021-01-29 02:20:35
  • Python中pygal绘制雷达图代码分享

    2023-09-27 10:03:59
  • C#中使用SQLite数据库的方法介绍

    2024-01-26 00:31:49
  • 为什么在MySQL中不建议使用UTF-8

    2024-01-25 17:53:29
  • javascript如何实现360度全景照片问题汇总

    2024-04-10 10:43:38
  • Python使用configparser读取ini配置文件

    2023-11-02 04:48:22
  • 详解mysql数据库中文乱码问题

    2024-01-23 05:34:56
  • 使用Dreamweaver MX表格排序功能

    2010-07-13 12:08:00
  • Oracle 数据库中创建合理的数据库索引

    2024-01-24 12:37:05
  • 在Python中通过threading模块定义和调用线程的方法

    2022-03-08 23:23:49
  • mysql中循环截取用户信息并插入到目标表对应的字段中

    2024-01-23 21:42:51
  • python实现播放音频和录音功能示例代码

    2023-08-20 23:23:15
  • 详解Python模块化编程与装饰器

    2023-06-30 19:49:07
  • Python loguru日志库之高效输出控制台日志和日志记录

    2023-07-20 04:15:04
  • asp之家 网络编程 m.aspxhome.com