简单了解Python读取大文件代码实例
作者:沉默的赌徒 时间:2022-10-23 11:46:19
这篇文章主要介绍了简单了解Python读取大文件代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
通常对于大文件读取及处理,不可能直接加载到内存中,因此进行分批次小量读取及处理
I、第一种读取方式
一行一行的读取,速度较慢
def read_line(path):
with open(path, 'r', encoding='utf-8') as fout:
line = fout.readline()
while line:
line = fout.readline()
print(line)
II、第二种读取方式
设置每次读取大小,从而完成多行快速读取
def read_size(path):
with open(path, "r", encoding='utf-8') as fout:
while 1:
buffer = fout.read(8 * 1024 * 1024)
if not buffer:
break
print(buffer)
III、第三种读取方式
使用itertools模块,islice返回的是一个生成器,可以用list格式化
from itertools import islice
def read_itertools(path):
with open(path, 'r', encoding='utf-8') as fout:
list_gen = islice(fout, 0, 5) # 两个参数分别表示开始行和结束行
for line in list_gen:
print(line)
完成
来源:https://www.cnblogs.com/gambler/p/12057498.html
标签:Python,读取,大文件
0
投稿
猜你喜欢
python结合shell查询google关键词排名的实现代码
2023-10-11 21:28:47
Python利用 SVM 算法实现识别手写数字
2023-04-17 10:33:58
Python unittest装饰器实现原理及代码
2022-05-06 22:33:49
Python函数默认参数设置的具体方法
2021-03-13 08:19:07
python实现指定文件夹下的指定文件移动到指定位置
2023-07-03 08:21:11
Oracle 添加用户并赋权,修改密码,解锁,删除用户的方法
2009-10-14 11:37:00
plsql与tsql的语法不同
2009-09-13 17:33:00
centos6.7 安装python2.7、pip2.7、easy_install-2.7的方法
2021-02-06 09:20:35
Javascript操作表单之间的数据传递
2007-10-25 12:58:00
Python实现图片查找轮廓、多边形拟合、最小外接矩形代码
2021-03-27 05:34:56
用 iframe 解决下拉框与层之冲突
2008-04-28 12:24:00
在Pycharm中设置默认自动换行的方法
2022-09-10 04:29:00
调试PHP程序的多种方法介绍
2024-06-05 09:48:51
Python中强大的命令行库click入门教程
2023-05-01 04:24:09
Python 实现try重新执行
2022-12-21 03:17:19
管理员必读10个重要MySQL客户启动选项
2008-06-07 16:57:00
go语言分布式id生成器及分布式锁介绍
2024-01-30 21:20:43
Python人工智能之混合高斯模型运动目标检测详解分析
2021-11-01 21:28:43
python3.x 生成3维随机数组实例
2021-04-11 04:02:43
python获取磁盘号下盘符步骤详解
2022-10-05 08:32:32