通过Pandas读取大文件的实例
作者:痞靥 时间:2023-12-25 21:18:31
当数据文件过大时,由于计算机内存有限,需要对大文件进行分块读取:
import pandas as pd
f = open('E:/学习相关/Python/数据样例/用户侧数据/test数据.csv')
reader = pd.read_csv(f, sep=',', iterator=True)
loop = True
chunkSize = 100000
chunks = []
while loop:
try:
chunk = reader.get_chunk(chunkSize)
chunks.append(chunk)
except StopIteration:
loop = False
print("Iteration is stopped.")
df = pd.concat(chunks, ignore_index=True)
print(df)
read_csv()函数的iterator参数等于True时,表示返回一个TextParser以便逐块读取文件;
chunkSize表示文件块的大小,用于迭代;
TextParser类的get_chunk方法用于读取任意大小的文件块;
StopIteration的异常表示在循环对象穷尽所有元素时报错;
concat()函数用于将数据做轴向连接:
pd.concat(objs, axis=0, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, Verify_integrity=False)
常用参数:
objs:Series,DataFrame或者是Panel构成的序列list;
axis:需要合并连接的轴,0是行,1是列;
join:连接的参数,inner或outer;
ignore=True表示重建索引。
来源:https://blog.csdn.net/u012347642/article/details/78555132
标签:Pandas,读取,文件
0
投稿
猜你喜欢
Python学习笔记之Break和Continue用法分析
2023-02-12 04:55:32
JS实现弹出下载对话框及常见文件类型的下载
2024-04-23 09:07:05
Python统计学一数据的概括性度量详解
2022-08-16 03:18:20
详解用python实现基本的学生管理系统(文件存储版)(python3)
2021-10-08 18:26:29
Golang中HTTP服务的分析与设计详解
2024-05-25 15:12:57
Flask URL传参与视图映射的实现方法
2021-05-10 12:31:06
XHTML中用途相似的标签
2008-03-24 19:33:00
centos7利用yum安装lnmp的教程(linux+nginx+php7.1+mysql5.7)
2023-11-14 11:40:18
python利用opencv如何实现答题卡自动判卷
2021-05-07 12:13:41
python中argparse模块用法实例详解
2022-01-09 23:34:40
linux下指定mysql数据库服务器主从同步的配置实例
2024-01-20 01:16:05
Python实战之markdown转pdf(包含公式转换)
2023-11-24 12:39:34
Golang切片删除指定元素的三种方法对比
2024-02-16 00:14:21
在python中的socket模块使用代理实例
2023-09-02 13:41:30
使用Pytorch实现two-head(多输出)模型的操作
2023-08-20 07:00:05
使用 use re debug 查看正则表达式的匹配过程
2022-05-03 01:00:59
Python函数用法和底层原理分析
2023-09-13 23:42:37
mysql登录遇到ERROR 1045问题解决方法
2024-01-22 15:09:57
MySQL 5.0默认100连接数的修改
2008-11-05 13:34:00
python中get和post有什么区别
2022-04-17 16:45:15