pandas string转dataframe的方法
作者:小煤矿屁 时间:2021-08-15 14:47:04
今天业务上碰到用pandas处理一个大文件的内存不够问题,需要做concat 合并多个文件,每个文件数据在1.4亿行左右。当时第一反应是把dataframe分割成多块小文件处理,后面发现即使pandas内存问题解决了,用pickle做保存数据时也会提升内存不够的报错,后来把dataframe对象转化成string,发现内存占用减少了近一半。
所以打算用先转成string再dump到离线文件里,官网文档上只有to_string的说明,而从string转dataframe却没有提供直接的函数。
其实很简单,我们可以把string放到一个文件对象里,然后通过read_csv函数来创建dataframe对象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
来源:https://blog.csdn.net/u014252563/article/details/70148015
标签:pandas,string,dataframe
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python tkinter三种布局实例详解
2022-11-28 11:23:44
![](https://img.aspxhome.com/file/2023/7/86417_0s.jpg)
判断数据库里存在的BIG5码
2009-04-09 18:31:00
Python 判断奇数偶数的方法
2023-03-03 18:16:31
python字符串常用方法
2023-05-29 13:54:15
Python用zip函数同时遍历多个迭代器示例详解
2023-09-28 06:09:41
Python random库使用方法及异常处理方案
2023-10-07 13:43:46
![](https://img.aspxhome.com/file/2023/1/82701_0s.jpg)
python3 cookbook中常遇问题解答
2022-09-07 09:07:05
sqlserver 查询数据库大小的方法
2012-08-21 10:22:10
3个比较好用的asp检查函数
2007-09-24 13:25:00
Python学习之面向对象编程详解
2023-10-12 18:48:46
在python中使用[[v]*n]*n遇到的坑及解决
2022-02-03 10:31:35
![](https://img.aspxhome.com/file/2023/5/89315_0s.png)
深入浅析Pytorch中stack()方法
2021-12-26 01:40:08
![](https://img.aspxhome.com/file/2023/5/80475_0s.png)
Python轻松破解加密压缩包教程详解
2021-04-12 13:26:45
![](https://img.aspxhome.com/file/2023/3/71393_0s.png)
python TCP Socket的粘包和分包的处理详解
2021-06-14 16:49:50
![](https://img.aspxhome.com/file/2023/7/86587_0s.png)
PHP编程文件处理类SplFileObject和SplFileInfo用法实例分析
2023-11-17 00:16:13
详谈tensorflow gfile文件的用法
2021-01-30 20:10:23
![](https://img.aspxhome.com/file/2023/5/109985_0s.png)
Python代码块批量添加Tab缩进的方法
2022-10-10 16:41:39
Python清空文件并替换内容的实例
2023-03-22 04:09:43
Python 硬币兑换问题
2022-04-03 06:30:09
保存透明gif时出现锯齿解决法
2008-06-26 18:10:00
![](https://img.aspxhome.com/file/UploadPic/20086/26/2008626181821662s.gif)