对python中大文件的导入与导出方法详解
作者:pw007992 时间:2021-02-11 12:32:47
1、csv文件的导入和导出
通过一个矩阵导出为csv文件,将csv文件导入为矩阵
将csv文件导入到一个矩阵中
import numpy
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)
将矩阵导出到本地csv中
numpy.savetxt('new.csv', my_matrix, delimiter = ',')
未完待续。。。
也可以使用pickle模块,保存的文件是序列化的
python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去,永久存储;通过pickle模块的反序列化操作,我们能够从文件中创建上一次程序保存的对象。
pickle.dump(obj, file, [,protocol])
注解:将对象obj保存到文件file中去。
protocol为序列化使用的协议版本,0:ASCII协议,所序列化的对象使用可打印的ASCII码表示;1:老式的二进制协议;2:2.3版本引入的新二进制协议,较以前的更高效。其中协议0和1兼容老版本的python。protocol默认值为0。
file:对象保存到的类文件对象。file必须有write()接口, file可以是一个以'w'方式打开的文件或者一个StringIO对象或者其他任何实现write()接口的对象。如果protocol>=1,文件对象需要是二进制模式打开的。
pickle.load(file)
注解:从file中读取一个字符串,并将它重构为原来的python对象。
file:类文件对象,有read()和readline()接口。
保存数据
tmpdatapath = "E:\\data\\u_i_matrix.csv"
savefp = open(tmpdatapath,"w")
pickle.dump(u_i_mat,savefp)
savefp.close();
导入数据
fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()
追加:将内容通过print输入到文件中
str=”a string to print to file”
f=open(‘out.txt','w')
print >>f,str
f.close()
来源:https://blog.csdn.net/qq_26593881/article/details/53120837
标签:python,大文件,导入,导出
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
六个实用Pandas数据处理代码
2023-03-01 05:29:00
Python+Selenium实现一键摸鱼&采集数据
2021-08-22 01:05:41
![](https://img.aspxhome.com/file/2023/2/92482_0s.gif)
Python检查ping终端的方法
2023-04-16 07:03:37
在Python的Bottle框架中使用微信API的示例
2022-06-02 00:12:47
![](https://img.aspxhome.com/file/2023/8/105808_0s.jpg)
pytorch下tensorboard的使用程序示例
2021-10-27 01:01:16
![](https://img.aspxhome.com/file/2023/4/121014_0s.jpg)
PHP与MySQL开发中页面乱码的产生与解决
2023-10-03 04:10:08
Python Decorator装饰器的创建方法及常用场景分析
2022-05-05 03:34:11
Python日期操作学习笔记
2021-07-27 21:15:21
python实现中文转换url编码的方法
2021-05-26 08:46:57
python+pyqt实现右下角弹出框
2023-09-07 16:04:22
![](https://img.aspxhome.com/file/2023/7/120997_0s.jpg)
pandas学习之txt与sql文件的基本操作指南
2022-08-03 18:57:50
![](https://img.aspxhome.com/file/2023/8/86408_0s.png)
使用 iframe 获取网页片段的一个好处
2008-12-01 12:37:00
Python如何使用神经网络进行简单文本分类
2022-05-10 00:45:26
![](https://img.aspxhome.com/file/2023/5/67755_0s.jpg)
浅谈ThinkPHP5.0版本和ThinkPHP3.2版本的区别
2023-09-09 23:41:04
python实现定时压缩指定文件夹发送邮件
2022-06-02 19:32:36
JavaScript学习心得之如何走出初学困境
2008-12-24 13:30:00
python 实现删除文件或文件夹实例详解
2021-03-23 03:16:37
Python异常继承关系和自定义异常实现代码实例
2023-06-22 07:34:44
python做量化投资系列之比特币初始配置
2021-06-28 06:01:31
清除浮动新说
2009-12-25 18:49:00
![](https://img.aspxhome.com/file/UploadPic/20101/11/overflow-type-58s.png)