python批量读取txt文件为DataFrame的方法
作者:MUSK1881 时间:2021-09-29 12:04:21
我们有时候会批量处理同一个文件夹下的文件,并且希望读取到一个文件里面便于我们计算操作。比方我有下图一系列的txt文件,我该如何把它们写入一个txt文件中并且读取为DataFrame格式呢?
首先我们要用到glob模块,这个python内置的模块可以说是非常的好用。
glob.glob('*.txt')
得到如下结果:
all.txt是我最后得到的结果文件。可以见返回的是一个包含txt文件名称的列表,当然如果你的文件夹下面只有txt文件,那么你用os.listdir()可以得到一个一样的列表
然后读取的时候只要注意txt文件的编码格式(可以用notepad++打开记事本查看)和间隔符的形式就好了,完整的代码如下:
import os
import pandas
import codecs
import glob
import pandas as pd
os.getcwd()
os.chdir('D:\AAAASXQ\python study\data preprocessing')
def txtcombine():
files = glob.glob('*.txt')
all = codecs.open('all.txt','a')
for filename in flist:
print(filename)
fopen=codecs.open(filename,'r',encoding='utf-8')
lines=[]
lines=fopen.readlines()
fopen.close()
i=0
for line in lines:
for x in line:
all.write(x)
#读取为DataFrame格式
all1 = pd.read_csv('all.txt',sep=' ',encoding='GB2312')
#保存为csv格式
all1.to_csv('all.csv',encoding='GB2312')
if __name__ == '__main__':
txtcombine()
来源:https://blog.csdn.net/m0_37324740/article/details/78040749
标签:python,批量,读取,txt,DataFrame
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
GO语言利用K近邻算法实现小说鉴黄
2023-06-21 17:15:25
一个较复杂的字符串截取函数
2009-11-02 10:45:00
Shellcode加密解密函数
2009-04-24 11:18:00
关于JS中的事件--Event对象
2008-03-16 14:22:00
javascript表单验证和Window详解
2023-07-14 02:14:38
一个css垂直水平居中布局,css效果
2008-11-03 11:40:00
MySQL分区的功能和限制讲解
2010-10-14 14:03:00
asp.net 将一个图片以二进制值的形式存入Xml文件中的实例代码
2023-07-23 13:31:30
pytorch 如何把图像数据集进行划分成train,test和val
2023-12-26 15:28:10
![](https://img.aspxhome.com/file/2023/4/72124_0s.png)
XMLHTTP获取web造访头信息和网页代码
2010-04-01 14:37:00
python爬虫基础之urllib的使用
2022-02-10 19:01:18
python3利用Dlib19.7实现人脸68个特征点标定
2021-05-05 19:13:06
![](https://img.aspxhome.com/file/2023/4/76034_0s.jpg)
网站LOGO设计规范的思考--2.网络LOGO的设计
2007-10-14 11:02:00
python的urllib模块显示下载进度示例
2023-06-13 17:06:31
基于Python实现对比Exce的工具
2022-12-04 17:44:44
![](https://img.aspxhome.com/file/2023/4/70894_0s.png)
61条面向对象设计的经验原则
2008-05-08 13:05:00
DataReader深入解析:持续更新
2023-07-11 06:24:08
SQL Server 2008中的MERGE(不仅仅是合并)
2010-10-15 14:16:00
字符,字节和编码
2009-12-09 15:59:00
![](https://img.aspxhome.com/file/UploadPic/200912/9/spacer-36s.gif)
Java操作MongoDB数据库示例分享
2023-06-30 11:25:03