利用pandas向一个csv文件追加写入数据的实现示例
作者:数据之美ya 时间:2022-04-09 14:51:56
我们越来越多的使用pandas进行数据处理,有时需要向一个已经存在的csv文件写入数据,传统的方法之前我也有些过,向txt,excel文件写入数据,传送门:Python将二维列表(list)的数据输出(TXT,Excel)
pandas to_csv()
只能在新文件写数据?当然不是!
pandas to_csv() 是可以向已经存在的具有相同结构的csv文件增加dataframe数据。
df.to_csv('my_csv.csv', mode='a', header=False)
to_csv()方法mode默认为w,我们加上mode='a',便可以追加写入数据。
pandas读写文件,处理数据的效率太高了,所以我们尽量使用pandas的进行输出。
下面让我们来看一下示例
# -*- coding:utf-8 -*-
import os
import time
import pandas as pd
from multiprocessing import Pool
def merge(filename):
return pd.read_csv('./fun_data/'+filename)
if __name__ == "__main__":
file_list = os.listdir('./fun_data')
e1 = time.time()
pool = Pool(20)
result = pool.map(merge,file_list)
pool.close()
pool.join()
e2 = time.time()
print(e2 - e1)
for i in result:
i.to_csv('./static.csv',mode='a',encoding='utf-8',header=False,index=False)
e3 = time.time()
print(e3-e2)
来源:https://blog.csdn.net/weixin_41888503/article/details/81205203
标签:pandas,csv,追加写入
0
投稿
猜你喜欢
Python中np.argmax()函数用法示例
2021-06-17 23:47:09
安装并免费使用Pycharm专业版(学生/教师)
2023-09-27 08:14:13
通过自学python能找到工作吗
2021-07-24 04:26:33
python+selenium+chromedriver实现爬虫示例代码
2021-03-05 02:53:23
Gradio机器学习模型快速部署工具接口状态
2023-08-11 13:36:27
python中Requests发送json格式的post请求方法
2021-05-24 10:09:45
Python 字符串与数字输出方法
2021-09-01 09:01:59
Python简洁优雅的推导式示例详解
2022-06-26 11:52:20
python io.BytesIO简介及示例代码
2021-04-25 04:52:31
python实现的汉诺塔算法示例
2023-09-21 11:28:17
使用Python3 poplib模块删除服务器多天前的邮件实现代码
2023-05-08 08:21:54
python实现比较两段文本不同之处的方法
2021-01-29 17:53:43
jQuery 横向滚动图片
2009-03-11 13:09:00
python用plotly实现绘制局部放大图
2021-06-13 06:30:44
Python 如何在字符串中插入变量
2023-02-16 11:06:27
django Serializer序列化使用方法详解
2022-07-17 12:42:24
Python hashlib模块加密过程解析
2021-09-08 13:29:25
python tensorflow学习之识别单张图片的实现的示例
2023-06-30 21:11:32
windows下python和pip安装教程
2022-04-07 13:00:44
asp如何在本地机器上创建缓存?
2010-06-18 19:27:00