pandas处理csv文件的方法步骤
作者:南淮北安 时间:2022-05-31 10:51:04
一、我的需求
对于这样的一个 csv 表,需要将其
(1)将营业部名称和日期和股票代码进行拼接
(2)对于除了买入金额不同的的数据需要将它们的买入金额相加,每个买入金额乘以买卖序号的符号表示该营业名称对应的买入金额
比如:xx公司,20190731,1,股票1,4000,C20201010,xxxx
我这里想要的结果是:xx公司2019713C20201010,4000
二、代码
(1)首先由于文件是 gbk,所以读取是需要注意 encoding
(2)日期是int类型,所以需要转化为 字符串
import pandas as pd
import numpy as np
#读取数据
filename = "test.csv"
# 读取 excel 表,根据文件的编码指定编码方式
data = pd.read_csv(filename, encoding='gbk')
# 将所有内容转为字符串
# data = data.applymap(str)
# 将日期这一列转为字符串
data['日期'] = data['日期'].apply(str)
# print(data.loc[0,'营业部名称'])
# print(data.loc[0,'日期'])
# print(data.loc[0,'股票代码'])
# print(data.loc[0,'买卖序号'])
# print(data.loc[0,'买入金额'])
# 拼接:营业部名称+日期+股票代码
data['name_date_code'] = data['营业部名称'] + data['日期'] + data['股票代码']
# 取"买卖序号"的符号和买入金额相乘
# np.sign 获取序号对应的符号
data['buy'] = np.sign(data['买卖序号']) * data['买入金额']
data = data.drop(['营业部名称', '日期', '买卖序号', '股票名', '买入金额', '股票代码', 'data_stock'], axis=1)
# 将 name_date_code 相同的行,金额相加
buy_sum = data.groupby('name_date_code')['buy'].sum()
# 将相加的金额加入数据data,缺失数据用0填充
data['buy_sum'] = data.loc[:, 'name_date_code'].map(buy_sum).fillna(0)
# 将买入金额删掉,只剩下两列数据
data = data.drop(['buy'], axis=1)
# 删除重复行
data = data.drop_duplicates()
# 写入数据,同样需要注意指定编码格式
data.to_csv("YYBD_result.csv", encoding='gbk',index=False)
三、总结
(1)编码格式,正常是 utf-8 的不用指定,用默认的即可
(2)pandas 读取一行数据
# data.iloc 取一整行
print(data.iloc[0])
(3)pandas 处理数据确实很厉害,字符串拼接,类型转换,删除重复行,真方便
来源:https://blog.csdn.net/nanhuaibeian/article/details/108996071
标签:pandas,处理,csv
0
投稿
猜你喜欢
浅谈Python 敏感词过滤的实现
2022-12-11 07:47:17
浅析facebook的信息架构
2008-07-25 19:57:00
如何修改MySQL密码(方法大总结)
2009-11-18 11:07:00
常用的数据库访问方式是什么?
2009-11-01 15:08:00
Python实现读取TXT文件数据并存进内置数据库SQLite3的方法
2021-03-01 14:14:27
Python常用模块介绍
2021-01-03 10:11:53
了解WEB页面工具语言XML(三)支持工具
2008-09-05 17:18:00
在Ubuntu系统下安装使用Python的GUI工具wxPython
2022-08-21 10:17:49
利用Python进行数据可视化的实例代码
2023-11-24 10:21:45
PHP实时统计中文字数和区别
2023-07-13 10:44:01
python匿名函数的使用方法解析
2022-05-08 13:00:25
python监控nginx端口和进程状态
2023-08-25 16:15:13
Python基于Tkinter开发一个爬取B站直播弹幕的工具
2023-06-21 21:53:12
ASP 统计某字符串中“A”出现过的次数
2010-08-12 10:17:00
python django 原生sql 获取数据的例子
2023-02-16 18:35:02
上传组件 ASPUpload 使用说明
2008-09-11 14:38:00
js实现登录注册框手机号和验证码校验(前端部分)
2023-09-13 02:41:37
python列表和字符串的三种逆序遍历操作
2022-09-09 03:00:56
有故事的网页设计——Flash网站奇妙之旅
2011-01-20 19:58:00
ASP.NET 2.0中的数据操作之九:跨页面的主/从报表
2023-07-19 20:28:42