python 实现读取csv数据,分类求和 再写进 csv
作者:liujingqiu 时间:2023-02-02 00:47:20
这两天在测试过程中,遇到这样的问题:
数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。
比如说,这样的数据
需要对AskPrice值相同对应的AskQuantity 统计出来。
直接上脚本 :
import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum()
df_sum.to_csv('D:\test\orderBook2.csv')
然后运行得到:
这对于大数据量的处理特别方便。
补充知识:python处理csv文件(场景分类)
最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。
import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比赛\未来杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
for j in i:
list_0.append(j)
for name in filename:
list_file.append(name[0:-4])
for name in list_file:
if name in list_0:
flag.append(True)
else:
flag.append(False)
for name in list_file:
if flag[list_file.index(name)]:
oldname = u'F:\工作\比赛\未来杯\image_scene_training\data\\'+name+'.jpg'
newname = u'F:\工作\比赛\未来杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
shutil.copyfile(oldname,newname)
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升级pip python -m pip install --upgrade pip
2:改python文件内容:找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
将‘utf-8'改成'gbk'
来源:https://blog.csdn.net/liujingqiu/article/details/97398220
标签:python,读取,csv,求和
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
《悟透JavaScript》感谢语
2008-11-12 12:59:00
![](https://img.aspxhome.com/file/UploadPic/200811/12/covera-92s.jpg)
使用 tke-autoscaling-placeholder 实现秒级弹性伸缩的方法
2022-05-08 00:29:15
![](https://img.aspxhome.com/file/2023/5/112085_0s.png)
python实现zencart产品数据导入到magento(python导入数据)
2022-06-04 12:34:32
thinkphp5框架调用其它控制器方法 实现自定义跳转界面功能示例
2024-05-03 15:52:31
Python制作简易注册登录系统
2022-08-25 14:46:28
![](https://img.aspxhome.com/file/2023/7/68327_0s.jpg)
Golang实现的聊天程序服务端和客户端代码分享
2024-05-09 14:54:58
Anaconda安装后Spyder闪退解决办法
2023-04-18 10:17:01
css学习笔记:div在IE6下无法遮盖select
2009-04-30 13:21:00
![](https://img.aspxhome.com/file/UploadPic/20094/30/11f2ae205c6g215-66s.jpg)
python统计字母、空格、数字等字符个数的实例
2022-10-04 12:02:29
SQLServer 存储过程简介与使用方法
2009-07-07 14:06:00
详解ASP.NET Core中间件Middleware
2024-05-09 09:05:15
![](https://img.aspxhome.com/file/2023/1/129801_0s.jpg)
Silverlight与Flash的技术比较
2009-04-19 18:45:00
Python中利用sorted()函数排序的简单教程
2022-09-13 20:26:36
客户端JavaScript代码封装
2008-12-26 18:10:00
使用Python画了一棵圣诞树的实例代码
2022-06-18 23:55:04
![](https://img.aspxhome.com/file/2023/2/66402_0s.png)
多次执行mysql_fetch_array()的指针归位问题探讨
2024-01-16 00:16:16
大家一起来折磨浏览器吧!(好玩的东东)
2010-02-07 12:40:00
Python中encode()方法的使用简介
2023-09-22 15:26:38
使用python实现一个简单ping pong服务器
2022-10-25 03:38:48
![](https://img.aspxhome.com/file/2023/7/94027_0s.jpg)
Python机器学习之逻辑回归
2023-11-18 14:19:02
![](https://img.aspxhome.com/file/2023/8/107298_0s.png)