Python 等分切分数据及规则命名的实例代码
作者:Mr-Lin 时间:2023-03-26 05:01:17
将一份一亿多条数据的csv文件等分为10份,代码如下所示:
import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号
注意:如果此时文件的路径包含有中文,则必须改成以下的代码:
import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)
但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。
总结
以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:https://www.cnblogs.com/xiaolan-Lin/archive/2019/08/16/11363776.html
标签:Python,等分切分,数据,规则,命名


猜你喜欢
python使用ctypes调用扩展模块的实例方法
2021-11-01 22:22:58

Python实现"验证回文串"的几种方法
2021-03-28 15:48:57
加固SQL参数与存储过程
2012-03-12 19:44:08
C#使用Socket快速判断数据库连接是否正常的方法
2024-01-28 06:49:00
Python学习笔记之if语句的使用示例
2021-03-09 09:16:39
Python基于OpenCV实现人脸检测并保存
2023-10-07 00:43:37
在Python中使用Neo4j的方法
2023-01-16 04:12:39

利用Golang如何调用Linux命令详解
2024-05-05 09:34:43

MySQL之导出整个及单个表数据的操作
2024-01-17 00:52:02
使用cgroups来限制MySQL企业备份服务对资源的占用
2024-01-19 18:47:23
Python开发之pip安装及使用方法详解
2022-11-27 06:22:48

在Python 字典中一键对应多个值的实例
2023-07-25 23:45:02
golang中new与make的区别讲解
2024-05-09 14:55:15

Django与DRF结合的全局异常处理方案详解
2021-05-19 22:53:16
详解基于Jupyter notebooks采用sklearn库实现多元回归方程编程
2022-04-19 21:35:31

详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)
2023-09-06 14:34:52

python pandas中索引函数loc和iloc的区别分析
2021-08-31 21:44:21
基于Python编写一个简单的http服务器
2022-04-08 21:07:39

vue axios拦截器常用之重复请求取消
2023-07-02 17:03:21
[译]图片优化 第五章:AlphaImageLoader
2010-08-29 18:39:00
