Python 等分切分数据及规则命名的实例代码

作者:Mr-Lin 时间:2023-03-26 05:01:17 

 将一份一亿多条数据的csv文件等分为10份,代码如下所示:


import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路径则根据个人存放项目文件的习惯
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出现序号

Python 等分切分数据及规则命名的实例代码

注意:如果此时文件的路径包含有中文,则必须改成以下的代码:


import pandas as pd
f = open('C:\\Users\\PycharmProjects\\数据切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用这种方法调用文件进内存,加重了内存的负担,两次赋值相当于内存占用乘2,此方法不建议使用,还是将路径改为英文名。

总结

以上所述是小编给大家介绍的Python 等分切分数据及规则命名的实例代码,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

来源:https://www.cnblogs.com/xiaolan-Lin/archive/2019/08/16/11363776.html

标签:Python,等分切分,数据,规则,命名
0
投稿

猜你喜欢

  • python使用ctypes调用扩展模块的实例方法

    2021-11-01 22:22:58
  • Python实现"验证回文串"的几种方法

    2021-03-28 15:48:57
  • 加固SQL参数与存储过程

    2012-03-12 19:44:08
  • C#使用Socket快速判断数据库连接是否正常的方法

    2024-01-28 06:49:00
  • Python学习笔记之if语句的使用示例

    2021-03-09 09:16:39
  • Python基于OpenCV实现人脸检测并保存

    2023-10-07 00:43:37
  • 在Python中使用Neo4j的方法

    2023-01-16 04:12:39
  • 利用Golang如何调用Linux命令详解

    2024-05-05 09:34:43
  • MySQL之导出整个及单个表数据的操作

    2024-01-17 00:52:02
  • 使用cgroups来限制MySQL企业备份服务对资源的占用

    2024-01-19 18:47:23
  • Python开发之pip安装及使用方法详解

    2022-11-27 06:22:48
  • 在Python 字典中一键对应多个值的实例

    2023-07-25 23:45:02
  • golang中new与make的区别讲解

    2024-05-09 14:55:15
  • Django与DRF结合的全局异常处理方案详解

    2021-05-19 22:53:16
  • 详解基于Jupyter notebooks采用sklearn库实现多元回归方程编程

    2022-04-19 21:35:31
  • 详谈配置phpstorm完美支持Codeigniter(CI)代码自动完成(代码提示)

    2023-09-06 14:34:52
  • python pandas中索引函数loc和iloc的区别分析

    2021-08-31 21:44:21
  • 基于Python编写一个简单的http服务器

    2022-04-08 21:07:39
  • vue axios拦截器常用之重复请求取消

    2023-07-02 17:03:21
  • [译]图片优化 第五章:AlphaImageLoader

    2010-08-29 18:39:00
  • asp之家 网络编程 m.aspxhome.com