用Python实现大文本文件切割的方法
作者:zhang_qxian 时间:2021-12-19 23:16:53
在实际工作中,有些场景下,因为产品既有功能限制,不支持特大文件的直接处理,需要把大文件进行切割处理。
当然可以通过UltraEdit编辑工具,或者从网上下载一些文件切割器之类的。但这些要么手工操作太麻烦,要么不能满足自定义需求。
而且,对程序员来说,DIY一个轮子还是有必要的。
Python作为快速开发工具,其代码表达力强,开发效率高,因此用Python快速写一个,还是可行的。
需求描述:
输入:给定一个带列头的csv文件,或者txt文件,或者其他文本文件。
输出:指定单文件内部行数的一系列可区分小文件。
开发环境:Python 3.6
代码如下:
# -*- coding: cp936 -*-
import os
import time
def mkSubFile(lines,head,srcName,sub):
[des_filename, extname] = os.path.splitext(srcName)
filename = des_filename + '_' + str(sub) + extname
print( 'make file: %s' %filename)
fout = open(filename,'w')
try:
fout.writelines([head])
fout.writelines(lines)
return sub + 1
finally:
fout.close()
def splitByLineCount(filename,count):
fin = open(filename,'r')
try:
head = fin.readline()
buf = []
sub = 1
for line in fin:
buf.append(line)
if len(buf) == count:
sub = mkSubFile(buf,head,filename,sub)
buf = []
if len(buf) != 0:
sub = mkSubFile(buf,head,filename,sub)
finally:
fin.close()
if __name__ == '__main__':
begin = time.time()
splitByLineCount('盂县.csv',600000)
end = time.time()
print('time is %d seconds ' % (end - begin))
测试结果:
1.4GB的csv文件,13列数据,切分成23个小文件,耗时55秒。
来源:https://blog.csdn.net/zhang_qxian/article/details/62428492
标签:Python,大文本,文件,切割
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
python递归函数绘制分形树的方法
2021-04-22 02:16:02
![](https://img.aspxhome.com/file/2023/9/67339_0s.jpg)
python OpenCV学习笔记实现二维直方图
2021-08-17 11:23:49
![](https://img.aspxhome.com/file/2023/3/87963_0s.jpg)
Python 生成多行重复数据的方法实现
2022-07-26 18:56:07
sql如何实现复合查询?
2010-05-19 21:25:00
永不熄灭的爱心图标——腾讯公益月捐计划 “QQ首席图标”诞生记
2009-09-01 19:43:00
![](https://img.aspxhome.com/file/UploadPic/20099/1/0909_loveplan_banner-44s.jpg)
Python爬虫程序架构和运行流程原理解析
2023-10-04 16:04:24
![](https://img.aspxhome.com/file/2023/7/79477_0s.png)
python异常的传递知识点总结
2023-07-12 19:19:58
php中实现记住密码自动登录的代码
2023-11-14 18:36:14
python爬虫框架scrapy代理中间件掌握学习教程
2021-03-22 15:34:54
![](https://img.aspxhome.com/file/2023/1/68351_0s.png)
从一道js笔试题到==运算符的简析
2010-05-10 20:28:00
使用DataFrame删除行和列的实例讲解
2021-03-05 21:06:04
python基础之引用和匿名函数
2023-01-13 11:52:42
![](https://img.aspxhome.com/file/2023/3/81563_0s.jpg)
python数据分析之线性回归选择基金
2022-03-09 08:13:59
![](https://img.aspxhome.com/file/2023/7/69577_0s.webp)
FrontPage XP设计教程2——网页的编辑
2008-10-11 12:16:00
![](https://img.aspxhome.com/file/UploadPic/200810/17/20081017121938712s.jpg)
6款jQuery图表插件[译]
2009-06-01 10:34:00
![](https://img.aspxhome.com/file/UploadPic/20096/1/08200312t-81s.png)
关于对Java正则表达式"\\\\"的理解
2023-06-24 07:23:02
![](https://img.aspxhome.com/file/2023/2/60272_0s.png)
SQL Server Table中XML列的操作代码
2011-11-03 17:18:16
WIN2003无法上传较大的文件Request对象错误解决方法
2007-08-10 09:44:00
![](https://img.aspxhome.com/file/UploadPic/20078/10/200781010143797s.jpg)
php中Array2xml类实现数组转化成XML实例
2023-07-14 21:48:13
Python生成随机数的方法详解(最全)
2023-05-04 12:36:08
![](https://img.aspxhome.com/file/2023/5/71355_0s.png)