Python实现的txt文件去重功能示例

作者:人饭子 时间:2021-12-22 23:42:49 

本文实例讲述了Python实现的txt文件去重功能。分享给大家供大家参考,具体如下:


# -*- coding:utf-8 -*-
#! python2
import shutil
a=0
readDir = "/Users/Administrator/Desktop/old.txt"  #old
writeDir = "/Users/Administrator/Desktop/new.txt" #new
# txtDir = "/home/Administrator/Desktop/1"
lines_seen = set()
outfile = open(writeDir, "w")
f = open(readDir, "r")
for line in f:
 if line not in lines_seen:
   a+=1
   outfile.write(line)
   lines_seen.add(line)
   print(a)
   print('\n')
outfile.close()
print("success")

其中old.tx如下:

www.jb51.net
www.baidu.com
www.sina.com.cn
www.jb51.net
www.google.com
www.sohu.com
www.jb51.net
www.163.com

运行后new.txt内容如下:

www.jb51.net
www.baidu.com
www.sina.com.cn
www.google.com
www.sohu.com
www.163.com

PS:这里再为大家提供几款相关工具供大家参考使用:

在线去除重复项工具:
http://tools.jb51.net/code/quchong

在线文本去重复工具:
http://tools.jb51.net/aideddesign/txt_quchong

希望本文所述对大家Python程序设计有所帮助。

来源:https://blog.csdn.net/sinat_35360663/article/details/80414699

标签:Python,txt文件,去重
0
投稿

猜你喜欢

  • 如何判断URL格式是否符合规范?

    2010-01-12 20:14:00
  • 用Python进行一些简单的自然语言处理的教程

    2021-07-03 19:51:26
  • SQL Server 2005 SSIS技巧:动态目的文件名

    2008-12-05 15:47:00
  • Oracle 实现类似SQL Server中自增字段的一个办法

    2009-08-02 07:51:00
  • 增强网站的魅力 网页制作技巧三则

    2007-10-04 10:06:00
  • 基于matplotlib中ion()和ioff()的使用详解

    2021-11-23 17:54:27
  • 阿里云 CentOS7.4 安装 Python3.6的方法讲解

    2022-06-12 23:56:13
  • Win10系统提示“Python 0x80070643安装时发生严重错误”怎么办?

    2023-06-13 06:50:25
  • Javascript 中 String.replace( ) 的妙用

    2008-08-05 18:08:00
  • 256种编程语言大汇总

    2023-05-30 19:06:01
  • Oracle RMAN快速入门指南

    2024-01-20 10:49:09
  • MySQL子查询的使用详解上篇

    2024-01-28 00:58:13
  • python 用for循环实现1~n求和的实例

    2022-08-18 01:51:17
  • Python selenium键盘鼠标事件实现过程详解

    2021-09-16 05:26:23
  • JavaScript中const、var和let区别浅析

    2024-05-09 15:03:15
  • asp如何在数据库中用好Transaction?

    2010-06-22 21:07:00
  • SqlServer 2005/2008数据库被标记为“可疑”的解决办法

    2024-01-18 14:07:14
  • JS设计模式之责任链模式实例详解

    2023-03-17 08:23:42
  • JS基于设计模式中的单例模式(Singleton)实现封装对数据增删改查功能

    2024-04-29 14:08:48
  • 由不同的索引更新解决MySQL死锁套路

    2024-01-18 02:03:53
  • asp之家 网络编程 m.aspxhome.com