python实现MD5进行文件去重的示例代码
作者:lainwith 时间:2021-12-13 02:28:23
前言
工作中偶尔会遇到文件去重的事情,收到一大堆文件,名称各不相同,分析文件的时候发现有不少重复的文件,导致工作效率低下,那么,这里就写了一个python脚本实现文件去重功能
工作原理
脚本会检查你给出的文件路径下的所有文件,然后计算每个文件的MD5值,并将其加入到一个列表中。
如果某文件的MD5值不在列表中,就认定其是我们需要的文件,脚本会在桌面新建一个名为“去重结果”的文件夹,并将其复制到里面去。
如果某文件的MD5值在列表中,就认定其不是我们需要的文件,不对其做任何处理。
代码可以直接运行,无需做任何修改(除了安装可能缺少的库文件)
代码
import os
import shutil
import hashlib
# 对文件去重
# 计算每个文件的md5值,据此进行去重
def only_one(test_path):
md5_list = []
count = 0
for current_folder, list_folders, files in os.walk(test_path):
for file in files:
file_path = current_folder + '\\' + file # 获取每个文件的路径
f = open(file_path, 'rb') # 开始计算每个文件的md5值
md5obj = hashlib.md5()
md5obj.update(f.read())
get_hash = md5obj.hexdigest()
f.close()
md5_value = str(get_hash).upper()
# 开始去重
if md5_value in md5_list: # 如果这个文件的md5值曾经出现过,就不对它做任何处理
count += 1
print('\033[31m[-] 发现重复文件:\033[0m' + str(file))
else:
md5_list.append(md5_value) # 如果这个文件的md5值不存在列表中,就添加进列表中
shutil.copy(file_path, path1)
print('\033[31m[-] 共发现重复文件:{}个\033[0m'.format(count))
if __name__ == '__main__':
print('\033[4;33m[+] 此脚本会检查指定路径下的所有文件,通过计算文件的MD5值进行去重\033[0m')
print('\033[4;33m[+] 去重后的文件会复制到桌面新文件夹中,源文件不会丢失\033[0m')
path = input('\033[34m[+] 请输入文件夹地址:\033[0m')
os.chdir(path)
# path1 用来存放所有的去重结果
desktop_path = os.path.join(os.path.expanduser("~"), 'Desktop') # 获取桌面路径
path1 = os.path.join(desktop_path, '去重结果')
os.makedirs(path1)
only_one(path)
print('\033[32m[-] 现有非重复文件共计:{}个\033[0m'.format(len(os.listdir(path1))))
来源:https://blog.csdn.net/weixin_44288604/article/details/118599360
标签:python,MD5,文件去重
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
mysql5在rhel5下乱码问题及解决方法
2010-12-03 16:26:00
![](https://img.aspxhome.com/file/UploadPic/201012/3/2010123165047481s.png)
详解Python图像处理库Pillow常用使用方法
2022-07-17 11:04:53
python事件驱动event实现详解
2021-07-27 21:17:04
![](https://img.aspxhome.com/file/2023/2/82742_0s.jpg)
Python将字典转换为XML的方法
2023-08-04 16:13:22
python实现复制文件到指定目录
2022-09-25 20:53:12
python3使用urllib示例取googletranslate(谷歌翻译)
2021-08-31 19:20:34
详解element-ui 表单校验 Rules 配置 常用黑科技
2023-08-17 17:42:47
![](https://img.aspxhome.com/file/2023/6/55916_0s.jpg)
微信小程序顶部导航栏可滑动并选中放大
2023-08-23 18:49:59
![](https://img.aspxhome.com/file/2023/8/56168_0s.gif)
Windows 2003服务器上传文件受限制的解决方法
2011-02-14 11:29:00
设计输入了些什么?
2008-04-02 11:16:00
Django基础之Model操作步骤(介绍)
2022-04-12 12:17:50
![](https://img.aspxhome.com/file/2023/2/82692_0s.png)
详解uniapp页面跳转URL传参大坑
2023-09-15 09:52:43
使用ob系列函数实现PHP网站页面静态化
2023-11-15 03:26:05
![](https://img.aspxhome.com/file/2023/4/72684_0s.png)
解决jupyter (python3) 读取文件遇到的问题
2021-02-05 10:00:25
浏览器发送URL的编码特性
2007-10-12 20:51:00
分享15 超级好用得 Python 实用技巧
2023-03-01 06:42:09
python 美化输出信息的实例
2022-04-15 09:53:54
![](https://img.aspxhome.com/file/2023/7/79757_0s.jpg)
Python tensorflow与pytorch的浮点运算数如何计算
2023-06-28 14:13:15
![](https://img.aspxhome.com/file/2023/2/95442_0s.jpg)
创建数据表/创建列的一些asp函数
2008-06-24 12:21:00
pandas.DataFrame中提取特定类型dtype的列
2021-06-13 06:04:25