用python删除文件夹中的重复图片(图片去重)

作者:点灯非烛伊丶 时间:2021-07-23 22:42:36 

第一部分:判断两张图片是否相同

要查找重复的图片,必然绕不开判断两张图片是否相同。判断两张图片简单呀!图片可以看成数组,比较两个数组是否相等不就行了。但是这样做太过简单粗暴,因为两个数组的每个元素都要一一比较,效率很低。为了尽量避免两个庞大的数组比较:

  • 先进行两张图片的大小(byte)比较,若大小不相同,则两张图片不相同;

  • 在两张图片的大小相同的前提下,进行两张图片的尺寸(长和宽)比较,若尺寸不相同,则两张不相同;

  • 在两张图片的尺寸相同的前提下,进行两张图片的内容(即数组元素)比较,若内容不相同,则图片不相同;

这样,当图片大小或图片尺寸不相同的时候,便认为两张图片不同,可以省去比较数组元素的部分,效率up~


import shutil
import numpy as np
from PIL import Image
import os

def 比较图片大小(dir_image1, dir_image2):
   with open(dir_image1, "rb") as f1:
       size1 = len(f1.read())
   with open(dir_image2, "rb") as f2:
       size2 = len(f2.read())
   if(size1 == size2):
       result = "大小相同"
   else:
       result = "大小不同"
   return result

def 比较图片尺寸(dir_image1, dir_image2):
   image1 = Image.open(dir_image1)
   image2 = Image.open(dir_image2)
   if(image1.size == image2.size):
       result = "尺寸相同"
   else:
       result = "尺寸不同"
   return result

def 比较图片内容(dir_image1, dir_image2):
   image1 = np.array(Image.open(dir_image1))
   image2 = np.array(Image.open(dir_image2))
   if(np.array_equal(image1, image2)):
       result = "内容相同"
   else:
       result = "内容不同"
   return result

def 比较两张图片是否相同(dir_image1, dir_image2):
   # 比较两张图片是否相同
   # 第一步:比较大小是否相同
   # 第二步:比较长和宽是否相同
   # 第三步:比较每个像素是否相同
   # 如果前一步不相同,则两张图片必不相同
   result = "两张图不同"
   大小 = 比较图片大小(dir_image1, dir_image2)
   if(大小 == "大小相同"):
       尺寸 = 比较图片尺寸(dir_image1, dir_image2)
       if(尺寸 == "尺寸相同"):
           内容 = 比较图片内容(dir_image1, dir_image2)
           if(内容 == "内容相同"):
               result = "两张图相同"
   return result

第二部分:判断文件夹内是否有重复图片

若要判断文件夹内是否有和图片A相同的图片,则需要遍历文件夹内所有图片,挨个判断两个图片是否相同。若文件夹有1000张图片,那么第1张图片需要与剩下的999张图片作比较,第2张图片需要与剩下的998张图片作比较,第3张需要与剩下的997张图片作比较,以此类推。在此程序中的做法是,先对所有图片按图片大小(byte)排序,然后再执行遍历比较。这样做的结果是:重复图片很大概率会连着出现(因为重复图片大小相同)


if __name__ == '__main__':

load_path = 'E:\\测试图片集(未去重)'  # 要去重的文件夹
   save_path = 'E:\\测试图片集(重复照片)'  # 空文件夹,用于存储检测到的重复的照片
   os.makedirs(save_path, exist_ok=True)

# 获取图片列表 file_map,字典{文件路径filename : 文件大小image_size}
   file_map = {}
   image_size = 0
   # 遍历filePath下的文件、文件夹(包括子目录)
   for parent, dirnames, filenames in os.walk(load_path):
       # for dirname in dirnames:
       # print('parent is %s, dirname is %s' % (parent, dirname))
       for filename in filenames:
           # print('parent is %s, filename is %s' % (parent, filename))
           # print('the full name of the file is %s' % os.path.join(parent, filename))
           image_size = os.path.getsize(os.path.join(parent, filename))
           file_map.setdefault(os.path.join(parent, filename), image_size)

# 获取的图片列表按 文件大小image_size 排序
   file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False)
   file_list = []
   for filename, image_size in file_map:
       file_list.append(filename)

# 取出重复的图片
   file_repeat = []
   for currIndex, filename in enumerate(file_list):
       dir_image1 = file_list[currIndex]
       dir_image2 = file_list[currIndex + 1]
       result = 比较两张图片是否相同(dir_image1, dir_image2)
       if(result == "两张图相同"):
           file_repeat.append(file_list[currIndex + 1])
           print("\n相同的图片:", file_list[currIndex], file_list[currIndex + 1])
       else:
           print('\n不同的图片:', file_list[currIndex], file_list[currIndex + 1])
       currIndex += 1
       if currIndex >= len(file_list)-1:
           break

# 将重复的图片移动到新的文件夹,实现对原文件夹降重
   for image in file_repeat:
       shutil.move(image, save_path)
       print("正在移除重复照片:", image)

第三部分:程序运行结果

若文件夹下有10张图片A、5张图片B、1张图片C,程序运行结束后,该文件夹下剩余1张图片A、1张图片B、1张图片C;其他的图片移动到 save_path 指定的文件夹下。

第四部分:注意

程序代码可以直接复制使用,需要修改 load_path 和 save_path 参数;

保证 load_path 文件夹都为图片格式(.jpg .png .jpeg)的文件类型,不可以有其他格式的文件(例如.mp4);请先用资源管理器处理文件夹,大佬直接修改代码读取文件夹下指定类型的文件;

来源:https://www.cnblogs.com/aiyou-3344520/p/14760053.html

标签:python,图片,去重
0
投稿

猜你喜欢

  • Python实战之能监控文件变化的神器—看门狗

    2022-01-05 22:01:28
  • 深入浅析python3中的unicode和bytes问题

    2022-11-29 02:41:47
  • Python Asyncio 库之同步原语常用函数详解

    2021-04-27 03:50:39
  • 理解python中装饰器的作用

    2022-01-29 07:58:01
  • 简述MySQL 正则表达式

    2024-01-16 12:17:44
  • Python使用BeautifulSoup库解析HTML基本使用教程

    2021-12-22 17:48:05
  • bootstrap-table.js扩展分页工具栏(增加跳转到xx页)功能

    2024-04-29 13:12:45
  • python time.strptime格式化实例详解

    2022-03-25 19:13:02
  • python生成tensorflow输入输出的图像格式的方法

    2021-03-20 05:21:08
  • CSS控制鼠标样式变换方法

    2007-11-17 07:58:00
  • spark编程python实例解读

    2023-06-02 06:12:52
  • 解析ajax事件的调用顺序

    2023-11-21 18:12:56
  • python文件和目录操作函数小结

    2022-02-21 21:45:23
  • 在Django中管理Users和Permissions以及Groups的方法

    2023-11-03 03:10:21
  • ASP程序中输出Excel文件实例一则

    2008-11-07 15:29:00
  • python实现引用其他路径包里面的模块

    2023-02-21 21:57:53
  • Python使用Matplotlib实现雨点图动画效果的方法

    2023-02-04 10:32:05
  • 在SQL Server中编写通用数据访问方法

    2009-01-20 11:35:00
  • Python编写nmap扫描工具

    2021-08-07 14:53:10
  • Ubuntu 16.04/18.04 安装Pycharm及Ipython的教程

    2023-11-03 03:49:29
  • asp之家 网络编程 m.aspxhome.com