Python实现检测文件的MD5值来查找重复文件案例

平时学生交上机作业的时候经常有人相互复制，直接改文件名了事，为了能够简单的检测这种作弊行为，想到了检测文件的MD5值，虽然对于抄袭来说作用不大，但是聊胜于无，以后可以做一个复杂点的。

# coding: utf8

import hashlib
import os
from collections import Counter
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

def get_md5_01(file_path):
 md5 = None
 if os.path.isfile(file_path):
   f = open(file_path,'rb')
   md5_obj = hashlib.md5()
   md5_obj.update(f.read())
   hash_code = md5_obj.hexdigest()
   f.close()
   md5 = str(hash_code).lower()
 return md5

def get_md5_02(file_path):
 f = open(file_path,'rb')
 md5_obj = hashlib.md5()
 while True:
   d = f.read(8096)
   if not d:
     break
   md5_obj.update(d)
 hash_code = md5_obj.hexdigest()
 f.close()
 md5 = str(hash_code).lower()
 return md5

if __name__ == "__main__":
 output_list=[]
 #input_path=r"e:\xx\新建文件夹"
 #output_path = unicode(input_path , "utf8")
 output_path=os.getcwd()
 g = os.walk(output_path)
 for path,dir_list,file_list in g:
   for file_name in file_list:
     output_list.append(os.path.join(path, file_name) )
 md5_list= [get_md5_01(i) for i in output_list]
 Counter_list=Counter(md5_list)
 for i in Counter_list.items():
   if i[1] >1:
     duplicate_list=[ a for a in range(len(md5_list)) if md5_list[a] == i[0]]
     print '-'*50
     print i[0]
     for j in duplicate_list:
       with open('duplicate.log', mode='a+') as f:
         f.write(i[0]+'\t'+output_list[j]+'\n')
       print output_list[j]

补充知识：python一句话校验文件哈希值

MD5

python -c "import hashlib,sys;print hashlib.md5(open(sys.argv[1],'rb').read()).hexdigest()" 文件名

SHA-1

python -c "import hashlib,sys;print hashlib.sha1(open(sys.argv[1],'rb').read()).hexdigest()" 文件名

SHA-256

python -c "import hashlib,sys;print hashlib.sha256(open(sys.argv[1],'rb').read()).hexdigest()" 文件名

SHA-512

python -c "import hashlib,sys;print hashlib.sha512(open(sys.argv[1],'rb').read()).hexdigest()" 文件名

来源：https://blog.csdn.net/mighty13/article/details/77995850