python实现字符串加密 生成唯一固定长度字符串
作者:中乘风 时间:2022-02-04 21:02:27
背景
有时候爬虫爬过的url需要进行指纹核对,比如Scrapy就是进行指纹核对,如果是指纹重复则不再爬取。当然在入库的时候我还是需要做一次核对,否则如果爬虫有漏掉,进入数据库就不合适了。
思路
根据Scrapy的指纹生成方式,这次的指纹生成方式也是用hash的MD5对目标URL进行加密,生成固定长度的字符串,然后在数据库里面将字段设置成unique,这样的话在保证url固定长度的情况下还能够保证入库后的唯一性,进最大努力避免出现重复的数据。
指纹生成代码
新建一个文件,然后在里面编写指纹生成的方法,在使用的时候from import进来,调用方法即可。代码为:
import hashlib
def get_md5(url):
"""
由于hash不处理unicode编码的字符串(python3默认字符串是unicode)
所以这里判断是否字符串,如果是则进行转码
初始化md5、将url进行加密、然后返回加密字串
"""
if isinstance(url, str):
url = url.encode("utf-8")
md = hashlib.md5()
md.update(url)
return md.hexdigest()
为了验证代码的可用性,再加上代码:
if __name__ == "__main__":
urls = "http://www.baidus.com"
print(get_md5(urls))
在本地运行无误,再把下面这串删除。等到调用的时候from import get_md5把文件和方法引入,就可以使用了
来源:https://blog.csdn.net/QuinnSpider/article/details/82847152
标签:python,字符串,加密
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
Python 合并多个TXT文件并统计词频的实现
2023-01-09 12:16:08
![](https://img.aspxhome.com/file/2023/7/92247_0s.png)
asp让网站自动识别手机访问跳转至手机网站
2014-12-06 09:36:02
python文件操作的基础详细讲解(write、read、readlines、readline)
2021-04-05 19:31:44
![](https://img.aspxhome.com/file/2023/1/91991_0s.png)
用户是如何浏览你的网站的
2010-05-03 14:26:00
![](https://img.aspxhome.com/file/UploadPic/20105/3/eyetrack-74s.jpg)
XPath详解,总结
2009-04-17 14:09:00
python修改包导入时搜索路径的方法
2023-05-12 07:40:23
Python爬取成语接龙类网站
2022-04-09 07:29:58
![](https://img.aspxhome.com/file/2023/5/87795_0s.png)
JS删除数组里的某个元素方法
2023-07-14 22:45:47
Python/JS实现常见加密算法的示例代码
2023-01-25 08:17:29
![](https://img.aspxhome.com/file/2023/2/97072_0s.png)
asp如何调用DLL来加快服务器的执行速度?
2009-11-15 20:07:00
如何实现My SQL中的用户的管理问题
2008-12-03 13:56:00
教你为SQL Server数据库构造安全门
2009-01-20 11:34:00
一文详解Go语言fmt标准库的常用占位符使用
2023-08-07 01:57:56
Python中使用copy模块实现列表(list)拷贝
2022-05-13 02:46:48
详解Python:面向对象编程
2023-10-26 16:17:53
python 使用GDAL实现栅格tif转矢量shp的方式小结
2021-10-02 07:13:56
![](https://img.aspxhome.com/file/2023/9/88859_0s.jpg)
python matplotlib折线图样式实现过程
2022-10-28 12:18:08
![](https://img.aspxhome.com/file/2023/5/90875_0s.png)
Python Django框架介绍之模板标签及模板的继承
2021-11-05 01:36:56
![](https://img.aspxhome.com/file/2023/1/92271_0s.png)
各种Python库安装包下载地址与安装过程详细介绍(Windows版)
2021-01-27 14:00:05
![](https://img.aspxhome.com/file/2023/9/89089_0s.png)
基于python及pytorch中乘法的使用详解
2022-08-07 09:26:59