python轻松过滤处理脏话与特殊敏感词汇
作者:Python 时间:2022-02-07 15:53:28
python的其中一个强大之处就是它可以方便的集成很多的非标准库,今天在GitHub上溜达又发现了一个脏话处理神器,导入better_profanity库后,只需要几行代码就能搞定了,相当nice!
使用pip的方式将better_profanity非标准库安装好,这个库好像在清华大学的镜像站中没有,其他镜像站不知道有没有,于是下载时没有使用镜像站,默认到官方去下载即可。
pip install better_profanity
# 将处理模块直接导入到代码块中
from better_profanity import profanity
1、默认脏话库/敏感词库处理
默认情况下就只能处理英文的脏话。
censored_text = profanity.censor("you are bitch")
print(censored_text)
# you are ****
可以看到其中bitch字符被认为是脏话已经处理成****字符了。
当然,还可以将处理后的脏话字符换成别的字符代替,比如下面这样处理。
censored_text = profanity.censor("you are bitch",'-')
print(censored_text)
# you are ----
这样****就被替换成了----。
2、自定义过滤信息处理
bad_words = ['Python', 'Java', 'Scala'] # 自定义过滤词汇
profanity.load_censor_words(bad_words) # 加载自定义过滤词汇
censored_text = profanity.censor("Python is very Good !") # 执行过滤
print(censored_text)
# **** is very Good !
可以发现,想要过滤的python字符已经成功过滤掉了。
3、contains_profanity函数
contains_profanity函数用来查看我们的语句中是否包含需要过滤的词汇,如果包含则会返回True,否则返回False。
bad_words = ['bitch', 'Java', 'Scala'] # 自定义过滤词汇
profanity.load_censor_words(bad_words) # 加载自定义过滤词汇
censored_text = profanity.contains_profanity("you are bitch")
print(censored_text)
# True
结果为True,表示包含需要过滤的词汇信息。
4、load_censor_words_from_file函数
load_censor_words_from_file函数用于加载需要过滤词汇的文件。
profanity.load_censor_words_from_file('/usr/load/bad_words.txt')
加载完词汇文件之后,按照之前的逻辑处理即可。
词汇文件的定义格式,按照每个词汇独占一行的形式进行定义,文件格式使用.txt文本文档即可。
# bitch
# bitches
# bitchin
# bitching
# blowjob
# blowjobs
# blue waffle
来源:https://blog.csdn.net/chengxuyuan_110/article/details/125963996
标签:python,脏话,敏感词,过滤
0
投稿
猜你喜欢
Python3中的f-Strings增强版字符串格式化方法
2022-07-07 12:34:36
Python生成短uuid的方法实例详解
2021-06-30 14:12:03
Python学习之字典和集合的使用详解
2022-11-01 19:54:21
mysql误删root用户恢复方法
2024-01-22 01:44:18
django实现用户登陆功能详解
2021-03-04 20:19:06
SQL Server使用row_number分页的实现方法
2024-01-28 21:02:38
MySql完整卸载的四个步骤详解
2024-01-18 00:30:52
Python一句代码实现找出所有水仙花数的方法
2021-10-09 08:10:44
JavaScript来实现打开链接页面的简单实例
2024-04-30 09:51:32
mysql 5.5 开启慢日志slow log的方法(log_slow_queries)
2024-01-15 15:05:36
asp Driver和Provider两种连接字符串连接Access时的区别
2011-03-09 11:19:00
Python中staticmethod和classmethod的作用与区别
2022-03-12 21:30:00
Python处理mysql数据库
2010-12-03 16:23:00
go语言数据类型之字符串string
2024-04-26 17:19:52
Go语言错误处理异常捕获+异常抛出
2024-05-22 10:14:08
Python使用list列表和tuple元组的方法
2022-08-10 22:01:49
yolov5中train.py代码注释详解与使用教程
2022-12-04 00:55:03
Mini,又个 Javascript 选择器
2009-10-06 14:48:00
javascript 的 in 操作符实例详解
2007-10-07 12:00:00
一个asp版XMLDOM操作类
2011-04-19 10:50:00