Python第三方库jieba库与中文分词全面详解
作者:Argonaut_ 时间:2022-03-14 22:32:40
一、什么是jieba库
jieba是优秀的中文分词第三方库,由于中文文本之间每个汉字都是连续书写的,我们需要通过特定的手段来获得其中的每个词组,这种手段叫做分词,我们可以通过jieba库来完成这个过程。
二、jieba分词原理
jieba库的分词原理是利用了一个中文词库,将待分词的内容与分词词库对比,通过图结构和动态规则划分方法找到最大概率的词组。除了分词,jieba还提供增加自定义中文单词的功能。
三、jieba库支持的三种分词模式
1.精确模式
将句子最精确地分开,适合文本分析;
2.全模式
把句子中所有可以成词的词语都扫描出来,速度非常快,但是不能解决歧义;
3.搜索引擎模式
在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词
注:对中文分词来说,jieba库只需要一行代码即可。英文文本不存在分词问题
四、jieba库常用函数
函数 | 描述 |
---|---|
jieba.lcut(s) | 精确模式,返回一个列表值 |
jieba.lcut(s,cut_all=True) | 全模式,返回一个列表值 |
jieba.lcut_for_search(s) | 搜索引擎模式,返回一个列表值 |
jieba.add_word(w) | 向分词词典中增加新词w |
五、jieba实操
练习一(jieba.lcut)精确模式
jieba.lcut(s)是最常用的中文分词函数,用于精确模式,将字符串分割成等量的中文词组。
import jieba
ls = jieba.lcut("我愿意穿过璀璨繁星")
print(ls)
练习二(jieba.lcut(s,cut_all=True) )全模式
jieba.lcut(s,cut_all=True)用于全模式,将字符串的所有分词可能列出来,冗余最大。
import jieba
ls = jieba.lcut("人面不知何处去,桃花依旧笑春风", cut_all=True)
print(ls)
练习三(jieba.lcut_for_search)搜索引擎模式
jieba.lcut_for_search该模式首先执行精确模式,然后在对其中长词进一步分获得最终结果
import jieba
ls1 = jieba.lcut("仰天大笑出门去我辈岂是蓬蒿人")
ls = jieba.lcut_for_search("仰天大笑出门去我辈岂是蓬蒿人")
print(ls1)
print(ls)
练习四(jieba.add_word(w))增加新词
import jieba
ls = jieba.lcut_for_search("仰天大笑出门去我辈岂是蓬蒿人")
print(ls)
jieba.add_word("蓬蒿人")
ls1 = jieba.lcut("仰天大笑出门去我辈岂是蓬蒿人")
print(ls1)
小结:精确模式因为不产生冗余,最为常用。
总结
来源:https://blog.csdn.net/Argonaut_/article/details/123598613
标签:python,jieba库,中文分词
0
投稿
猜你喜欢
如何防止页面中的敏感信息被提取
2008-05-04 11:59:00
浅析网页色彩应用
2009-12-21 16:17:00
python批量生成条形码的示例
2023-02-22 17:49:03
Python入门教程(九)Python字符串介绍
2023-02-05 22:34:43
pandas读取excel时获取读取进度的实现
2022-03-24 09:57:26
我所钟爱的HTML5资源
2010-07-23 09:25:00
出现“不能执行已释放的Script代码”错误的原因及解决办法
2024-04-19 10:02:13
使用python如何删除同一文件夹下相似的图片
2021-10-19 02:52:23
python实现mask矩阵示例(根据列表所给元素)
2022-04-19 19:37:16
重温Javascript继承机制
2011-07-04 12:17:23
CNN卷积函数Conv2D()各参数的含义及用法解读
2022-03-12 05:35:21
浅谈python中set使用
2023-05-31 10:57:41
python编写微信远程控制电脑的程序
2023-08-15 17:04:38
详解LyScript 内存扫描与查壳实现
2022-04-18 07:07:31
Flaks基础之在URL中添加变量的实现详解
2023-07-22 00:42:20
Python变量名详细规则详细变量值介绍
2021-08-05 07:51:57
用Mimer Validator检查SQL查询
2009-04-24 11:59:00
GO CountMinSketch计数器(布隆过滤器思想的近似计数器)
2024-02-17 06:12:40
SQL Server数据库的高性能优化经验总结
2024-01-18 17:04:55
JavaScript 字符串连接性能优化
2024-05-11 09:35:53