python使用jieba实现中文分词去停用词方法示例
作者:circle元 时间:2021-02-04 11:27:17
前言
jieba 基于Python的中文分词工具,安装使用非常方便,直接pip即可,2/3都可以,功能强悍,十分推荐。
中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。
分词模块jieba,它是python比较好用的分词模块。待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意:不建议直接输入 GBK 字符串,可能无法预料地错误解码成 UTF-8
支持三种分词模式
1 精确模式,试图将句子最精确地切开,适合文本分析;
2 全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
3 搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
# 精确模式 seg_list = jieba.cut("我去过清华大学和北京大学。")
# 全模式 seg_list = jieba.cut("我去过清华大学和北京大学。", cut_all=True)
# 搜索引擎模式 seg_list = jieba.cut_for_search("我去过清华大学和北京大学。")
#精确模式: 我/ 去过/ 清华大学/ 和/ 北京大学/ 。
#全模式: 我/ 去过/ 清华/ 清华大学/ 华大/ 大学/ 和/ 北京/ 北京大学/ 大学/ /
#搜索引擎模式: 我/ 去过/ 清华/ 华大/ 大学/ 清华大学/ 和/ 北京/ 大学/ 北京大学/
#coding=utf-8
import jieba. analyse
stopwords=[]
for word in open('stopwords.txt','r'):
stopwords.append(word.strip())
article=open('1.txt','r').read()
words=jieba.cut(article,cut_all=False)
stayed_line=""
for word in words:
if word.encode("utf-8")not in stopwords:
stayed_line+=word+" "
print stayed_line
w=open('2.txt','w')
w.write(stayed_line.encode('utf-8'))
来源:http://www.cnblogs.com/52circle/p/8540511.html
标签:python,jieba,中文分词
0
投稿
猜你喜欢
用 JS 来控制 target 链接属性
2007-10-08 12:59:00
微软SQLServer密码管理的危险判断
2008-11-24 17:34:00
css把超出的部分显示为省略号的方法兼容火狐
2010-10-07 09:02:44
PHP getDocNamespaces()函数讲解
2023-06-13 22:19:06
javascript this 关键字小提示
2009-02-03 13:22:00
驯服CSS选择器--健壮我们的样式表
2009-10-27 16:13:00
微软建议的ASP性能优化28条守则(3)
2008-02-24 16:30:00
如何自己制作验证码的head.fix和body.fix文件
2009-06-01 12:50:00
javascript面向对象三大特征之封装实例详解
2023-08-23 21:39:04
大大改善用户体验的10个小细节
2008-09-17 13:27:00
动态生成的IFRAME设置SRC时的,不同位置带来的影响
2008-03-06 13:56:00
IE7 与 IE6 的模式窗口尺寸差异
2008-03-06 13:49:00
IE6浮出层穿透解决方案中的iframe高度自适应
2009-10-30 18:08:00
图片放大镜,多图片放大(已更新)[可调整倍数、区域大小、展示区域位置]
2011-06-16 20:43:07
golang gorm中格式化时间问题详解
2023-07-12 09:45:21
MYSQL教程:my.cnf缓存优化
2009-07-30 08:58:00
MySQL安全性指南(3)(转)
2010-07-26 13:07:00
MS SQL 查询数据在数据库中所在行
2009-04-26 19:36:00
Oracle PL/SQL入门慨述
2010-07-18 12:57:00
PHP session有效期问题
2023-11-23 20:49:10