Python smallseg分词用法实例分析
作者:imzoer 时间:2023-02-09 01:04:26
本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下:
#encoding=utf-8
#import psyco
#psyco.full()
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ]
from smallseg import SEG
seg = SEG()
print('Load dict...')
seg.set(words)
print("Dict is OK.")
def cuttest(text):
wlist = seg.cut(text)
wlist.reverse()
tmp = " ".join(wlist)
print(tmp)
print("================================")
if __name__=="__main__":
cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空,我爱北京,我爱Python和C++。")
cuttest("我不喜欢日本和服。")
cuttest("雷猴回归人间。")
cuttest("工信处女干事每月经过下属科室都要亲 * 代24 * 换机等技术性器件的安装工作")
cuttest("我需要廉租房")
cuttest("永和服装饰品有限公司")
cuttest("我爱北京天安门")
cuttest("abc")
cuttest("隐马尔可夫")
cuttest("雷猴是个好网站")
cuttest("“Microsoft”一词由“MICROcomputer(微型计算机)”和“SOFTware(软件)”两部分组成")
cuttest("草泥马和欺实马是今年的流行词汇")
cuttest("伊藤洋华堂总府店")
cuttest("中国科学院计算技术研究所")
cuttest("罗密欧与朱丽叶")
cuttest("我购买了道具和服装")
smallseg分词,在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外,3.*中也没有decode函数了。
修改了上面的两个地方,代码就可移植性了。效果还可以。
希望本文所述对大家的Python程序设计有所帮助。
标签:Python,分词
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
vue的hash值原理也是table切换实例代码
2023-07-02 16:54:52
![](https://img.aspxhome.com/file/2023/6/139816_0s.png)
SQL注入防御:用三种策略应对SQL注入攻击
2008-12-15 16:31:00
PyTorch中的squeeze()和unsqueeze()解析与应用案例
2022-09-22 23:04:49
![](https://img.aspxhome.com/file/2023/2/77762_0s.png)
Python终端输出彩色字符方法详解
2023-11-18 22:04:17
![](https://img.aspxhome.com/file/2023/4/88874_0s.png)
asp如何让用户也能修改密码?
2010-05-13 16:41:00
python使用yaml 管理selenium元素的示例
2023-11-18 10:53:29
![](https://img.aspxhome.com/file/2023/9/79579_0s.png)
通过按钮实时切换CSS样式 实现CSS换肤的实例
2008-07-17 12:55:00
![](https://img.aspxhome.com/file/UploadPic/20087/17/200871713259954s.gif)
ASP.NET(C#)中操作SQLite数据库实例
2024-01-20 08:30:12
![](https://img.aspxhome.com/file/2023/0/87170_0s.jpg)
对Python 语音识别框架详解
2023-09-22 01:32:30
MySQL 及 SQL 注入与防范方法
2024-01-28 02:55:53
Python写的一个简单DNS服务器实例
2021-03-25 21:13:47
向上不间断(无缝)滚动图片js代码
2007-09-24 20:22:00
python实现逐个读取txt字符并修改
2021-03-11 21:25:53
![](https://img.aspxhome.com/file/2023/4/115014_0s.jpg)
MySQL5.7.10 安装文档教程详解
2024-01-19 00:37:58
Python中for循环可迭代对象迭代器及生成器源码学习
2023-10-11 07:00:30
仅允许指定的机器连接SQL Server服务器
2010-07-22 19:54:00
JS判断浏览器类型与版本的实现代码
2024-05-13 10:36:32
python 对给定可迭代集合统计出现频率,并排序的方法
2023-02-10 17:28:47
golang 跳出for循环操作
2024-04-30 10:04:00
Python Pandas读写txt和csv文件的方法详解
2022-08-05 17:06:31
![](https://img.aspxhome.com/file/2023/4/112594_0s.png)