Python sklearn CountVectorizer使用详解
作者:math_gao 时间:2023-06-20 08:19:05
简介
CountVectorizer官方文档。
将一个文档集合向量化为为一个计数矩阵。
如果不提供一个先验字典,不使用分析器做某种特征选择,那么特征的数量将等于通过分析数据发现的词汇量。
数据预处理
两种方法:1.可以不分词直接投入模型;2.可以先将中文文本进行分词。
两种方法产生的词汇会非常不同。在后面会具体给出示范。
import jieba
import re
from sklearn.feature_extraction.text import CountVectorizer
#原始数据
text = ['很少在公众场合手机外放',
'大部分人都还是很认真去学习的',
'他们会用行动来',
'无论你现在有多颓废,振作起来',
'只需要一点点地改变',
'你的外在和内在都能焕然一新']
#提取中文
text = [' '.join(re.findall('[\u4e00-\u9fa5]+',tt,re.S)) for tt in text]
#分词
text = [' '.join(jieba.lcut(tt)) for tt in text]
text
构建模型
训练模型
#构建模型
vectorizer = CountVectorizer()
#训练模型
X = vectorizer.fit_transform(text)
所有词汇:model.get_feature_names()
#所有文档汇集后生成的词汇
feature_names = vectorizer.get_feature_names()
print(feature_names)
不分词生成的词汇
分词后生成的词汇
计数矩阵:X.toarray()
#每个文档相对词汇量出现次数形成的矩阵
matrix = X.toarray()
print(matrix)
#计数矩阵转化为DataFrame
df = pd.DataFrame(matrix, columns=feature_names)
df
词汇索引:model.vocabulary_
print(vectorizer.vocabulary_)
来源:https://blog.csdn.net/math_gao/article/details/129589915
标签:Python,sklearn,CountVectorizer
0
投稿
猜你喜欢
pytorch tensor int型除法出现的问题
2021-05-18 13:18:17
数据库分页大全(mssql,mysql,oracle)
2010-10-25 20:02:00
python3调用R的示例代码
2021-05-01 21:53:59
python中各种路径设置的方法详解
2022-12-09 23:58:09
Python实现的删除重复文件或图片功能示例【去重】
2023-12-25 00:49:07
HMAC算法--asp源码
2009-08-28 12:51:00
OpenCV图像颜色反转算法详解
2022-04-25 16:19:31
keras模型可视化,层可视化及kernel可视化实例
2021-02-20 00:45:25
go语言实现mqtt协议的实践
2024-04-23 09:34:38
python中if和elif的区别介绍
2022-07-23 14:22:10
Python实现在线批量美颜功能过程解析
2023-10-27 10:38:34
css2.1实现多重背景和边框效果
2010-06-23 19:02:00
在ASP.NET页面中如何利用JAVASCRIPT脚本向IFRAMES和POPUP传值
2007-09-23 13:18:00
oracle 集合
2024-01-21 23:56:49
python在html中插入简单的代码并加上时间戳的方法
2022-06-19 05:33:01
神经网络训练采用gpu设置的方式
2021-04-24 16:43:25
基于pdf2docx模块Python实现批量将PDF转Word文档的完整代码教程
2022-06-24 15:55:02
Python自动化测试笔试面试题精选
2021-05-17 03:32:59
Python之dict(或对象)与json之间的互相转化实例
2023-05-14 04:26:00
python pygame实现五子棋小游戏
2021-10-31 13:39:23