python获取txt文件词向量过程详解
作者:Zhen大虾 时间:2021-07-27 12:54:35
在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时,选择了一个有3G多的txt文件,之前在做词向量时用的是word2vec,所以直接导入模型然后indexword即可。
因为这是一个txt大文件,尝试了DataFrame,np.loadtxt等,都没有成功,其中主要遇到的问题是:
如何读取完整的大文件,而不会出现内存不足memery error等问题
将读取出来的文件,保存为npy文件
根据词找到对应的向量
解决办法:
尝试使用的代码:
代码1:
try:
lines=np.loadtxt(filepath)
catch:
感觉这块不会写了咦,,,
print(ValueError)
但这样的话,它就不会继续循环去读上边的txt了呢
代码2:
lines=[]
with open(filepath) as f:
for line in f:
lines.append(line)
np.save(filepath,lines)
代码3
def readEmbedFile(embedFile):
# embedId = {}
# input = open(embedFile,'r',encoding="utf-8")
# lines = []
# a=0
# for line in input:
# lines.append(line)
# a=a+1
# print(a)
# nwords = len(lines) - 1
# splits = lines[1].strip().split(' ') # 因为第一行是统计信息,所以用第二行
# dim = len(splits) - 1
# embeddings=[]
# # embeddings = [[0 for col in range(dim)] for row in range(nwords)]
# b=0
# for lineId in range(len(lines)):
# b=b+1
# print(b)
# splits = lines[lineId].split(' ')
# if len(splits) > 2:
# # embedId赋值
# embedId[splits[0]] = lineId
# # embeddings赋值
# emb = [float(splits[i]) for i in range(1, 300)]
# embeddings.append(emb)
# return embedId, embeddings
代码4:
def load_txt(filename):
lines=[]
vec_dict={}
with open(filename,r) as f:
for line in f:
list=line.strip()
lines.append(line)
for i, line in emuate(lines):
if i=0:
continue
line=line.split(" ")
wordID=line[0]
wordvec=[float line[i] for i in range(1,300)]
vec_dict[wordId]=np.array(wordvec)
return vec_dict
具体内存不足主要的原因是:
我的虚拟机中确实内存不太够,后来使用实验室32G的主机后,可以得到idvec,而得不到向量的,报的错还是memory error.
另一个原因,是需要把词向量转换为float形式,在python中str 占的内存>float类型,如代码所示:
print("str",sys.getsizeof(""))
print("float",sys.getsizeof(1.1))
print("int",sys.getsizeof(1))
print("list",sys.getsizeof([]))
print("tuple",sys.getsizeof(()))
print("dic",sys.getsizeof([]))
str 49
float 24
int 28
list 64
tuple 48
dic 64
在我的电脑,64位操作系统,64位的python, 所占内存大小排序为:
dic=list>str>tuple>int>float
读取时候可以用np.load().item就可以复原原来的字典,主要参照下述文件:
然后通过python的字典操作就可以遍历得到每个词的词向量了,dic[vocab]
心得:
距离完全解决项目的问题还有5~6的大关卡,但静下心来,一步步地做总会突破的呀!
来源:https://blog.csdn.net/weixin_38527856/article/details/90704116
标签:python,获取,txt,文件,词向量
![](/images/zang.png)
![](/images/jiucuo.png)
猜你喜欢
PHP面向对象程序设计之类常量用法实例
2023-11-22 15:17:39
python获取全国最新省市区数据并存入表实例代码
2021-10-19 14:16:23
![](https://img.aspxhome.com/file/2023/1/76971_0s.png)
Tensorflow中使用tfrecord方式读取数据的方法
2023-12-05 01:01:18
![](https://img.aspxhome.com/file/2023/1/77001_0s.png)
CSS实现完美垂直居中
2007-09-22 09:29:00
python webp图片格式转化的方法
2021-09-03 16:27:44
利用sort()和Math.random()实现元素的随机排列
2010-10-19 12:42:00
python 删除指定时间间隔之前的文件实例
2023-07-19 17:58:38
Flask框架通过Flask_login实现用户登录功能示例
2021-07-19 07:15:38
![](https://img.aspxhome.com/file/2023/3/77723_0s.png)
交互设计中的“007功能”
2007-10-29 11:53:00
![](https://img.aspxhome.com/file/UploadPic/200710/29/2007102912114153s.jpg)
数字人组件反写[asp组件开发实例1]
2009-06-09 13:10:00
![](https://img.aspxhome.com/file/UploadPic/20096/9/vb-34s.gif)
FrontPage 2002应用技巧四则
2008-08-17 10:57:00
Python logging简介详解
2022-05-12 09:27:02
Python使用pickle模块储存对象操作示例
2021-05-17 00:29:49
SQL Server中导入导出数据的三种方式
2008-11-28 15:53:00
asp连接SQL和Access数据代码(asp里的随机函数)
2013-06-01 20:26:06
Access报错:文件共享锁定数溢出
2009-03-21 18:32:00
python 使用get_argument获取url query参数
2023-02-12 03:52:18
php随机取mysql记录方法小结
2023-11-22 22:27:22
Python函数式编程实现登录注册功能
2022-02-16 14:03:31
![](https://img.aspxhome.com/file/2023/8/65138_0s.jpg)
python 对txt中每行内容进行批量替换的方法
2022-12-29 21:37:45
![](https://img.aspxhome.com/file/2023/1/67841_0s.jpg)