python获取txt文件词向量过程详解_Python

在读取https://github.com/Embedding/Chinese-Word-Vectors中的中文词向量时，选择了一个有3G多的txt文件，之前在做词向量时用的是word2vec，所以直接导入模型然后indexword即可。

因为这是一个txt大文件，尝试了DataFrame，np.loadtxt等，都没有成功，其中主要遇到的问题是：

如何读取完整的大文件，而不会出现内存不足memery error等问题
将读取出来的文件，保存为npy文件
根据词找到对应的向量

解决办法：

尝试使用的代码：

				?

									代码1:

									try:

									lines=np.loadtxt(filepath)

									catch:

									感觉这块不会写了咦，，，

									  print(ValueError)

									但这样的话，它就不会继续循环去读上边的txt了呢

				?

									代码2：

									lines=[]

									with open(filepath) as f:

									  for line in f:

									    lines.append(line)

									np.save(filepath,lines)

				?

									代码3

									def readEmbedFile(embedFile):

									#   embedId = {}

									#   input = open(embedFile,'r',encoding="utf-8")

									#   lines = []

									#   a=0

									#   for line in input:

									#     lines.append(line)

									#     a=a+1

									#     print(a)

									#   nwords = len(lines) - 1

									#   splits = lines[1].strip().split(' ') # 因为第一行是统计信息，所以用第二行

									#   dim = len(splits) - 1

									#   embeddings=[]

									#   # embeddings = [[0 for col in range(dim)] for row in range(nwords)]

									#   b=0

									#   for lineId in range(len(lines)):

									#     b=b+1

									#     print(b)

									#     splits = lines[lineId].split(' ')

									#     if len(splits) > 2:

									#       # embedId赋值

									#       embedId[splits[0]] = lineId

									#       # embeddings赋值

									#       emb = [float(splits[i]) for i in range(1, 300)]

									#       embeddings.append(emb)

									#   return embedId, embeddings

				?

									代码4：

									def load_txt(filename):

									  lines=[]

									  vec_dict={}

									  with open(filename,r) as f:

									    for line in f:

									    list=line.strip()

									    lines.append(line)

									  for i, line in emuate(lines):

									    if i=0:

									      continue

									    line=line.split(" ")

									    wordID=line[0]

									    wordvec=[float line[i] for i in range(1,300)]

									  vec_dict[wordId]=np.array(wordvec)  

									  return vec_dict

具体内存不足主要的原因是：

我的虚拟机中确实内存不太够，后来使用实验室32G的主机后，可以得到idvec，而得不到向量的，报的错还是memory error.
另一个原因，是需要把词向量转换为float形式，在python中str 占的内存>float类型，如代码所示：

				?

									print("str",sys.getsizeof(""))

									print("float",sys.getsizeof(1.1))

									print("int",sys.getsizeof(1))

									print("list",sys.getsizeof([]))

									print("tuple",sys.getsizeof(()))

									print("dic",sys.getsizeof([]))

				?

									str 49

									float 24

									int 28

									list 64

									tuple 48

									dic 64

在我的电脑，64位操作系统，64位的python, 所占内存大小排序为：

dic=list>str>tuple>int>float

读取时候可以用np.load().item就可以复原原来的字典，主要参照下述文件：

然后通过python的字典操作就可以遍历得到每个词的词向量了，dic[vocab]

心得：

距离完全解决项目的问题还有5~6的大关卡,但静下心来，一步步地做总会突破的呀！

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持服务器之家。

原文链接：https://blog.csdn.net/weixin_38527856/article/details/90704116

python获取txt文件词向量过程详解

相关文章

热门资讯