qq_40428310的博客

原创 词向量Word Vectors学习笔记--word2vec

Word Vectors将单词编码成向量，将其表示成在词空间中的某一点。每一维都可看作是某些语义信息的编码。one-hot vector:最简单的词向量,将每个单词表示成一个 |V|*1维的向量。|V|是词表大小，其在词表中的索引位置值为1，其余为0。但由于词表中单词巨多，所以one-hot vector维度过高；此外，任意两个vector点乘值为零，所以词向量之间彼此独立，不能寓含词间的相似性信...