- 博客(7)
- 收藏
- 关注
RSS订阅原创 cs224n笔记05-探索词向量
1. 加载词向量def load_word2vec(embeddings_fp="./GoogleNews-vectors-negative300.bin"): """ Load Word2Vec Vectors Param: embeddings_fp (string) - path to .bin file of pretrained word vectors Return: wv_from_bin: All
2020-07-06 21:14:11
269
原创 cs224n笔记04-Contextual Word Embeddings
上下文相关的词嵌入静态词向量的没个词有一个唯一的向量表示，即使具有多个含义的词也只能有一种表达方式。但是上下文相关的词嵌入可以解决一词多义的问题。比较常见的动态词向量训练方法有elmo、bert等bert使用的是transformer的encoder，任务是mask语言模型和NSP（预测下一个句子）bert的fine-tuning训练方式...
2020-07-03 21:16:01
139
原创 cs224n学习笔记03-Subword Models
纯字符级模型纯字符级神经机器翻译模型，以字符作为输入和输出的MT系统英语-捷克语机器翻译2015，纯字符级seq2seq的NMT系统作为基线没有分隔符语言的字符级神经机器翻译sub-word模型Byte Pair Encoding，BPE 并未深度学习的有关算法，但已成为标准且成功表示 pieces of words 的⽅法，可以获得⼀个有限的词典与⽆限且有效的词汇表。FastText embeddings⽬标：下⼀代⾼效的类似于word2vecd的单词表示库，但更适合于具有⼤.
2020-06-30 21:54:31
102
原创 cs224n学习笔记02-word vectors and word senses
Glove词向量跟word2vec相比，GloVe 由⼀个加权最⼩⼆乘模型组成，基于全局word-word共现计数进⾏训练，从⽽有效地利⽤全局统计数据。模型⽣成了包含有意义的⼦结构的单词向量空间，在词类⽐任务上表现⾮常出⾊。GloVe 模型仅对单词共现矩阵中的⾮零元素训练，从⽽有效地利⽤全局统计信息，并⽣成具有有意义的⼦结构向量空间。给出相同的语料库，词汇，窗⼝⼤⼩和训练时间，它的表现都优于word2vec，它可以更快地实现更好的效果，并且⽆论速度如何，都能获得最佳效果。词向量评估内部评估的.
2020-06-27 21:58:14
279
原创 cs224n学习笔记01-词向量简介总结
词的表示方法。使用机器学习或者深度学习的方法时，如何表示一个词，常见的方法有：（1）WordNet：建立包含同义词和上位词(即“is a"的关系）的词库（2）one-hot：其实就是为词典中每个词编一个号，词典有多少词，就编到多少号。表示时用|V|维向量，所以当词典中单词数量非常多时将导致维度灾难，另外各个单词之间是独立的，无法表达两个单词间的相似度。（3）词向量， 又称词的分布式表示或者词嵌入表示分布式假设：一个单词的含义与其上下文有关。这个从直观上比较好理解，就像咱们平常看英文资料时
2020-06-24 18:53:59
185
转载 开源代码网站
http://search.csdn.net/CSDN搜索，CSDN还是有非常多的编程资源的，用它的搜索能搜出不少东西。代码类别也比较全面。http://snippets.org/简单实用的代码收集网站，强力推荐。比如你要找个DES加密，要找个数据压缩，找个INI文件操作的C代码等，均能手到擒来。http://www.codase.com/index.html它
2016-08-07 09:38:01
1646
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人