- 博客(11)
- 收藏
- 关注
RSS订阅原创 命名实体识别中pytoch的Loss计算
在命名实体识别里面，BiLSTM模型输出的维度是[batch_size, seqlen, tag_nums]target 的维度是[batch_size, seqlen]计算交叉熵损失的时候和文本分类的loss有一丢丢区别。文本分类中的输出是两维的可以有两种计算方式，两种计算方式是一样的。1、先对输出进行维度变换成 [batch_size, tag_nums, seqlen]然后送入nn.CrossEntropyLoss()2、先把维度拉平成两维，然后送入nn.CrossEntro.
2020-09-14 21:49:02
1468
原创 ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记
一、ELMOELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。二、BERTBERT 的训练过程有两种方式，一种是MaskedLM，另外一种是预测下一句话的方法。1. Maske...
2019-08-05 22:02:52
997
原创 Gensim中word2vec和doc2vec的基本用法
一、 word2vec：from gensim.models.word2vec import Word2Vecmodel = Word2Vec(lines, sg=1, size=100, window=5, min_count=5, negative=3, hs=1)其中lines是[['中国','国人','有限','限公','公司'],['学生','生幼','条款']]这种...
2018-09-14 21:40:54
3564
2
原创 Keras中LSTM参数的含义
units:是输出的维度。 在下图中，中间的绿色cell 里面有四个黄色小框，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。参考：https://www.zhihu.com/question/64470274/answer/256379387...
2018-09-14 21:35:03
31641
2
原创 使用tensorflow卷积神经网络实现mnist手写数字识别
在实现mnist手写数字识别的时候，看了极客网上的例子，自己试着实现了一下，但是期间发现了很多问题。于是就把值得注意的地方写在注释里面了，以供后面查阅温习。import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("
2017-10-30 18:25:42
3507
原创 浅谈词嵌入（word embedding）
今天在李宏毅老师的公开课上学习了word embedding，中文就是词嵌入的意思。故将学习内容整理一下，方便以后回顾。1. 引入计算机如何理解一句话，一篇文章的意思呢？计算机是用来做数值运算的，故需要将单词或者词组转换成数字，才能进行存入计算机进行计算机。怎么将文字转化成数字呢？第一种方法是：one-hot方法比如说有cat，dog，apple三个词汇。那么就生成一个
2017-10-24 16:09:53
12426
1
转载 奇异值分解(SVD)原理与在降维中的应用
转载自：http://www.cnblogs.com/pinard/p/6251584.html奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用
2017-10-24 15:17:49
1020
原创 用Python的sklearn库进行PCA（主成分分析）
在python的sklearn的库里面集成很多机器学习算法的库，其中也包括主成分分析的方法。接下来讲讲怎么在python里面使用pca算法首先要导入库：from sklearn.decomposition import PCA下面是官网上的例子：>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3
2016-08-20 00:14:27
150114
19
原创 Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected
2015-12-22 16:39:08
1779
原创 哈夫曼树的创建以及编码
在codeblocks下编译运行通过。#include#include#includetypedef struct{ int weight; int parent,lchild,rchild;}HTNode,*HuffmanTree;typedef char **HuffmanCode;int min1(HuffmanTree t,int i){//函数VOI
2015-11-17 21:22:54
1028
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人