3 zycxnanwang

尚未进行身份认证

I just want to work hard !And learning knowledge is my favorite hobby!

等级
TA的排名 2w+

Neural Chinese Named Entity Recognition via CNN-LSTM-CRF and Joint Training with Word Segmentation

NeuralChineseNamedEntityRecognitionviaCNN-LSTM-CRFandJointTrainingwithWordSegmentation概述中文与英文相比,词之间没有明显的分隔符,所以很难确定实体的边界,另外中文命名实体识别任务的标注语料也很少。所以文章中作者提出了CNN-LSTM-CRF架构去获得短距离和长距离的内容依赖。同时为了提...

2019-09-17 23:12:30

Adversarial Transfer Learning for Chinese Named Entity Recognition with Self-Attention Mechanism

AdversarialTransferLearningforChineseNamedEntityRecognitionwithSelf-AttentionMechanism概述这篇文章,主要有两个创新点,第一个创新点,命名实体识别任务既要求识别出实体的边界又要求识别出实体的类型。对于中文而言,命名实体识别任务和分词任务共享较多信息(主要是边界信息),但是分词任务也有自己任务...

2019-09-17 22:05:41

Attention in Character-Based BiLSTM-CRF for Chinese Named Entity Recognition

AttentioninCharacter-BasedBiLSTM-CRFforChineseNamedEntityRecognition概述作者提出了一种基于字符(区别于词)的中文命名实体识别方法。提取字符级特征和字形特征,字符级特征和字形特征经过attention机制作用后得到最后的特征,特征作为框架BiLSTM-CRF的输入。经过BiLSTM-CRF的处理,完成命名实体...

2019-09-09 20:04:29

Distant Supervision for Relation Extraction via Piecewise

DistantSupervisionforRelationExtractionviaPiecewiseConvolutionalNeuralNetworks总体概述文章提出了一种PCNN+多示例学习的方法用于远程监督的实体抽取。其中多示例学习的方法主要是克服远程标注中存在的错误标签问题。而PCNN(PiecewiseConvolutionalNeuralNetwork...

2019-09-01 17:58:05

Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Paths

ClassifyingRelationsviaLongShortTermMemoryNetworksalongShortestDependencyPaths概述论文提出了一种SDP-LSTM模型用于实体关系分类,SDP(theshortestdependencypath),在句法依存树中,两实体到公共祖先节点的最短路径。在实体关系分类中,SDP富含多种信息,可以让模...

2019-08-28 21:44:21

End-to-End Relation Extraction using LSTMs on Sequences and Tree Structures

End-to-EndRelationExtractionusingLSTMsonSequencesandTreeStructures概述本篇论文应该是最早提出基于神经网络的联合学习(实体识别、实体关系抽取两个子任务联合学习)的方法。主要的思想是序列LSTM和树型LSTM的叠加,主要的过程是,首先通过序列LSTM识别出相应的实体,然后树型LSTM根据识别出来的实体结果,进行...

2019-08-28 16:52:18

Attention-Based Bidirectional Long Short-Term Memory Networks for

Attention-BasedBidirectionalLongShort-TermMemoryNetworksforRelationClassification概述作者提出了一种基于注意力机制的双向LSTM框架用于关系抽取。方法的主要创新点引入了注意力机制。神经网络框架框架非常简单,也是作者一直强调的。EmbeddingLayer、LSTMlayer、Atten...

2019-08-26 12:44:51

Relation Classification via Convolutional Deep Neural Network

RelationClassificationviaConvolutionalDeepNeuralNetwork最近在学习关系抽取,找了一些经典的论文来看,写下一点自己的理解,方便自己以后查阅。关系抽取关系抽取规范点的定义就是,给定一个包含两个实体e1e_1e1​、e2e_2e2​的句子S,识别两个实体之间的关系(关系一般预先给出)。按照机器学习的思路,关系抽取就是一个多分类...

2019-08-24 20:42:17

pytorch中Tensor各种操作

importtorchpytorch中Tensor初始化#返回全零Tensora=torch.zeros(2,3);print(a)#返回shape和参数一样的全1Tensor,zeros_like类似b=torch.ones_like(a);print(b)#torch.arange(start=0,end,step=1)c=torch.arange...

2019-08-21 22:21:11

pytorch自动求导

自动求导属性importtorch#设置自动求导a=torch.rand((2,4),requires_grad=True)print(a)#查看自动求导属性print(a.requires_grad)#改变自动求导属性a.requires_grad_(False)print(a.requires_grad)tensor([[0.9605,0.0482,...

2019-08-15 10:23:56

基于HMM和CRF的命名实体识别

基于HMM和CRF的命名实体识别前段时间,上了机器学习课程,然后老师布置了个大作业,使用具体的模型应用到具体的任务我写了一个基于HMM和CRF的命名实体识别代码。在此总结一下。数据集数据集是从网上获取的一个简历数据集,存储在/data目录中,分为三个文件,分别是train.char.bmes、test.char.bmes、dev.char.bmes文件。三个文件统一用BIOES标注方法...

2019-07-20 17:15:03

XLNet理解

XLNet理解XLNet是CMU和谷歌大脑在6月份,提出的一个新的预训练模型。在多个任务的性能超越Bert.如果你学习过Bert、Transformer、TransformerXL,XLNet论文看起来会简单很多自回归语言模型Autoregressivelanguagemodeling自回归语言模型通俗点讲,就是已知上文,预测上文的下一个单词。或者已知下文,预测下文的上一个...

2019-07-09 22:06:17

Transformer理解

Transformer理解Transformer,是google,2017年提出的一个特征提取模型,最近大火的Bert就是构建在Transformer的基础上的,所以我们有必要深入学习一下。下面是我通过阅读原论文、博客资料,得到的一些理解背景在Transformer未提出来之前,RNN是自然语言处理领域用得最广的深度学习框架,RNN有两个最大的缺点,一是RNN无法提取长距离依赖信息...

2019-07-07 12:13:38

Bert论文理解

Bert论文理解关于Bert,最近实在太火了,我看了Bert的原论文、JayAlammar(博客专家)关于BERT的介绍、还有知乎张俊林大佬写的从WordEmbedding到Bert模型—自然语言处理中的预训练技术发展史稍微有点理解,所以记录下来。Bert的网络结构​ Bert是一个通用的预训练模型,可以先在海量的未标注数据上,训练Bert模型,得到Bert的参数,之后在下游...

2019-07-04 16:47:27

pytorch损失函数

学习深度学习的过程中一直会遇到损失函数,均方损失函数、交叉熵损失函数、负对数似然损失函数有些时候觉得有点不清晰,所以总结、梳理一下,加深自己的理解MSELoss损失函数#MSELoss有一个参数reduction='sum'求误差和#reduction='mean',求误差平均importtorchmseLoss=torch.nn.MSELoss(reduction...

2019-07-02 18:19:43

docker学习

由于任务需要,所以学习了一下docker,发现docker真得很好用。特别是你没有root、sudo权限的时候,自己构建一个自定义运行时环境是十分方便的。记录一下我主要使用的命令#列出所有镜像sudodockerimagels#查看正在运行的容器sudodockerps#运行容器sudodockerrun-it镜像id镜像命令#构建镜像.是包含Do...

2019-07-02 15:48:30

The Skip-Gram Model

TheSkip-GramModel在许多自然语言处理任务,单词一般被表示成它们的TF-IDF值。TF-IDF虽然可以用来衡量单词对文本的重要程度,但是并没有包含任何的语义信息。Word2Vec代表的是一类将词转化为向量的神经网络模型,词向量较好得保存了词的语义信息。实体识别、文档分类、情感分析等自然语言处理任务,大多都用词向量作为特征,并取得了很好的效果。下面我们介绍一下典型的W...

2019-06-06 11:21:21

pytorch实现BiLSTM+CRF用于NER(命名实体识别)

pytorch实现BiLSTM+CRF用于NER(命名实体识别)在写这篇博客之前,我看了网上关于pytorch,BiLstm+CRF的实现,都是一个版本(对pytorch教程的翻译),翻译得一点质量都没有,还有一些竟然说做得是词性标注,B,I,O是词性标注的tag吗?真是误人子弟。所以自己打算写一篇关于pytorch上实现命名实体识别的翻译,加入自己的理解。前面是一些牢骚话BiLSTM...

2019-05-21 00:04:36

利用pytorch简单实现LSTM

利用pytorch简单实现LSTMLSTM的概念通过观看李宏毅的RNN视频视频链接july关于LSTM的讲解博客链接基本了解了LSTM的概念和原理我觉得两张图就足以概括LSTM这张图完全展示了LSTM前向反向传播的全部过程,想深入了解的可以参考july的博客这是李宏毅老师视频里面的一张图,清晰得展示了forgetGate,inputGate,o...

2019-05-12 22:01:25

HBase

HBASE数据模型概念图模型为了索引一个数据,需要知道其行键+时间戳+列族+列修饰符,也可以形象得认为行键+时间戳+列族+列修饰符构成了一个key,我们通过这个key去索引数据物理视图实际存储的时候,hbase是按照列族存储的hbase是一个稀疏,多维度,分布,排序映射表。需要强调的几点hbase为什么只能更新数据(数据带有新的时间戳)?hbase是构建在h...

2019-04-11 09:59:23

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。