- 博客(28)
- 收藏
- 关注
RSS订阅原创 Elmo原文翻译
原文链接#Deep contextualized word representations##1.Introduction什么是一个好的词向量能够反映出语义和语法的复杂特征.能够准确的对不同上下文进行反应.deep contextualized 词向量的特点使用理念方面:在原先的词向量模型中, 每个词对应着一个向量, 但是这个模型是根据一个句子赋予每个词汇向量. 因此对...
2019-03-17 18:07:40
2661
原创 如何使用tensorflow加载keras训练好的模型
感谢How to convert your Keras models to Tensorflow前言最近实验室碰到一个奇怪的需求，大家分别构建不同的NLP模型，最后需要进行整合，可是由于有的同学使用的是keras，有的同学喜欢使用TensorFlow，这样导致在构建接口时无法统一不同模型load的方式，每一个模型单独使用一种load的方式的话导致了很多重复开发，效率不高的同时也对项目的可...
2018-12-02 15:30:28
5780
原创 attention+RNN做文本情感分类《Recurrent Attention Network on Memory for Aspect Sentiment Analysis》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2017 代码链接摘要本文提出了一种基于多重attention的可以捕捉长距离情感特征的框架，该框架对无关信息具有更强的鲁棒性，并且将多重attention的结果与RNN进行非线性组合，从而模型能够提取更加复杂的特征。实验表明本文提出的框架效果不错。模型我们假设输入句子是一个序列 s={s1,s2,....
2018-09-10 13:47:10
3716
转载 seq2seq模型实现
致谢 找了很久才找到的一个非常不错的seq2seq实现的教程 源代码基于tensorflow 1.6 原文链接正文本文是基于TensorFlow 1.6版本的Seq2Seq模型实现了一个机器翻译（Machine Translation）模型的baseline。本篇代码与去年我在知乎专栏上发表的从Encoder到Decoder实现Seq2Seq模型大同小异，更新的原...
2018-09-05 13:21:56
1374
1
原创 DPCNN做文本分类《Deep Pyramid Convolutional Neural Networks for Text Categorization》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2017 代码链接摘要
2018-08-28 16:06:57
10051
5
原创 CNN做文本分类《Effective Use of Word Order for Text Categorization with Convolutional Neural Networks》
原文链接 本文发表于自然语言处理领域顶级会议 NAACL 2015摘要本文将CNN用于文本分类任务，没有像传统方法那样采用低维词向量作为输入，而是采用高维，还提出了一种在卷积中使用的词袋转换的变体，为了提高准确率，还探索了将多个卷积层结合的方法，实验表明效果不错。模型1.bow-CNN for text 假设我们有一个词库 V={我，他，它，爱，你}V={我...
2018-08-25 17:23:58
905
原创 深层CNN做文本分类《Very Deep Convolutional Networks for Natural Language Processing》
原文链接 本文是人工智能著名学者Yann Lecun的作品 代码链接摘要传统解决NLP任务的网络结构为RNN和CNN，但是比起在图像领域的效果，CNN在NLP领域的效果实在是差强人意，本文提出了一种新型的CNN结构，它直接在字符级别上进行操作，并且只使用简单的卷积和池化操作。本文实验表明，模型的性能随着深度的增加而增加，本文最终使用了29个卷积层，在公开数据集上进行...
2018-08-24 14:21:55
1855
1
原创 CNN文本分类《Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Charact》
原文链接 本文仅在axive上发表摘要在文本分类领域，主要都是基于CNN和LSTM来做的，但是LSTM的复杂度比CNN高得多，一旦进行长文本或大量文本的训练，就会特别耗时，而CNN就要快得多。故本文在长文本分类领域对比了在字符级别和词语级别的CNN模型分别的效果:Our earlier work (2015) [3, 4]: shallow word-level C...
2018-08-24 12:48:29
1106
原创 使用语言学特征进行文本情感分类《Linguistically Regularized LSTM for Sentiment Classification》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2017 代码链接摘要本文主要是做句子情感分类任务的研究，前人做的工作大多都依赖于短语级别的标注，这样费时费力，而一旦仅使用句子级别的标注的话模型效果就会大幅下降。本文提出了一种简单的句子级情感分类模型，把语言学规则（情感词典，否定词和程度副词）融入到现有的句子级LSTM情感分类模型中。模型 语言学知...
2018-08-23 13:47:44
1908
原创 文本情感转换《Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer》
原文链接 本文发表于自然语言处理领域顶级会议 NAACL 2018摘要本文认为文本情感转换任务可以定义为：只将句子的情感改变，而不改变与情感无关的部分，比如“这件衣服的尺码很合适”改为“这件衣服的尺码太小啦”，仅仅将“很合适”改为“太小啦”，因为这两个词是影响到句子的“情感”的，其它部分则是无关紧要的存在。本文的训练集是一些被标注了所属情感（positive或negati...
2018-08-22 23:25:06
1744
原创 拒绝踩坑！从源码编译安装 Tensorflow 1.10GPU版本
致谢 tensorflow官方文档 How to Install Tensorflow GPU with CUDA 9.2 for Python on Ubuntu 以及一系列“十分有效”的解决方案及博文前言从源码编译安装tensorflow理论上可以安装tensorflow任意版本！从此不再踩坑！tensorflow gpu版本的安装一直是所有deep le...
2018-08-15 14:21:13
22957
8
原创 论文笔记《Neural Factorization Machines for Sparse Predictive Analytics》
原文链接 本文发表于信息检索领域顶级会议 SIGIR 2017 代码链接摘要在当今互联网工业界中，有许多预测任务需要用到大量的类别特征。要想将这些类别特征送入到模型中，就必须得将其onehot。但这样一来，就会产生大量的稀疏特征...
2018-08-13 15:36:44
3360
2
原创 论文笔记《Domain Adapted Word Embeddings for Improved Sentiment Classification》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2018摘要通用的词语embedding是在大规模语料下训练出来的具有通用性的特点，但在特定领域表现欠佳，而特定领域的词语embedding仅在特定领域能够使用，欠缺通用性。本文提出了一种兼具通用性和领域性的词语embedding方式，实验效果不错。模型设矩阵 WDS∈R|VDS|×d1WDS∈R|VDS|...
2018-08-11 22:23:40
524
1
原创 基于树模型的机器翻译《Forest-Based Neural Machine Translation》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2018
2018-08-09 19:48:51
558
原创 论文笔记《Consensus Attention-based Neural Networks for Chinese Reading Comprehension》
原文链接 本文发表于人工智能领域B类会议 COLING 2016摘要随着NLP研究如火如荼的发展，机器阅读理解技术也有了一个爆炸式的增长，一些机构公开的完形填空式的阅读理解数据集，极大的促进了机器阅读理解技术的提升。本文首先提出了提出了两个中文阅读理解数据集，分别为日常新闻数据集和儿童通话数据集。此外，本文提出了一种基于consensus attention的神经网络，其...
2018-08-07 17:08:42
830
2
原创 论文笔记《Attention Is All You Need》
原文链接 本文发表于人工智能顶级会议 NIPS 2017 代码实现摘要现在主流的sequence2sequence的模型都是基于复杂的CNN或RNN结构，目前效果最好的几个模型都采用了attention机制，本文提出了一种新的简单的网络结构，能够完全抛弃CNN和RNN，只需要使用attention就能够让效果变得非常好。模型本文模型如下图所示： 图...
2018-08-06 21:54:33
2460
原创 监督学习词向量的方法《Deep contextualized word representations》
原文链接 本文发表于自然语言处理领域顶级会议 ACL 2018摘要本文提出了一种提取深层次语义特征的词向量的方法，该方法是通过一个在大规模语料库上预训练得到的模型来提取词向量的。通过本文方法提取到的词向量效果十分好，可用于多种类型的NLP任务。模型本文提出的新型词向量表示方式，其实是把一个双向...
2018-08-06 16:36:45
4392
1
原创 论文笔记《Targeted Aspect-Based Sentiment Analysis via Embedding Commonsense Knowledge into an Attentive》
原文链接 本文发表于人工智能领域顶级会议 AAAI 2018摘要在情感分类任务中，人们关注的往往是一句话中所表露出情感的“最重要”的一部分，比如在美团上经常会有这种评价：“这家店的菜做的不错，但是服务特别差！”，而对于餐厅管理者来说，这条评论他们最关注的是“这家店服务特别差”这个部分，即整个句子对他们餐厅所表现出来的情感是“不满意”的。本文提出一种方案，通过将句子中的重要...
2018-07-31 13:52:20
5447
3
原创 用神经网络做情感分类《Transformation Networks for Target-Oriented Sentiment Classification》
原文链接 本文发表于自然语言处理顶级会议 ACL 2018 项目源码链接摘要在情感分类任务中，人们关注的往往是一句话中所表露出情感的“最重要”的一部分，比如在美团上经常会有这种评价：“这家店的菜做的不错，但是服务特别差！”，而对于餐厅管理者来说，这条评论他们最关注的是“这家店服务特别差”这个部分，即整个句子对他们餐厅所表现出来的情感是“不满意”的，“这家店菜做的不错...
2018-07-29 15:23:22
5644
1
原创 将迁移学习用于文本分类 《 Universal Language Model Fine-tuning for Text Classification》
本文发表于自然语言处理领域顶级会议 ACL 2018 原文链接 特别说明：笔记掺杂了本人大量的个人理解，以及口语化的语言，由于本人水平有限，极有可能曲解原文的意思，各位看官随意看看，切莫当真~摘要迁移学习在图像领域大放异彩，可是在NLP领域却用途寥寥，这是因为现有的NLP模型都与迁移学习不兼容，每次更新任务都需要重头开始训练模型，否则就会导致模型习得的语言特征灾难性地丢...
2018-07-27 20:07:43
7422
3
原创 中文实体抽取（NER）论文笔记《Chinese NER Using Lattice LSTM》
原文链接 本文发表于自然语言处理领域顶级会议ACL 2018摘要本文提出了一种用于中文NER的LSTM的格子模型，与传统使用字向量的模型相比，本文提出的模型显式地利用了字序列之间的关系。与传统使用词向量的模型相比，本文提出的模型能够很好的避免分词错误带来的影响。介绍：作为信息抽取任务的基本步骤，NER一直受到NLP学界的广泛关注。传统方法一般把NER看作是一个序列...
2018-07-20 19:32:59
20270
18
原创 Java 运行时内存区域
本文参考《深入理解java虚拟机》java运行时内存区域如图所示： 1.程序计数器 用于指示下一条执行哪个命令 由于java虚拟机的多线程是通过线程轮流切换并分配处理器执行时间的方式实现的，在任意一个确定的时刻，处理器只会执行一条线程中的指令，因此为了能够正确切换，每个线程都有自己的程序计数器2.java虚拟机栈 与程序计数器一样，它也是线程私有的，它的生命周期与线程相同。每一个方法从调用
2018-02-28 18:09:50
2156
转载 多层感知机(Multi-Layer Perception)
鸣谢 多层感知机及其BP算法（Multi-Layer Perception）Deep Learning 近年来在各个领域都取得了 state-of-the-art 的效果，对于原始未加工且单独不可解释的特征尤为有效，传统的方法依赖手工选取特征，而 Neural Network 可以进行学习，通过层次结构学习到更利于任务的特征。得益于近年来互联网充足的数据，计算机硬件的发展以及大规模并行化的普及
2017-11-28 00:06:05
7778
原创 矩阵奇异值分解(SVD)与主成份分析(PCA)详解
鸣谢 本文引用了如下文章，如有侵权，请联系删除 主成分分析（PCA）原理详解 邹博机器学习教程矩阵奇异值分解(SVD)奇异值分解(Singular Value Decomposition)是一种重要的矩阵分解方法，可以看作对称方阵在任意矩阵上的推广。假设A是一个m*n阶实矩阵，则存在一个分解使得： Am∗n=Um∗mσm∗nVTn∗nA_{m*n}=U_{m*m}\sigma_{
2017-11-13 15:21:00
6680
原创 支持向量机详解(SVM)
鸣谢 本文引用了下列文章或书籍 1.《机器学习》俗称西瓜书，作者：周志华 2.用讲故事的办法帮你理解SMO算法 3.吴恩达CS299课堂资料说到支持向量机，首先得介绍一些基础知识，现在开始。凸集凸集定义：集合C内任意两点连成的线段（注意和仿射集的区别）都在集合C内，则C为凸集。 举个例子： 显然上图中，左图是凸集，右边那个像肾一样的肯定不是凸集~凸包凸包定义：包含集合C的
2017-10-22 16:10:26
3745
1
原创 (蒙特卡洛方法)求任意一点（X，Y）落在心形区域的概率（2017阿里在线编程题）
这个题首先2和3看不清坑了很多人，应该是3次方而不是2次方 真是看瞎了自己的钛合金狗眼啊 = =不多说，上高清大图： 看到这个题目，第一反应就是蒙特卡洛方法，现在来介绍一下什么是蒙特卡洛方法，其实很简单的定义，即： 当所求解问题是某种随机事件出现的概率，或者是某个随机变量的期望值时，通过某种“实验”的方法，以这种事件出现的频率估计这一随机事件的概率，或者得到这个随机变量的某些数字特征，并
2017-10-15 23:09:44
3371
原创 Java引用详解
本文参考了《疯狂Java讲义 第四版》正文开始Java四种引用包括强引用，软引用，弱引用，虚引用。强引用： 就是最普通最常见的引用，这种情况只要引用存在，垃圾回收器就永远不会回收该对象，比如：Object obj = new Object();软引用： 若一个对象只有软引用，只有当内存不够时，垃圾回收机制才会将其回收，用法如下代码所示：Object obj = new Object()
2017-10-12 23:45:47
2311
原创 RNN循环神经网络学习笔记
RNN循环神经网络学习笔记 本文图片截取自《Tensorflow 实战Google深度学习框架》 参考了Understanding LSTM Networks注意阅读本文需要先学习了最基本的神经网络知识以下是正文RNN其基本结构如图： 先解释一下该图为一个最简单的三层神经网络，即（输入-隐含-输出）结构，其中该神经网络的隐含层。图中为隐含层在第t个时间接受到的输入，为隐含层在第t个时间
2017-10-05 20:57:07
2371
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人