qq_39778575的博客

原创 Sentence Embedding：自注意力机制

论文：ICLR2017-A structured self-attentive sentence embedding梗概： 本文提出了一种基于自注意力机制的sentence embedding，自注意力机制是区别于注意力机制的，他可以减少对外部信息的依赖，只依靠自己的额输入来生成对应的注意力权重，他的权重主要是基于内部的相关性。 我们使用一个2-D的矩阵来表征一个句子，矩阵中的每一行代表句子的一个部分，从而可以更好的反映句子的不同特征，可以更好的进行之后的训练。...

原创 Graph Embedding：随机游走+word2vec

概述： DeepWalk是一种将图节点表示为低维稠密向量的方法，他的原理就是将Random Walk和word2vec相结合的方式，即采用截断随机游走产生固定window的数据，然后应用带skip-gram model中，从而生成低维向量表示。 它有几个显著的特点： 1、可以处理稀疏的图数据，即使标签很少，他也可以使数据显示很好的分类效果 2、并行性：随机游走是随机的，可以在不同顶点进行一定长度的随机游走，多个游走同时进行，可以减少采样时间。 3、适应...

原创 Iterative Entity Alignment via Knowledge Embeddings

概述： 本文主要解决的问题是不同KG间的实体对齐问题。之前解决这个问题主要依靠一些额外的信息来完成，比如维基百科。但在本文中，我们依靠aligned entities也就是已经对齐的实体作为信息，在KRL（知识嵌入）的基础上，将不同实体合并到同一语义空间中，并且采用迭代的方法提高对齐的效果。具体模型： 模型主要分为三个部分：Knowledeg Embeddings-我们通过KRL方法将不同KG的实体分别生成对应的嵌入矩阵。Joint Embedding-我们依靠a...

原创 神经网络交互+协同过滤

论文题目：WWW2017-Neural Collaborative Filtering概述： 我们主要解决的问题是：基于隐式反馈的推荐，我们之前解决推荐问题时，主要都是用MF来解决，但是MF有他自身的局限性，所以本文提出了一种神经网络框架NCF用来解决推荐问题。我们在之前的研究中可以很明显的发现用户与项目间的交互可以很好的提高MF的预测效果，只是简单的将潜在特征内积可能无法做到很好的效果。而这个交互函数，也是本文的关键，NCF框架介绍：从上面图中我们可以看出我们采用多层网络来构...

原创 神经网络翻译+选择注意力机制

梗概： 本文提出了一种新的编码-译码方式，他认为之前提到的RNN-encode-decoder 是因为中间转换的固定向量C，而导致该模型无法有效处理长句序列，因此提出一种为当前预测词从输入序列中自动搜寻相关部分的机制（soft-search），也就是注意力机制具体实现： 因为前面已经对RNN-encoder-decoder做了介绍，所以这里就不在详细的说了。 我们定义最后对应的输出结果为：St为隐状态，Ci为关键，他取决于输入序列的annota...

原创 多实例+选择注意力机制进行远程关系抽取

梗概： 远程监督关系的抽取：被广泛用于从文本中找到新的关系，但这却总会伴着错误的标签，基于这个问题，后面提出了将多实例与神将网络相结合的方法，但会丢失大量有用的信息，训练效果并不好。 因此，本文提出一种基于句子级注意力的CNN用于远程监督关系抽取具体实现： 输入一个句子以及两个实体，我们的model对每个关系r的可能性进行计算 两个模块： Sentence Encoder：输入句子x和两个...

原创 Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

预备知识： RNN：循环神经网络 处理序列化数据，一般用于多输入多输出，数据之间存在关联性 U：输入层到隐藏层的权重矩阵 V：隐藏层到输出层的权重矩阵 W：隐藏层S不仅仅取决于当前这次的的输入x，还取决于上一次隐藏层的值St-1，权重矩阵W就是隐藏层上一次的值作为这一次输入的权重。用公式表示如下： Ot=g(V*St) St=f(U*Xt+W*St-1) 在处理序列化数据时，当序列数据比较长时，RNN展开的层次就会越来越...

原创 Word2Vec：模型的详解以及改进措施

预备知识： 词的表示方法： 独热表示（one-hot）：如：（0,1，….0） 缺点-词越多，维数越多，无法表示词与词之间的关系共现矩阵：同样也存在维数过高的问题 SVD分解矩阵：降维，压缩，用前r个非零奇异值对应的奇异向量表示矩阵的主要特征，这样只需要存三个比较小的矩阵即可，这样就达到了压缩的作用。Distributed Representation:分布式表示/稠密表示，通过训练，将每个词都映射到一个低维的向量...

原创 LINDEN: Linking Named Entities with Knowledge Base via Semantic Knowledge

梗概：提取知识与现有知识库相结合，从而解决实体链接问题Entity linking is to define a similarity measure between the text around the entity mention and the document associated with the entity也就是说，我们需要考虑链接实体的上下文信息，以及知识库中与该实体有关的信息 实体链接的关键便在于similarity measure ，因为实体链接...

原创 YAGO: A Core of Semantic Knowledge Unifying WordNet and Wikipedia

梗概： Wikipedia中有大量的individuals，我们希望可以利用这些大量的实例，同时我们希望在一个知识库中concept可以按分类层次进行排列，但是Wikipedia的分类方式主要是基于主题，并不清晰，所以，我们需要将Wikipedia的实体与WordNet相结合。 在提取Wikipedia中的fact时，需要利用fact的category pages，并不访问page本身。这个category可以给我们很多信息，包括entity，relation，conc...

原创 HAN

一、概括性介绍本文提出了一种用于文本分类的分层注意力网络(Hierarchical Attention Networks)。该模型有两个显著特点：一是该模型有一种分层结构可以对应文本的分层结构（单词和句子）；二是有两种关注机制可以分别应用于“单词”和“句子”层面（Word attention and Sentence attention），使它能够在创建文本表示（text representation ）时区别处理重要和不重要的内容。传统的文本分类方法用稀疏的词汇特征来代表文本，比如n-grams，

原创 An Attention Factor Graph Model for Tweet Entity Linking

一、概述目前有许多关于推特相关的研究，包括事件提取、标签推荐以及主题检测等。从推特中理解和挖掘信息的关键步骤是消除推特实体的歧义，也就是推特实体链接。本文解决的便是Tweet的实体链接问题。现有研究方法存在的局限有两点，一是对于新的信号不够灵活和可拓展（我理解可扩展的含义是同一模型可以用来处理不同的signal）；二是可扩展性不足以处理大型社交网络例如推特。因此本文将推特实体链接问题形式化为因子图模型，提出了一种对实体的选择性注意方法来增加模型的可扩展性。同时为了采用因子图中的注意机制，我们提出了一

原创 SimplE Embedding for Link Prediction in Knowledge Graphs

本文研究的问题是KG中的链路预测问题，首先，什么是链路预测，KG中使由许多三元组构成的，这些三元组为（h，r，t），链路预测便是在这些已知的三元组上完成KG completion工作，是对新的三元组进行预测，以达到补充KG的目的。当然对于LP（Link Prediction）问题，已经有很多解决的方法了，最常见的便是知识图谱嵌入，为所有的实体与关系生成连续的变量空间，以满足KG中的各种关系。而本文中提出了一种SimplE Embedding方法来解决这个问题，而这个方法是在CP方法的基础...

原创 CESI: Canonicalizing Open Knowledge Bases using Embeddings and Side Information

CESI: Canonicalizing Open Knowledge Bases using Embeddings and Side Information 开放性知识库的规范化（个人理解：这里的规范化实际上就是将相同语义的实体或关系聚集在一起，从而表示一个实体或关系），主要是OPENie提取的过程中没有进行区分，最近的研究发现，开放KBS的规范化实际上是特征空间的聚类，我们提出使用知识图谱嵌入+边信息的方法来得到（经过查询，KBE应该主要用在语义查询，链接预测等方面，这里创新性的用在知识...

原创 KMP算法小白级