- 博客(23)
- 收藏
- 关注
RSS订阅原创 利用认知知识图谱推理进行one-shot 关系学习
Cognitive Knowledge Graph Reasoning for One-shot Relational LearningoriginalmotivationDefination of problemmodeloptimizercomplexity analysis实验originalZhengxiao Du1, Chang Zhou2, Ming Ding1, Hongxia ...
2019-07-17 23:19:57
1808
原创 XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet: Generalized Autoregressive Pretrainingfor Language Understandingoriginmotivationproposed methoddiscuss and analysisexperimentfor Language Understanding)originZhilin Yang∗1, Zihang Dai∗12, Y...
2019-06-30 18:42:04
1160
原创 ERNIE: Enhanced Language Representation with Informative Entities
ERNIE: Enhanced Language Representation with Informative Entities来源motivation模型预训练fintuneexperiment来源ACL 2019Zhengyan Zhang1;2;3∗, Xu Han1;2;3∗, Zhiyuan Liu1;2;3y, Xin Jiang4, Maosong Sun1;2;3, Qun...
2019-06-26 19:13:35
635
原创 Unsupervised Deep Structured Semantic Models for Commonsense Reasoning
Unsupervised Deep Structured Semantic Models for Commonsense Reasoningoriginmotivationmodelexperimentorigin2019 naaclShuohang Wang1∗ , Sheng Zhang2, Yelong Shen4, Xiaodong Liu3,Jingjing Liu3, Jian...
2019-05-29 19:12:05
265
原创 Bidirectional Attentive Memory Networks for Question Answering over Knowledge Bases
Bidirectional Attentive Memory Networks for Question Answering overKnowledge Basesoriginmotivationmodeltrain and testexperimentKnowledge Bases)origin2019 naaclyu ChenRensselaer Polytechnic Insti...
2019-05-23 21:30:24
1805
原创 pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inference
pair2vec: Compositional Word-Pair Embeddings for Cross-Sentence Inferenceoriginmotivationorigin2019 naaclMandar Joshiy Eunsol Choiy Omer Levyz Daniel S. Weldy Luke Zettlemoyeryzy Paul G. Allen...
2019-05-20 21:16:48
488
翻译 Question Answering by Reasoning Across Documents with Graph Convolutional Networks
Question Answering by Reasoning Across Documentswith Graph Convolutional Networks来源motivationmodelexperimentappendixwith Graph Convolutional Networks)来源2019 naaclNicola De CaoUniversity of Amste...
2019-05-16 11:03:36
916
转载 LM比较：bert、emlo、GPT、NNLM、word2vec
语言模型的比较语言模型word2vecemlobert语言模型词向量表示：one-hot 形式：缺点：维度灾难、无法捕捉词之间的相似度分布式表示：通过训练将每个词表示成一个ｎ维的向量优点：一定程度上避免维度灾难、使得词义相似的词在距离上更小目前主要是通过训练语言模型的方式，顺便得到词的向量表示。首先语言模型是计算出一段序列在某种语言中出现的概率，word2vecemlober...
2019-04-12 14:23:30
2106
原创 attention 机制
attention 机制motivationattention机制的形式attention的种类attention的应用motivationattention 机制最早是在图像领域提出来的，它受人类在观察事物时会重点关注某一部分而不是全部的启发。attention 机制最早应用在nlp领域中是在机器翻译任务上。机器翻译任务是一个经典的序列到序列的任务，在机器翻译中seq2seq是一个非常热门的...
2019-04-06 16:58:29
758
翻译 attention is all you need(Transformer)
attention is all you need来源研究动机模型结构来源2017 NIPSTransformer 模型谷歌研究动机RNN 是一个广泛使用的神经网络模型用来处理序列数据，但是RNN模型存在训练数据慢、对于长距离依赖关系学习能力不足的缺陷，针对这些特点，本文提出Transformer模型，完全依赖于self-attention 机制，在训练速度以及解决长距离依赖关系学习上...
2019-04-04 11:17:55
284
原创 PCA与SVD
PCA与SVD背景PCA 原理背景在许多研究工作中，需要对多个变量影响的数据进行分析，从大规模的数据中挖掘规律，很多情况下这些数据之间是相互关联的，增加问题分析的难度，如果孤立的对每个指标进行分析，往往会损失很多包含的信息。因此希望寻求一种方式可以减小问题分析的难度，并且保留更多的信息。一个直接的想法是，由于这些变量之间往往存在很多关系，如果可以通过某种方式将多个变量用尽可能少的新变量表示，新...
2019-03-16 16:17:27
626
翻译 Complex Embeddings for Simple Link Prediction
Complex Embeddings for Simple Link Prediction来源背景使用低秩正规矩阵的实部作为关系低秩分解二元多关系数据上的应用损失函数实验部分来源ICML 2016Theo Trouillon ´ 1;2 [email protected] Welbl3 [email protected] R...
2019-03-14 17:29:16
2614
1
原创 知识图谱推理问题总结
背景知识图谱在许多自然语言处理应用中有非常重要的作用，例如问答系统、语义搜索等。这些应用的性能受限于知识图谱的不完整性，甚至是知识图谱中错误内容会导致错误的结果，使用知识图谱推理技术可以对现有知识图谱进行丰富，知识图谱推理技术指的是根据现有的知识图谱中的论据，推断出新的事实，这也是人工智能长久以来追求的目标之一。为了更容易理解知识图谱推理，这里举一个例子来说明，在一个知识图谱中包含 Neymar...
2019-03-09 20:44:19
7840
1
翻译 Variational Knowledge Graph Reasoning
Variational Knowledge Graph Reasoning来源背景motivation补充知识变分知识图谱推断路径推理模块路径寻找模块近似后验模型优化训练实验来源Wenhu Chen, Wenhan Xiong, Xifeng Yan, William Yang WangDepartment of Computer ScienceUniversity of Californ...
2019-03-08 16:14:08
1627
翻译 GO FOR A WALK AND ARRIVE AT THE ANSWER: REASONING OVER PATHS IN KNOWLEDGE BASES USING REINFORCEMENT
go for a walk and arrive at the answer: reason over paths in knowledge bases using reinforcement learning来源背景模型来源2018 ICLR MINERVA模型Rajarshi Das, Shehzaad Dhuliawala, Manzil ZaheerLuke Vilnis, Is...
2019-03-07 10:11:31
2012
翻译 Multi-Hop Knowledge Graph Reasoning with Reward Shaping
Multi-Hop Knowledge Graph Reasoning with Reward Shaping来源背景motivation:模型改进实验代码来源2018 EMNLPXi Victoria Lin Richard Socher Caiming XiongSalesforce Research{xilin,rsocher,cxiong}@salesforce.com背景大...
2019-03-06 10:17:03
2392
翻译 DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning
DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning来源背景Motivation强化学习训练过程实验代码来源2017 EMNLPWenhan Xiong and Thien Hoang and William Yang WangDepartment of Computer ScienceUniver...
2019-03-05 10:19:46
2933
1
翻译 Differentiable Learning of Logical Rules for Knowledge Base Reasoning
Differentiable Learning of Logical Rules for Knowledge Base Reasoning来源背景Motivation模型实验代码来源2017 NipsFan Yang Zhilin Yang William W. CohenSchool of Computer ScienceCarnegie Mellon University{fany...
2019-03-04 15:10:07
1181
翻译 Chains of Reasoning over Entities, Relations, and Text using Recurrent Neural Networks
Chains of Reasoning over Entities, Relations, and Text usingRecurrent Neural Networks来源背景Motivation基于RNN的方法本文改进实验部分代码Recurrent Neural Networks)来源EACL 2017Rajarshi Das, Arvind Neelakantan, David B...
2019-03-02 21:22:43
1760
翻译 Traversing Knowledge Graphs in Vector Space解读
来源EMNLP 2015斯坦福大学Kelvin GuuStanford [email protected] MillerStanford [email protected] LiangStanford [email protected]背景知识图谱在推理和问答系统中有非常广泛的...
2019-03-01 21:45:29
782
翻译 Compositional Vector Space Models for Knowledge Base Completion
Compositional Vector Space Models for Knowledge Base Completion来源背景来源IJCNLP 2015计算机科学系马萨诸塞大学阿默斯特分校Arvind Neelakantan, Benjamin Roth, Andrew McCallum背景...
2019-03-01 10:29:23
1061
1
翻译 embedding entities and relations for learning and inference knowledge base
embedding entities and relations for learning and inference knowledge base 解读来源背景本文的贡献一般化的多关系学习框架实验部分推理任务来源ICLR 2015 微软研究院 和 康奈尔大学背景目前很多研究工作致力于大型知识图谱上的关系学习，其中张量分解以及神经网络embedding方法是其中重要的两种方法。这些表示学习...
2019-02-27 21:37:28
3194
翻译 convolutional 2D knowledge graph embedding 解读
convolutional 2D knowledge graph embedding 解读来源backgroundmotivation模型实验结果代码链接来源AAAI 2018 伦敦大学background知识图谱在很多领域都有广泛的应用，例如搜索、问答、推荐系统等等，但是目前的知识图谱大多存在两个问题：1.知识图谱的不完整性，例如属性缺失或者关系缺失 2. 知识图谱存在错误的关系或者属性...
2019-02-27 15:31:07
5269
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人