6 立刻有

尚未进行身份认证

功夫不深,捷径也是一条弯路。

等级
TA的排名 1w+

Cross-Domain Review Helpfulness Prediction -论文阅读

Abstract问题:如何估计评论的有用性并将其恰当地推荐给消费者(reviewhelpfulnessprediction)当前方法缺点:每个域需要大量的标注数据。每个域之间是封闭的,当在某些域数据非常少、out-of-vocabulary问题时,需要每个域包含大量标注数据。本文提出基于CNN的模型来利用word-level和character-based表达,解决oov问题。并通过迁移...

2019-09-01 22:08:34

A Survey of Zero-Shot Learning: Settings, Methods, and Applications-阅读笔记

文章目录INTRODUCTIONzero-shotlearning定义:SemanticspaceLearningsettingsSEMANTICSPACESEngineeredSemanticSpacesAttributespacesLexicalspacesText-keywordspacesSomeproblem-specificspacesLearnedSemant...

2019-08-28 23:28:17

Multi-Task Networks With Universe, Group, and Task Feature Learning-阅读笔记

Multi-TaskNetworksWithUniverse,Group,andTaskFeatureLearning文章将任务区分为三个层次:单个任务。任务组(taskgroup)全体任务(taskuniverse)提出一些类MTL框架,包含并行网络结构、串行网络结构,在ATIS,Snips和一个自有大数据集上表现良好。ParallelMTLArc...

2019-08-27 00:17:47

Adversarial Multi-task Learning for Text Classification-阅读笔记

AdversarialMulti-taskLearningforTextClassificationMTL中,通过共享网络层,以期望共享层提取与任务无关的特征,实际过程中可能会包含特定任务的特征或者无关的噪音。基于此,文章提出一个对抗的MTL框架,减少共有特种和私有特征之间的干扰。作者通过在16个不同分类任务上证明其方法可用性,同时,共有特征可以作为知识迁移到新的任务上。主要贡...

2019-08-26 23:51:16

Domain Separation Networks-论文笔记

目的:whattotransfer,以及如何有效避免negativetransfer上。假设:所有的域之间有着公有的特征(Shared)和私有的特征(Private),如果将各个域的私有特征也进行迁移的话就会造成负迁移(negativetransfer)。基于此,提出了DomainSeparationNetworks(DSNs)。DomainSeparationNetwork...

2019-08-23 00:18:56

【Transformer】Transformer笔记

Attentionisallyouneed文章目录AttentionMulti-headattentionSelfAttentionPositionEmbeddingtransformerencodersdecodersReferenceAttentionRNN要逐步递归获得全局信息,双向RNN一定程度解决上下文问题;yt=f(yt−1,xt)y_t=f(y_{t−1...

2019-07-21 18:33:16

斯坦福CS224n课程笔记1-introduction and Word vectors 2019

Humanlanguageandwordmeaning语言是一个低带宽的信息传输方式,相比于5G,这决定了语言的熵会很高。Howdowehaveusablemeaninginacomputer?one-hot的字词表示:词语维度是很高的,而且有很多衍生的词语,接近于无限的维度。词语之间没有相似度,即one-hot向量是正交的,相似词语和不相似词语之间都是正交关系...

2019-07-01 23:37:35

ERNIE: Enhanced Language Representation with Informative Entities

ERNIE:EnhancedLanguageRepresentationwithInformativeEntities当前的预训练语言模型中没有融入KGs信息。而KGs能够为语言理解提供丰富的结构化信息。因此本文提出一种基于大规模语料和KGs训练的增强语言模型ERNIE。实验证明在knowledge-driven任务上,相比于bert取得显著提升。bert融合上下文,ernie融...

2019-06-11 22:40:55

【胶囊网络-CapsNet】胶囊网络-CapsNet原理

动机CNN缺陷:无法从新的视角去理解对象。例如下图中,当图片角度发生变化,就会无法识别。CNN通过数据增强,即会将图片进行翻转,旋转等操作。会造成数据量变得非常大,降低训练速度。难以识别精确空间关系。比方说右图中尽管嘴巴的相对位置发生了改变,CNN仍会将其识别成人脸。最大池化。减少通过网络的数据的空间大小,从而增加了上层网络神经元的“视野”。丢失了大量信息,因为...

2019-04-01 23:24:28

【胶囊网络-CapsNet】Investigating Capsule Networks with Dynamic Routing for Text Classification

InvestigatingCapsuleNetworkswithDynamicRoutingforTextClassification发表在EMNLP2018文章目录ModelN-gramconvolutionallayerprimarycapsulelayerChild-ParentRelationshipsDynamicRoutingconvolution...

2019-03-26 23:03:45

【胶囊网络-CapsNet】李宏毅CapsNet课程笔记

Capsule神经网络和胶囊网络区别:神经网络每个神经元输出的是一个标量,胶囊网络输出是一个向量。一个神经元检测一种pattern,例如一个神经元检测往左的鸟嘴,一个神经元是检测往右的鸟嘴。而胶囊是检测某一个种类的pattern。例如鸟嘴。其中,W1,W2W^1,W^2W1,W2是通过训练决定的,而C1,C2C_1,C_2C1​,C2​是通过动态路由算法得到的。可以拿maxp...

2019-03-24 23:54:26

Doc Embedding-语义相似度计算

数据集公开数据集英文:GLUE数据集中的MNLI,QQP,QNLI,STS-B,MRPC,RTE,[SWAG].STS基准收集了2012年至2017年国际语义评测SemEval中所有的英语数据。SICK数据集包含了10000对英语句子,其中的标签说明了它们之间的语义关联和逻辑关系[SEMEVAL-2012](http://www.cs.york.ac.uk/semeva...

2019-01-07 22:28:25

BERT简单使用

文章目录UseBERTasfeature环境入口最终结果预处理UseBERTasfeature如何调用bert,将输入的语句输出为向量?如果在自己的代码中添加bert作为底层特征,需要官方例子run_classifier.py的那么多代码吗?环境mac:tf==1.4.0python=2.7windows:tf==1.12python=3.5入口调用预训...

2019-01-03 23:52:37

读博士前要了解的20件事

机器学习大牛、谷歌AI总负责人JeffDean发推转帖,推荐了一篇刚毕业的博士生写的文章,内容与技术无关,而是关于攻读博士学位时需要注意的一些小tip。此文发表在《自然》官网的Career专栏上。**1.找到适合自己的计划和节奏,在工作与生活之间保持健康的平衡。**最好是在整个计划中保持良好的平衡,并稳定工作,而不是集中全部精力工作,把自己累得精疲力竭。学会照顾自己是成功的关键。**2....

2018-11-15 17:30:10

谷歌机器对话Self-Play框架M2M-Building a Conversational Agent Overnight with Dialogue Self-Play

BuildingaConversationalAgentOvernightwithDialogueSelf-PlayGoogle提出了MachinesTalkingToMachines(M2M,机器对话机器)的框架,这是一个功能导向的流程,用于训练对话智能体。其主要目标是通过自动化任务无关的步骤以减少建立对话数据集所需的代价,从而对话开发者只需要提供对话的任务特定的层面。...

2018-11-13 22:27:01

对话系统

本文是个人笔记,来源于资料标注与reference中。对话系统涉及的五种主要技术。语音识别(ASR)口语理解(SLU)对话管理(DM)自然语言生成(NLG)文本生成语音(TTS)口语理解-SLU输入经过ASR输出的语句,将其转换为语义表示,如frame形式,包含intent和多个槽位,如订票系统中的:speechActType,departureCity,destination...

2018-11-13 22:23:59

BERT-Bidirectional Encoder Representations from Transformers

BERT,orBidirectionalEncoderRepresentationsfromTransformersBERT是google最新提出的NLP预训练方法,在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于我们关心的下游NLP任务(如分类、阅读理解)。BERT优于以前的方法,因为它是用于预训练NLP的第一个**无监督,深度双向**系统。简单...

2018-11-06 22:27:45

ELMo - Deep contextualized word representations

Deepcontextualizedwordrepresentations(ELMo)最近NLP突飞猛进,现有ELMo,后有BERT,周末整理一波。glove以及word2vec的wordembedding在nlp任务中都取得了最好的效果,现在几乎没有一个NLP的任务中不加wordembedding.常用的获取embedding方法都是通过训练languagemodel,...

2018-11-06 22:25:15

『 论文阅读』Slot-Gated Modeling for Joint Slot Filling and Intent Prediction

文章目录贡献:2.模型2.1底层特征:2.2attention:2.3slot-Gate:实验结果:conclusionReference来自论文:《Slot-GatedModelingforJointSlotFillingandIntentPrediction》基于Attention的RNN模型在联合意图识别(ID)和槽位填充(SF)上实现最好性能(其ID和SF的...

2018-10-14 23:11:34

『 论文阅读』Attention-Based Recurrent Neural Network Models for Joint Intent Detection and Slot Filling

文章目录1、加入Attention机制和对齐机制的RNN编码器-解码器模型1.1底层特征:1.1.1BiRNN(GRUorLSTM)1.2attention:2、加入Attention机制的RNN模型。实验结果:ConclusionsReference来自于论文:《Attention-BasedRecurrentNeuralNetworkModelsforJointIn...

2018-10-14 23:04:54

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。