5 lwgkzl

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 4k+

【MEDICAL】Attend to Medical Ontologies: Content Selection for Clinical Abstractive Summarization

任务: 据作者说,英文的医疗影像报告同时具有两个描述,一个是FINDINGS,阐述了整个图像的细节与特点,还有一个是IMPRESSION,只重点描述图像中的关键信息,这些关键信息是包含在FINDINGS里面的。总之,本篇论文做的就是利用这个FINDINGS来生成IMPRESSION,即在文本摘要在医疗领域的应用。模型: Content Selector:这个选择器采用序列标注的形式来实现,整个FINDINGS序列的每个词有0,1两种标注。如...

2020-06-19 10:59:03

allennlp 中的TypeError: Object of type Tensor is not JSON serializable错误

错误展示:File "/home/yanshangyao/anaconda3/envs/torch14/bin/allennlp", line 8, in <module> sys.exit(run()) File "/home/yanshangyao/anaconda3/envs/torch14/lib/python3.7/site-packages/allennlp/run.py", line 18, in run main(prog="allennlp") F

2020-06-18 16:22:10

python的正则表达式匹配如何找到所有匹配成功的部分(包括重叠的)

比如: st = “平安夜吃苹果呀小菇凉” , pattern = '((平|苹).*?果)‘我希望匹配的字符串是 "平安夜吃苹果" 以及 “苹果” 很显然后面那个是包含在前面一个字符串中的。解决方式有两种:1. ?= 原理暂时我没有弄清楚,请路过的大佬指点在这个pattern的周围加上一个?=,然后套一个分组括号。详见代码:st = "平安夜吃苹果呀小菇凉"...

2020-04-23 16:11:43

运行bash文件报错 syntax error near unexpected token '$'do\r''

在pycharm上直接写了一个sh文件,到服务器上面运行就报错,错误如标题。then,在服务器上vim把所有的换行,空格删掉重打无效最后,总结了错误原因以及两种解决方式。原因:其实很多博客讲了,因为windows和linux系统换行符的不同,在windows中换行符是'\r\n',而在linux中只有'\n',现在我们就明白报错的意义了, windows格式写的代码放到linux执...

2020-04-09 18:17:07

point-wise element-wise

先占个坑point-wise element-wise实际上是同一个东西,就是两个矩阵的对应位置逐点相乘,也就是说这两个矩阵的大小要是一样的。不同的人有不同的表达,还有一个Hadamard product实际上也是同一个意思。...

2020-04-08 20:28:05

RuntimeError: reduce failed to synchronize: device-side assert triggered pytorch训练

总述:本意在于记录一下这个问题产生的种种情况,请注意不是显卡坏了,而是代码出错了。1. nan问题在训练的时候,长久累积某一个tensor,导致他的值过大产生nan。还有可能是,某一个参数没有初始化,使得内存地址随意赋值,常出现于nn.paramter()的时候...

2019-12-10 03:29:41

[NLU] DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation

总述:最大的特色就是将GCN用在了对话情感识别上,这里的coversation可能是不止两个人的。然后故事写得很好,inter-dependency和intra-dependency还有self-dependency唬的我一愣一愣的。主要模型:inter-depencency intra-dependency所谓的inter-dependency其实就是说某一个speak对其他...

2019-11-18 23:45:38

[NLG] A Context-aware Natural Language Generator for Dialogue Systems

总述:16年的文章,感觉方法在现在看来已经很easy了,可见NLP领域的发展之迅速。文章主要讨论了如何将context 引入到当前生成的句子中,baseline和seq2seq attention做对比,作者采用了两种方式,一种将context直接简单的接到DA的前面,DA(dialog action就是一些键值对)。第二种就是将context单独encoder成一个向量,然后和DAenc...

2019-11-18 00:42:38

[NLU] Enhancing Dialogue Symptom Diagnosis with Global Attention and Symptom Graph

总述:通过构造一种global attention的机制以及构造了symptom的图,提高了在医疗对话中,对于每一句话出现symptom的预测精度。以及提高了symptom inference(对于一种症状,病人是否有)的精度贡献:1.有一个开源的中文医疗对话数据集,大约两千多个对话,标注了BIO,做了symptom normalization。有四种病,大约162中症状2.结合了...

2019-11-16 16:46:50

[NLU] Extracting Symptoms and their Status from Clinical Conversations

总述:像是陈年玉米,又长又难嚼还没啥营养。大抵就是他收集了3K诊所问诊的录音,然后在每一段录音的基础上识别出问诊过程中涉及到了哪些症状,以及推断这些症状是否出现在病人身上。但是其实模型very simple,就是一个lstm+CRF做tag的任务QAQ,不过实验室做了挺多的,类似于transformer的encoder和lstm的encoder,还有加权和不加权的eval metric, ...

2019-11-14 11:30:27

[NLG]A Working Memory Model for Task-oriented Dialog Response Generation

总述:memNN常用于在对话中引入KB的知识,然而之前的工作大多数把dialogue history和KB的memory混在一起,作者借鉴了心理学的研究。有个work memory(类似于电脑内存的感觉)可以和两个记忆做交互,一个知识记忆(semantic memory),一个历史记忆(episodic memory).然后作者就设计了一个模型,将对话历史作为历史记忆,将KB结构化知识作为知识...

2019-11-11 12:23:27

[NLU] Improving Multi-turn Dialogue Modelling with Utterance ReWriter

总述: 主要是有一个utterance rewriter的机制,将一句话里面的省略和共指关系给找出来,然后形成一句新的话语,这样显示的声明一句话的省略部分和共指词可以提高对话系统的效果。具体来说对于task-oriented对话系统,提高了intention Precision(每一句话的意图检测),对于chitchat,提高了CPS:coversation-turns-persess...

2019-11-09 11:56:00

[NLG] Comparison of Diverse Decoding Methods from Conditional Language

总述:总体上是一篇survey,不过后面在基础模型上加了oversampling的改进,然后还对原来的clustering post decoding做了改进。重点在于介绍在conditional language model (就是通过前文预测下一个单词的模型,如GPT)下如何使句子的生成具有diverse(多样性)主要模型:1.首先介绍了贪心编码(arg-max),每一次根据当前的...

2019-11-04 11:44:08

[NLG] Domain Adaptive Dialog Generation via Meta Learning

总述:这篇文章貌似就是把end2end模式的dialogue system套了一层maml的更新方式,然后在few-shot领域上的效果比之前赵天成的ZSDG效果要好。感觉思路很清新也很简单,不知道是不是我没看懂QAQ总之要看懂这篇论文,首先得看下Sequicity和 MaMl模型: 首先介绍一下maml的主要思想:maml就是说有多个domain的数据a1,a2,a3...

2019-10-24 01:34:08

[DM]Sequicity: Simplifying Task-oriented Dialogue Systems with Single Sequence-to-Sequence Architect

总述:这篇文章的主要特色在于生成dialogue believes,也就是作者所谓的belief span,在对话管理模块中,一般都需要首先对一句话的belief进行分类(就是一些slot-value对,一般来说分为两种类型,一种informable类型的,要告诉用户某一些具体信息,一种requestable类型的,需要记住用户需要什么。对于某一个informable类型比如说餐馆风味,有很多...

2019-10-20 00:34:59

[NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach

总述: 我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳,但是迫于每一句话都需要标注dialogu action,所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作,第一个zero-shot,第二个laed(用于在大规模数据中学习找到对话潜在的latent action)。然后作者就认为,在大规模无标签对话中用laed学习可以学到隐式的dialog ac...

2019-10-19 15:39:26

[NLG] Pretraining for Conditional Generation with Pseudo Self Attention

摘要: 这篇文章的主要idea就是如何用现在已经有的语言模型,稍微引导一下生成基于某些条件的话语。如给个情感,生成一个带情感的句子。作者在GPT2的结构上稍微修改了self-attention机制,命名为Pseudo-Self,在decoder的时候引入外部控制,并且这样做能够尽量小的影响GPT2之前的训练参数,达到的很好的效果。模型:作者主要对比了前面两种工作,关于这两种工作...

2019-10-17 00:55:16

[NLG]Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generat

看这篇paper看的自闭了。作者用了太多操作了。。。摘要: 作者的意思应该是要在一些无监督的语句中学会一些可解释的离散的laent action,然后用这些laent action指导对话的生成。什么叫可解释呢,我觉得这篇论文的意思就是,这个latent(意图,动作,相当于slot-value对)和这一句对话有直接的关系。然后作者就用了两个新的模型,实际上就是魔改了VAE(看的我脑阔痛)...

2019-10-15 01:42:19

[NLG] Zero-Shot Dialog Generation with Cross-Domain Latent Actions

摘要: 简单来说,就是实现了对话生成的zero shot(零次学习)。首先在一些source domain当中学习一些domain的基本描述,希望学到的这些基本描述能够用于target domain的对话生成,其中source domain的领域和target domain完全不一样。但是属性是共同的。主要工作: 1.提出来一种新的抽取domain 属性和描述的方法:seed...

2019-10-13 01:31:19

[NLG]GECOR: An End-to-End Generative Ellipsis and Co-reference Resolution Model for Task-Oriented Di

摘要: 之前还没有人做过multi-turn dialogue的有关省略和共指词汇的研究,只有短文本恢复省略词汇的研究。本文作者通过构造一个数据集(数据集中将dialogue的省略词和共指词都标记了出来),然后结合attention和copynet提出了一个end2end的multi-task学习框架。学习在结合上文的情况下,如何生成省略词和共指词。并且EM,BLEU,F1的效果不错。主...

2019-10-10 15:07:21

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。