17 数据娃掘

尚未进行身份认证

人生何需久睡,死后自会长眠

等级
TA的排名 1k+

Star-Transformer

【精简Transformer】Star-Transformer本文是复旦大学发表于NAACL2019的工作。文章的主要贡献在于精简transformer,增强了在modestlysizedatasets上的表现。精简思路非常清晰且具有可解释性质,消解实验和对比实验也很有针对性。摘要虽然transformer在很多NLP任务上都取得了很大的成功,但是它的结构很重,注意力连接...

2019-10-11 11:11:56

How do they apply BERT in the clinical domain?【BERT in clinical domain】

ThisstoryispublishedinbothDev.toandMedium.ContextualwordembeddingsisproventhathavedramaticallyimprovedNLPmodelperformanceviaELMo(Petersetal.,2018),BERT(Devlinetal.,2018...

2019-08-01 19:32:24

Some examples of applying BERT in specific domain【Applying BERT in specific domain】

Severalnewpre-trainedcontextualizedembeddingsarereleasedin2018.Newstate-of-the-artresultsischangingeverymonth.BERTisoneofthefamousmodel.Inthisstory,wewillextendBERTtosee...

2019-08-01 19:25:20

19 entities for 104 languages: A new era of NER with the DeepPavlov multilingual BERT

There’shardlyanyoneleftintheworlddatasciencecommunitywhowouldn’tagreethatthereleaseofBERTwasthemostexcitingeventintheNLPfield.Forthosewhostillhaven’theard:BERTisa...

2019-08-01 18:57:37

BERT for unsupervised text tasks

ThispostdiscusseshowweuseBERTandsimilarself-attentionarchitecturestoaddressvarioustextcrunchingtasksatEtherLabs.Self-attentionarchitectureshavecaughttheattentionofNLPpract...

2019-08-01 18:49:27

Multi-Task Deep Neural Networks for Natural Language Understanding【MT-DNN模型】

背景机构:微软亚洲研究院NLP组与SDRG(微软雷德蒙德语音对话研究组)作者:XiaodongLiu、PengchengHe发布地方:arxiv面向任务:自然语言理解任务(NLU)的学习表示论文地址:https://arxiv.org/abs/1901.11504论文代码:https://github.com/namisan/mt-dnn更多代码版本参见:https://...

2019-06-02 05:41:01

问题生成(QG)总结

问题生成(QG)总结(2018.8) 背景: 为什么要研究QG? 从人的经验看,好的学习者一定是擅长提问的。机器知识库作为“学习者”,也许可以利用主动提问来高效构建或者补充知识库,扩充数据集等等。 现在的一些应用场景:在教育领域,帮助学生来提问;在对话领域,作为冷启动来开始一个话题或者通过提问来获得反馈;在医药领域,可以用于自动问诊系统,作为一种辅助工具等等,可以看到应用场景还是...

2019-02-23 20:55:23

论文阅读 QA与QG联合学习

详细:https://blog.csdn.net/thormas1996/article/details/81081529https://blog.csdn.net/thormas1996/article/details/81537657https://blog.csdn.net/aprilvkuo/article/details/78681862https://blog.csdn...

2019-02-13 12:09:55

《A Survey on Transfer Learning》中文版翻译《迁移学习研究综述》

首先感谢(http://blog.csdn.net/magic_leg/article/details/73957331)这篇博客首次将《ASurveyonTransferLearning》这篇文章翻译成中文版,给予我们很大的参考。但上述作者翻译的内容有很多不准确的词语、省略了很多内容、工作略显粗糙,因此本文将给出一篇完整近乎准确的中文版《ASurveyonTransferLe...

2018-10-19 17:38:48

【收藏】各种乘法的区别 “点积、外积、数乘...等”

I'veseenseveralconventions,including ⋅⋅, ∘∘, ∗∗, ⊗⊗,and ⊙⊙.However,mostofthesehaveoverloadedmeanings(see http://en.wikipedia.org/wiki/List_of_mathematical_symbols).Thus,inmypersona...

2018-09-18 10:39:33

迁移学习和多任务学习

迁移学习总结一下,什么时候迁移学习是有意义的?如果你想从任务A学习并迁移一些知识到任务B,那么当任务A和任务B都有同样的输入时,迁移学习是有意义的。在第一个例子中,A和B的输入都是图像,在第二个例子中,两者输入都是音频。当任务A的数据比任务多得多时,迁移学习意义更大。所有这些假设的前提都是,你希望提高任务B的性能,因为任务B每个数据更有价值,对任务A来说通常任务的数据量必须大得多,才有帮助,因...

2018-09-04 17:58:34

【ICML2018见闻】 迁移学习、多任务学习领域的进展

【导读】如今ICML(InternationalConferenceonMachineLearning,国际机器学习大会)已经成为有巨大影响力的会议,每年都会为我们带来很多关于机器学习趋势与发展方向等有意义的分享。今年的ICML有三个讨论会都重点讨论了迁移学习和多任务学习。本文的作者(IsaacGodfried)也是对这两个领域的研究内容非常感兴趣,接下来AI科技大本营将把 ...

2018-09-04 17:57:07

论文复现|pointer-generator

论文代码链接:https://github.com/becxer/pointer-generator/一、数据(cnn,dailymail)数据处理(代码链接):https://github.com/becxer/cnn-dailymail/把数据集处理成二进制形式1、下载数据需翻墙,下载cnn和dailymail的两个stories文件有的文件包含的例子中的文章缺失了...

2018-07-30 12:54:16

Tensorflow 国内镜像源 [安装]

今天安装Tensorflow,找到清华大学开源软件镜像站,直接替换域名即可,下载安装超快速,不要太开心~~~地址:https://mirrors.tuna.tsinghua.edu.cn/help/tensorflow/还可以选择版本,自动生成安装命令,服务很贴心!建议使用anacoda方式安装,其它步骤参考官网文档即可...

2018-07-09 14:18:18

基本概念和Demo集合(一)

https://blog.csdn.net/aaronjny/article/details/79677457

2018-06-21 09:56:55

经典的把一篇英文文章转成word2id形式的dict的一段python程序

importcollectionsimporttensorflowastfdef_read_words(filename):withtf.gfile.GFile(filename,"r")asf:returnf.read().decode("utf-8").replace("\n","<eos>").split()def_buil...

2018-06-21 09:32:31

统计SQuAD的词汇得到word2id 并把词都转成id的python代码

importjsonimportcollectionsjson_file=open("train-v1.1.json")data=json.load(json_file)all_words=[]forparagraphs_titleindata["data"]:all_words.extend(paragraphs_title["title"].sp...

2018-06-21 09:31:09

解读阿里iDST SLQA 技术-机器阅读理解

机器阅读理解的评测维度分为 EM(Exact Match,精准匹配分数)和 F1(精确率和召回率的平均,模糊匹配分数)。下图可见,阿里巴巴在 F1 分数上略胜一筹,微软的 EM 分数优于阿里巴巴。无论如何,我们可以欣喜地看到包括阿里,微软亚洲研究院,腾讯,哈工大和讯飞等中国的研究人员走在了世界的前列。抛...

2018-06-20 05:53:56

Word Embedding的通俗解释

WordEmbedding是NLP中最频繁出现的词了,关于wordembedding,其实很简单。wordembedding的意思是:给出一个文档,文档就是一个单词序列比如“ABACBFG”,希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如,对于这样的“ABACBFG”的一个序列,也许我们最后能得到:A对应...

2018-06-14 12:11:35

[NLP论文阅读]Learned in Translation: Contextualized Word Vectors

论文原文:LearnedinTranslation:ContextualizedWordVectors题外话前段时间一直在写自己的论文,目前论文基本成型,又要转入新一阶段的论文阅读了。由于对GAN等技术不是很了解,所以在挑选论文的时候有选择的避开了和这些技术有关的内容。由于之前一直在学习LSTM,所以就挑选了这篇和LSTM有关的论文进行阅读学习。后期希望能跟上目前NLP技术的脚步,了解一...

2018-06-14 12:06:29

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。