- 博客(500)
- 资源 (22)
- 收藏
- 关注
RSS订阅转载 kaggle 首战拿金牌总结
kaggle 首战拿金牌总结这篇文章是我对自己第一次参加 kaggle 竞赛并获得金牌(14/4129)的一个总结，谈不上太多经验，涉及到的一些比赛规则和小技巧希望能对刚刚开始打 kaggle 比赛的小伙伴起到一些帮助。1. 平台简介kaggle 是全球首屈一指的数据科学、机器学习竞赛和分享平台。很多大公司作为出题方，会将问题和相关数据放在平台上形成一个竞赛，所有的 kaggle ...
2020-03-06 14:57:25
2125
转载 知识蒸馏，teacher—student模型的思考
知识蒸馏，teacher—student模型的思考这个方向的学术源头是Rich Caruana2014年的作品《Do Deep Nets Really Need to be Deep?》，后来经过Hinton的《Distilling the Knowledge in a Neural Network》发扬光大。实用价值：可以对大型神经网络进行瘦身以便部署到用户端；理论价值：引发对深度网络的思考：...
2020-02-25 06:39:09
5463
转载 2020人工智能顶会-混乱未分级分领域
CVPR 2020: IEEE Conference on Computer Vision and Pattern RecognitionNeurIPS 2020: Neural Information Processing SystemsECCV 2020: European Conference on Computer VisionICML 2020: International Con...
2020-02-15 10:57:28
950
原创 ACM论文投稿时常用的几项操作
一、我们发现ACM的latex模板中会有ACM Reference Format信息，如下：投稿时，可以使用如下的方法将其去掉，在 \documentclass[sigconf]{acmart}下面直接添加这几行即可去掉\settopmatter{printacmref=false} % Removes citation information below abstract\re...
2020-02-11 19:42:40
23526
8
转载 The State of Transfer Learning in NLP [18 AUGUST 2019]
This post expands on theNAACL 2019 tutorial on Transfer Learning in NLP.The tutorial was organized by Matthew Peters, Swabha Swayamdipta, Thomas Wolf, and me. In this post, I highlight key insights...
2020-01-27 21:55:24
2321
原创 Latex常用积累
1.latex中把公式中一部分斜体变为直体2.Loss Function的这个符号LaTeX 里怎么打？ 实际上，就是手写体的L，Latex中这样引用就行：\mathcal{L}3.常用数学符号的 LaTeX 表示方法 http://mohu.org/info/symbols/symbols.htm4.如何打印出带编号的公式，并且自己来定义...
2019-12-30 00:48:33
3975
2
转载 IBM 提出基于语言模型的数据增强新方法
作者：张之栋（InfoQ） 2019年11月15日18:45VentureBeat 消息，IBM Research 的研究人员在近期发表的一篇论文中，提出了一种文本分类任务的数据扩充新方法。该方法被研究人员称为基于语言模型的数据增强 (LAMBADA)，原理是使用一个预先训练过的机器学习模型来合成文本分类任务所需要的标记数据。IBM 研究人员声称，LAMBADA 可以提高分类器在各种数...
2019-11-17 09:20:54
798
转载 微软提出 DNN 并行训练新方法 PipeDream，比传统方法快四倍
作者：Amar Phanishayee译者：夏夜发布时间：2019 年 11 月 15 日 10:00本文介绍了微软新提出的 PipeDream，旨在使深度学习网络训练并行化水平更高，进而提高训练效率。深度神经网络（DNNs：Deep Neural Networks）已经在大量应用中取得了巨大进展，这些应用包括图像分类、翻译、语言建模以及视频字幕等。但 DNN 训练极其耗时，需...
2019-11-17 09:03:14
2418
2
转载 Star-Transformer
【精简Transformer】Star-Transformer本文是复旦大学发表于NAACL 2019的工作。文章的主要贡献在于精简transformer，增强了在modestly size datasets上的表现。精简思路非常清晰且具有可解释性质，消解实验和对比实验也很有针对性。摘要虽然transformer在很多NLP任务上都取得了很大的成功，但是它的结构很重，注意力连接...
2019-10-11 11:17:05
1308
原创 How do they apply BERT in the clinical domain?【BERT in clinical domain】
This story is published in bothDev.toand Medium.Contextual word embeddings is proven that have dramatically improved NLP model performance viaELMo(Peters et al., 2018),BERT(Devlin et al., 2018...
2019-08-01 19:32:24
608
原创 Some examples of applying BERT in specific domain【Applying BERT in specific domain】
Several new pre-trained contextualized embeddings are released in 2018. New state-of-the-art results is changing every month.BERTis one of the famous model. In this story, we will extend BERT to see...
2019-08-01 19:25:20
382
原创 19 entities for 104 languages: A new era of NER with the DeepPavlov multilingual BERT
There’s hardly anyone left in the world data science community who wouldn’t agree that the release ofBERTwas the most exciting event in the NLP field.For those who still haven’t heard: BERT is a...
2019-08-01 18:57:37
424
原创 BERT for unsupervised text tasks
This post discusses how we use BERT and similar self-attention architectures to address various text crunching tasks atEther Labs.Self-attention architectures have caught the attention of NLP pract...
2019-08-01 18:49:27
467
原创 Multi-Task Deep Neural Networks for Natural Language Understanding【MT-DNN模型】
背景机构：微软亚洲研究院 NLP 组与 SDRG（微软雷德蒙德语音对话研究组）作者：Xiaodong Liu、Pengcheng He发布地方：arxiv面向任务：自然语言理解任务(NLU)的学习表示论文地址：https://arxiv.org/abs/1901.11504论文代码：https://github.com/namisan/mt-dnn更多代码版本参见：https://...
2019-06-02 05:41:01
1549
转载 问题生成（QG）总结
问题生成（QG）总结 (2018.8) 背景： 为什么要研究QG？ 从人的经验看，好的学习者一定是擅长提问的。机器知识库作为“学习者”，也许可以利用主动提问来高效构建或者补充知识库，扩充数据集等等。 现在的一些应用场景：在教育领域，帮助学生来提问；在对话领域，作为冷启动来开始一个话题或者通过提问来获得反馈；在医药领域，可以用于自动问诊系统，作为一种辅助工具等等，可以看到应用场景还是...
2019-02-23 20:55:23
3007
转载 论文阅读 QA与QG联合学习
详细：https://blog.csdn.net/thormas1996/article/details/81081529https://blog.csdn.net/thormas1996/article/details/81537657https://blog.csdn.net/aprilvkuo/article/details/78681862https://blog.csdn...
2019-02-13 12:09:55
504
转载 《A Survey on Transfer Learning》中文版翻译《迁移学习研究综述》
首先感谢（http://blog.csdn.net/magic_leg/article/details/73957331）这篇博客首次将《A Survey on Transfer Learning》这篇文章翻译成中文版，给予我们很大的参考。但上述作者翻译的内容有很多不准确的词语、省略了很多内容、工作略显粗糙，因此本文将给出一篇完整近乎准确的中文版《A Survey on Transfer Le...
2018-10-19 17:38:48
3754
原创 【收藏】各种乘法的区别 “点积、外积、数乘...等”
I've seen several conventions, including ⋅⋅, ∘∘, ∗∗, ⊗⊗, and ⊙⊙. However, most of these have overloaded meanings (see http://en.wikipedia.org/wiki/List_of_mathematical_symbols).Thus, in my persona...
2018-09-18 10:39:33
1616
转载 迁移学习和多任务学习
迁移学习总结一下，什么时候迁移学习是有意义的？如果你想从任务A学习并迁移一些知识到任务B，那么当任务A和任务B都有同样的输入时，迁移学习是有意义的。在第一个例子中，A和B的输入都是图像，在第二个例子中，两者输入都是音频。当任务A的数据比任务多得多时，迁移学习意义更大。所有这些假设的前提都是，你希望提高任务B的性能，因为任务B每个数据更有价值，对任务A来说通常任务的数据量必须大得多，才有帮助，因...
2018-09-04 17:58:34
1979
转载 【ICML2018见闻】 迁移学习、多任务学习领域的进展
【导读】如今 ICML（International Conference on Machine Learning，国际机器学习大会）已经成为有巨大影响力的会议，每年都会为我们带来很多关于机器学习趋势与发展方向等有意义的分享。今年的 ICML 有三个讨论会都重点讨论了迁移学习和多任务学习。本文的作者（Isaac Godfried）也是对这两个领域的研究内容非常感兴趣，接下来 AI科技大本营将把 ...
2018-09-04 17:57:07
2051
转载 论文复现|pointer-generator
论文代码链接：https://github.com/becxer/pointer-generator/一、数据（cnn,dailymail）数据处理（代码链接）：https://github.com/becxer/cnn-dailymail/把数据集处理成二进制形式1、下载数据需翻墙，下载cnn和daily mail的两个stories文件有的文件包含的例子中的文章缺失了...
2018-07-30 12:54:16
3637
7
原创 Tensorflow 国内镜像源 [安装]
今天安装Tensorflow，找到清华大学开源软件镜像站，直接替换域名即可，下载安装超快速，不要太开心~~~地址：https://mirrors.tuna.tsinghua.edu.cn/help/tensorflow/还可以选择版本，自动生成安装命令，服务很贴心！建议使用 anacoda方式安装，其它步骤参考官网文档即可...
2018-07-09 14:18:18
46156
7
转载 经典的把一篇英文文章转成word2id形式的dict的一段python程序
import collectionsimport tensorflow as tfdef _read_words(filename): with tf.gfile.GFile(filename, "r") as f: return f.read().decode("utf-8").replace("\n", "<eos>").split()def _buil...
2018-06-21 09:32:31
787
转载 统计SQuAD的词汇得到word2id 并把词都转成id的python代码
import jsonimport collectionsjson_file = open("train-v1.1.json")data = json.load(json_file)all_words = []for paragraphs_title in data["data"]: all_words.extend(paragraphs_title["title"].sp...
2018-06-21 09:31:09
1730
转载 解读阿里iDST SLQA 技术-机器阅读理解
机器阅读理解的评测维度分为 EM（Exact Match，精准匹配分数）和 F1（精确率和召回率的平均，模糊匹配分数）。下图可见，阿里巴巴在 F1 分数上略胜一筹，微软的 EM 分数优于阿里巴巴。无论如何，我们可以欣喜地看到包括阿里，微软亚洲研究院，腾讯，哈工大和讯飞等中国的研究人员走在了世界的前列。 抛...
2018-06-20 05:53:56
1684
转载 Word Embedding的通俗解释
Word Embedding是NLP中最频繁出现的词了，关于word embedding，其实很简单。word embedding的意思是：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应...
2018-06-14 12:11:35
2486
转载 [NLP论文阅读]Learned in Translation: Contextualized Word Vectors
论文原文：Learned in Translation: Contextualized Word Vectors题外话前段时间一直在写自己的论文，目前论文基本成型，又要转入新一阶段的论文阅读了。由于对GAN等技术不是很了解，所以在挑选论文的时候有选择的避开了和这些技术有关的内容。由于之前一直在学习LSTM，所以就挑选了这篇和LSTM有关的论文进行阅读学习。后期希望能跟上目前NLP技术的脚步，了解一...
2018-06-14 12:06:29
1362
转载 阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》
阅读《Learning to Ask: Neural Question Generation for Reading Comprehension 》@(NLP)[自然语言生成|LSTM|QA|Attention]Abstract作者为解决机器生成问题，提出了一种基于注意力的序列学习模型并研究了句子级别和段落信息编码之间的影响。与以前的工作不同，他们的模型不依赖手工生成的规则或者复杂的NLP管道（不...
2018-06-12 06:52:15
615
转载 动态记忆网络
原文 Ask Me Anything: Dynamic Memory Networks for Natural Language Processing简介Question answering 是自然语言处理领域的一个复杂问题. 它需要对文本的理解力和推理能力. 大部分 NLP 问题都可以转化为一个 QA 问题. DMN 网络可以用来处理 QA 问题. DMN 的输入包含事实输入，问题输入，经过内部...
2018-06-12 06:52:06
1538
转载 基于Bidirectional AttentionFlow的机器阅读理解实践【demo】【code】
机器阅读是实现机器认知智能的重要技术之一。机器阅读任务主要有两大类：完形填空和阅读理解。（1）完型填空类型的问答，简单来说就是一个匹配问题。问题的求解思路基本是： 1） 获取文档中词的表示 2） 获取问题的表示 3） 计算文档中词和问题的匹配得分，选出最优（2）文本段类型的问答，与完型填空类型的问答，在思想上非常类似，主要区别在于：完形填空的目标是文档中的一个...
2018-06-12 06:51:55
1452
转载 Reading Note: Gated Self-Matching Networks for Reading Comprehension and Question Answering
AbstractAuthors present the gated self-matching networks for reading comprehension style question answering, which aims to answer questions from a given passage.Firstly, math the question and passage ...
2018-06-11 21:17:19
412
转载 End-to-End Answer Chunk Extraction and Ranking for Reading Comprehension
来源arXiv 2016.10.31问题当前的 RC 模型都是生成单个实体或者单个词，不能够根据问题动态生成答案。基于此，本文提出了 end2end 的 chunk 抽取神经网络。文章思路Dynamic Chunk Reader 这一模型分成四步：encode layer 分别使用 bi-GRU 对 passage 和 question 进行编码，这里面的每个词的表示是由 word embeddi...
2018-06-11 21:13:32
325
转载 DrQA实践
2017年七月份Facebook开源了其开放域问答系统DrQA的代码。关于DrQA，还有一篇2017年发表在ACL上的论文《Reading Wikipedia to Answer Open-Domain Questions》，在此首先介绍一下论文的原理。 DrQA模型主要分为两部分，第一部分Retriever和第二部分Reader，Retriever根据问题检索出维基百科语料库中最相关的5篇...
2018-06-11 21:10:01
427
转载 DrQA详细安装教程及常见的故障解决
最近导师要求安装这个项目，本人在网上找了一些教程都只有一下简略的安装方法，也并没有说明一些常见的故障该如何来解决，所以本人这篇博客算是记录了我这几天的安装心得。 关于项目介绍这里就不细说了，直接进入正题，这里项目需要在Linux的环境下进行安装，且python版本需要在3.5以上，所以如果用Windows的装一个双系统吧，也不要尝试在虚拟机里面使用，内存消耗很大，虚拟机用起来会很卡。本...
2018-06-11 21:08:46
1627
4
转载 A Knowledge-Grounded Neural Conversation Model
原文：https://arxiv.org/pdf/1702.01932.pdf 原论文的主要内容翻译与总结摘要Neural network 模型已经可以进行很自然的对话交互了。但目前来看，这些模型在基于任务的对话中并没有通过吸取其他形式的真实信息或背景实体（entity-grounded）观点来增强它们的服务水平。该论文就提出来一种新颖的，完全有数据驱动的，并且基于...
2018-06-11 21:06:21
1386
转载 [NLP论文阅读]A Neural Knowledge Language Model（一）
原文地址：A Neural Knowledge Model摘要现有的语言模型(Language Model)在对factual knowledge的编码(encode)和解码(decode)方面存在着明显的局限。原因是语言模型主要通过统计共现的方式来获得knowledge，但是大部分和知识有关的词是极少出现的。在本文中，作者提出了一个Neural Knowledge Language Model(...
2018-06-11 21:04:50
281
转载 Distilling the Knowledge in a Neural Network[论文阅读笔记]
本文是Hinton大神在网络压缩与迁移学习方向挖的一个坑 原文链接Distilling the Knowledge in a Neural Network 这种方法感觉受到了ensemble的启发，利用大型（teacher net）网络提取先验知识，将这种先验知识作为soft target让微型网络（student network）学习,有点像Boost中第一个分类器学到后调整weight...
2018-06-11 21:00:15
938
转载 Face Model Compression by Distilling Knowledge from Neurons 论文理解
引入一. 背景为保证人脸识别技术的精度要求，需要大而复杂的单个或者组合的深度神经网络实现。该技术欲迁移至移动终端与嵌入式设备中。二. 解决方法运用模型压缩技术，用小的网络去拟合大量数据。大型 teacher network的知识作为监督，训练一个小而紧凑的student network，运用到了 domain knowledge。模型蒸馏技术一. 《Distilling the Knowledge...
2018-06-11 20:57:36
669
Ubuntu14下安装TP-LINK 无线网卡驱动-shell安装包版本
2017-05-09
tensorflow开发手册_1.0版（中文）, 2.0版（英文）
2017-05-07
TP-LINK TL-WN823N chipset (0bda:818b) Ubuntu驱动程序
2017-05-06
fastjson-1.1.36.jar
2015-11-11
msysGit安装包下载
2015-04-10
hadoop-eclipse-plugin-1.1.2.jar
2014-09-01
apache-flume-1.4.0.tar.gz
2014-08-31
apache-ant-1.9.1-bin.zip
2014-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人