11 cskywit

尚未进行身份认证

专注AI,热爱生活和文学

等级
博文 223
排名 1w+

Google BERT最全资源收集

本文资源均收集自网络,方便大家研究和使用GoogleBERT模型BERT论文:BERT:Pre-trainingofDeepBidirectionalTransformersforLanguageUnderstanding论文解读:站在BERT肩膀上的NLP新秀们(PARTI)站在BERT肩膀上的NLP新秀们(PARTII)如何可视化BERT?BERT相关论文...

2019-07-17 18:05:32

【论文阅读笔记】Using the Output Embedding to Improve Language Model

设Word2Vec等词向量训练模型的输入词向量为U,输出词向量为V,通常模型训练完成后,只是用U作为预训练词向量给其他上游模型使用,V通常忽略,本文探讨了U和V使用的效果,已经联合使用U和V的想过,得出以下结论:1、在Word2VecSkipgram模型中,输出词向量与输入词向量的效果相比稍差。2、在基于RNN的语言模型中,输入词向量比输入词向量想过更好。3、通过...

2019-07-06 22:18:30

【论文阅读笔记】Character-level Convolutional Networks for Text Classification

Char-CNN论文:Character-levelConvolutionalNetworksforTextClassification论文解读:  *简书论文翻译  *《Character-levelconvolutionalnetworksfortextclassification》论文网络结构解读论文源码:  *基于字符的卷积神经网络实现文本分类(cha...

2019-06-28 10:38:50

【论文代码调测】Convolutional Neural Networks for Sentence Classification

TextCNN论文地址:ConvolutionalNeuralNetworksforSentenceClassification论文解读:ASensitivityAnalysisof(andPractitioners’Guideto)ConvolutionalNeuralNetworksforSentenceClassification这是一篇使用Tex...

2019-06-26 09:54:47

多种方法使用GloVe

本文的写作参考可网上很多博客,再次感谢,参考到的博文列在下面,本文对Glove原理,纯Python实现,Pytorch实现,官方C语言方式编译,以及简单方式使用进行记录,方便后面学习的童鞋。论文地址:GloVe:GlobalVectorsforWordRepresentation论文解读:GloVe模型的理解及实践GloVe详解论文分享–>GloVe:GlobalV...

2019-06-23 21:05:30

Anaconda中构建深度学习开发环境记录(Win10下测试)

有人问我Win10下深度学习环境的构建,个人觉得应该和Win7差不多,但出于负责还是亲自尝试记录一下。下面所说的命令都是亲测可用的。我的平台是:Python3.6(Anaconda4.3)+CUDA10.0+windows10,提前去NVIDIA官网下载CUDA和cuDNN,配置见我的另一篇博客,这里不再赘述设置源2019年6月5日Anaconda清华源又恢复使用了,很好!!在anna...

2019-06-22 16:32:29

【避免入坑】混合硬盘上安装Win10+Ubuntu18.04双系统需要注意的细节

因为系统崩溃且之前使用Win7分区不合理,所以直接重装,这里改用Win10,我的电脑配置是512GSSD+4T机械+32GB内存+Nvdia2080ti显卡,本文只是将安装中需要注意的细节说明,不重复所有细节,具体完整的安装网上已经有很多教程。##一.安装Win10使用U盘安装,比较简单,下载老毛桃装机工具,将网上下载的Win10写入即可,这方面网上教程很多,不赘述,值得注意的几...

2019-06-22 09:55:45

【论文阅读笔记】A Sensitivity Analysis of (and Practitioner Guide to) Convolutional Neural Networks for Sent

本文对TextCNN(原论文:ConvolutionalNeuralNetworksforSentenceClassification)做了大量调参实验,给出了很多使用TextCNN进行文本分类的具体建议。TextCNN的论文解析在网上有很多已有的博客可以参考,这里只是简述。TextCNN结构如图:网络原理简述:网络输入是句子,其中的每个单词已经通过one-hot、...

2019-06-21 10:41:43

【论文代码调测】A Convolutional Neural Network for Modelling Sentences

本论文使用DynamicK-maxpooling和宽卷积提升句子建模精度,在NLP中,当卷积核的长度相对于输入向量的长度比较大,需要使用宽卷积,在TensorFlow的CNN实现中,padding='SAME'表示宽卷积,padding='VALID'实现的是窄卷积,关于宽窄卷积的说明可以参考这篇博客。本文在github源码Python2.7基础上迁移到Python3.6.8进行调...

2019-06-01 21:39:24

[学习笔记]Pytorch迁移学习实例

本文参考Pytorch官方教程,个人觉得代码结构写得非常好,很值得借鉴使用,所以转发分享,另外将调试中遇到的问题和解决一起说明一下。目前在CNN上的迁移学习的主要场景主要有两大类:1.CNN微调:使用预训练的CNN参数初始化网络,而不是随机初始化网络,如使用在imagenet上进行预训练的网络参数进行初始化;2.将CNN作为固定的特征提取方式:除了最后的全连接层,其余层全部冻结,最后的...

2019-05-19 09:04:23

【论文阅读笔记】RETAIN: An Interpretable Predictive Model for ealthcare using Reverse Time Attention Mechani

本文发布在NIPS2016,论文代码:https://github.com/mp2893/retain.本文核心模型如图:文章将事件序列建模为心力衰竭诊断的预测因子的方法表明,复杂模型可以提供更高的预测精度和更精确的解释能力。考虑到RNNs对序列数据分析的能力,文章提出了RETAIN,在保持RNN预测能力的同时允许更高程度的解释。RETAIN的核心思想是通过复杂的注意力生成过程提高预测...

2019-05-05 16:09:58

清华源失效后如何安装pytorch1.01

今天本想体验下最新版的pytorch1.01,结果发现condainstall时候HTTPerror了,查了一下原来从4月25日其国内的清华源、中科大源等陆续关停服务,无奈又只能恢复到Anaconda官网的原始源,我的心情拔凉拔凉的,只能这样啦,安装过程中如何提速记录分享一下。我的GPU是Nvidia2080ti,CUDA版本10.0,所以我在不同的虚环境中同时安装CPU版...

2019-04-28 22:05:56

【论文阅读笔记】Learning Hierarchical Representations of Electronic Health Records for Clinical Outcome

本文发布在arxiv2019基于电子病历(EHR)的临床结局预测对提高医疗质量起着至关重要的作用。传统的深度序列模型无法捕捉到长而不规则的临床事件序列中编码的丰富的时间模式。长时间尺度的临床事件表现出较强的时间模式,而短时间内的事件往往是无序的共现。因此,本文提出了不同时间尺度的临床事件模型的不同机制。本文提出的模型学习事件序列的层次表示,自适应地区分短期和长期事件,并准确...

2019-04-25 17:13:29

【论文阅读笔记】Linguistic Knowledge and Transferability of Contextual Representations

本文发布在arxiv2019preprint通过十六种不同的探究任务来研究语境化知识和语境化词语表示的可迁移性。预训练的上下文相关词向量足以在广泛的NLP任务中实现高性能。对于需要特定信息但未被上下文单词表示捕获的任务,学习特定任务的上下文特征有助于在词向量中编码必要的知识。此外,对情境化层的可迁移性模式的分析表明,LSTM的最低层编码最具可迁移的特征,而Transofor...

2019-04-21 08:55:05

【论文阅读笔记】The Effectiveness of Multitask Learning for Phenotyping with Electronic Health Records Data

本文发布在arxiv2019电子表型分析的任务是通过分析其医疗记录来确定个人是否具有感兴趣的医学病症,并且是临床信息学的基础。电子表型越来越多地通过监督学习来完成。本文使用电子健康记录(EHR)数据研究多任务学习对表型分析的有效性。多任务学习旨在通过共同学习其他辅助任务来提高目标任务的模型性能,并已用于机器学习的不同领域。但是,它在应用于EHR数据时的效用尚未确定,之前的工作...

2019-04-20 15:51:00

【论文阅读笔记】An Unsupervised Learning Model for Deformable Medical Image Registration

图像配准是图像处理研究领域中的一个典型问题和技术难点,其目的在于比较或融合针对同一对象在不同条件下获取的图像,例如图像会来自不同的采集设备,取自不同的时间,不同的拍摄视角等等,有时也需要用到针对不同对象的图像配准问题。具体地说,对于一组图像数据集中的两幅图像,通过寻找一种空间变换把一幅图像映射到另一幅图像,使得两图中对应于空间同一位置的点一一对应起来,从而达到信息融合的目的。本文发表在2018...

2019-03-24 10:11:49

Python中的浅复制与深复制

Python中的标识、相等性和别名1.is,id和==>>>charles={'name':'CharlesL.Dodgson','born':1832}>>>lewis=charles➊>>>lewisischarlesTrue>>>id(charles),id(lewis)...

2019-03-22 15:44:35

Python装饰器简介

1.装饰器实现的基本问题基本的Python装饰器@function_wrapperdeffunction():pass以上代码等价于:deffunction():passfunction=function_wrapper(function)使用类来实现装饰器classfunction_wrapper(object):def__ini...

2019-03-22 14:39:15

卷积神经网络的模型训练技巧

本文cifar10图片分类的例简要说明卷积神经网络中的模型训练技巧,这里我们暂且不提训练的结果的准确度。代码都很简单,不做过多解读。1.基本的模型这里使用的就是普通的卷积加池化,最后通过globalaveragepooling输出10个向量经softmax分类:importtensorflowastfimportnumpyasnpimportmatplotlib.ima...

2019-03-20 21:55:29

【论文阅读笔记】HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs

论文地址:https://arxiv.org/abs/1903.04120本文是CVPR2019上发表的一篇文章,文章主要设计了新的滤波器结构,在大幅减少FLOPS的前提下还能保证延迟和准确性。文章将现有的卷积过滤器大致分为三类:1)深度方面的卷积过滤器,用于执行逐深度的卷积(DWC)2)点方面的卷积过滤器,用于执行逐点卷积(PWC)3)分组方面的卷积...

2019-03-19 15:15:41
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。