3 FishSugar

尚未进行身份认证

做一个快乐的码农,啃一口酱猪蹄忘记所有烦恼。

等级
TA的排名 3w+

论文笔记《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》

Abstract介绍了一种新的语言表示模型BERT,它代表Transformers的双向编码器表示。与最近的语言表达模型不同,BERT是预先训练深层双向表示,通过联合调节所有层中左右的上下文。因此,可以通过一个额外的输出层对预训练的BERT表示进行微调,以创建适用于各种任务的最新模型,如回答问题和语言推理,而无需对特定于任务的体系结构进行实质性修改。BERT概念简单,经验丰富。它在11项自然语...

2019-05-21 16:21:45

论文笔记《Neural Architecture Search With Reinforcement Learning》

摘要神经网络是一种强大而灵活的模型,能够很好地解决图像、语音和自然语言理解中的许多困难学习任务。尽管成功,神经网络仍然很难设计。在本文中,我们使用一个循环网络来生成神经网络的模型描述,并通过强化学习训练该RNN,以最大限度地提高生成的架构在验证集上的预期精度。在cifar-10数据集上,我们的方法从无到可以设计出一种新的网络体系结构,在测试集精度方面可以与人类发明的最佳体系结构相媲美。我们的ci...

2019-04-25 15:09:42

Attention Model in NLP

这里整理一下最近看的有关Attention Model的资料,貌似网上的相关blog都大同小异。AM模型是2015年NLP领域重要的进展之一。一、引言感受:从认知心理学里面的人脑注意力模型引入的概念。人脑注意力模型:在某个特定的时刻t,意识和注意力的焦点是集中在画面的某一个部分上的。本质是一个资源分配模型。深度学习中的注意力模型工作机制,和看见心动异性时荷尔蒙驱动的注意力分配机制是一样的...

2018-10-12 09:59:29

2018年算法工程师秋招经验贴(微软、华为、网易游戏、阿里offer)

目前不打算再投其他的公司了,所以来写面试总结。本人985硕士,性别女,可以参考下哈。下面是按照我的面试顺序进行排序的。微软 微软是参加的进校面试,(师姐安利的,师姐是参加的夏令营)微软的面试体验是非常的棒的,微软特别尊重面试者,面试一般集中在问算法题上,一时想不出方法,面试官也会给一些思路引导,不会怼人真的是很亲切的。。。进校面试是上午10点签到,10点到11点现场笔试,笔试为两道基...

2018-09-02 16:18:54

LSTM原理复习整理

LSTM网络long short term memory,即LSTM,是为了解决长期以来问题而专门设计出来的,所有的RNN都具有一种重复神经网络模块的链式形式。在标准RNN中,这个重复的结构模块只有一个非常简单的结构,例如一个tanh层。LSTM 同样是这样的结构,但是重复的模块拥有一个不同的结构。不同于单一神经网络层,这里是有四个,以一种非常特殊的方式进行交互。图中使用的各种...

2018-08-04 16:18:07

论文笔记《Part-of-Speech Tagging for Twitter with Adversarial Neural Networks》

这里记录近两个月阅读论文中,最贴近项目需求的几篇论文,此博为其中一篇,也是思想引用最多的一篇。 0、Paper basic information Authors:Tao Gui, Qi Zhang∗, Haoran Huang, Minlong Peng, Xuanjing Huang School: Fudan University Published 2017 in EMNLP 1...

2018-07-02 15:21:00

David Silver强化学习公开课笔记:Lecture 1 强化学习入门

第一课主要解释了强化学习在多领域的体现,主要解决什么问题,与监督学习算法的区别,完整的算法流程由哪几部分组成,其中agent包含的内容,以及解释了强化学习涉及到的一些概念。 本课视频地址:RL Course by David Silver - Lecture 1: Introduction to Reinforcement Learning 本课ppt地址:http://www0.cs.ucl...

2018-05-22 11:24:50

Coursera之deeplearning.ai:CNN-Art Generation with Neural Style Transfer

Deep Learning & Art: Neural Style Transfer算法为Gatys et al.(2015)提出的(https://arxiv.org/abs/1508.06576). 在本实验中,可以实现neural style transfer algorithm;使用算法生成艺术图像。 很多算法通过优化一个成本函数来获得一组参数值,在Neural Style...

2018-04-24 16:35:24

利用pytorch实现迁移学习之猫狗分类器(dog vs cat)

迁移学习迁移学习(Transferlearning)就是把已学训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的,所以通过迁移学习我们可以将已经学到的模型参数(也可理解为模型学到的知识)通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。本文使用VGG16模型用于迁移学习,最终得到一个能对猫狗图片进行辨识的CNN(卷积神...

2018-04-23 15:04:31

利用Spark MLlib实现Kmeans算法实例(Python)

聚类 - spark.mllib聚类是一种无监督的学习问题,我们的目标是根据一些相似的概念将实体的子集相互分组。聚类通常用于探索性分析和/或作为分层 监督学习管线(其中针对每个群集训练不同的分类器或回归模型)的组成部分。该spark.mllib软件包支持以下模型: K-means Gaussian mixture Power iteration clustering (PIC) L...

2018-04-11 13:02:38

利用Spark MLlib实现协同过滤(ALS)算法实例(Python)

协作过滤协同过滤通常用于推荐系统。这些技术旨在填补用户项目关联矩阵的缺失条目。 spark.ml目前支持基于模型的协作过滤,其中用户和产品由一组可用于预测缺失条目的潜在因素来描述。 spark.ml使用交替最小二乘(ALS) 算法来学习这些潜在因素。实现中spark.ml有以下参数:numBlocks是为了并行化计算而将用户和项目划分到的块的数量(默认为10)。 rank是模型中潜在因素...

2018-04-07 16:24:59

python常用函数积累(三)

1、strides ndarray数据结构引用两个对象:数据存储区和 dtype对象存储区,具体包括dtype,dim count,dimensions,strides和data。 dim count指维度的数目;dimesion指各维度的数字; strides指每个轴的下标增加1时数据存储区中的指针所增加的字节数,比如有个3*3的数 组,元素类型是float32,那么每个数占4(32/8)...

2018-03-28 12:17:03

Pytorch常用函数积累

Pytorch中文文档1、torch.index_select(input,dim,index,out=None)→Tensor>>>x=torch.randn(3,4)>>>x1.20452.40840.40011.13720.55961.56770.6219-0.79541.3635-1...

2018-03-26 11:40:09

python常用函数积累(二)

1、scipy矩阵操作 七种矩阵类型 csc_matrix: Compressed Sparse Column format csr_matrix: Compressed Sparse Row format bsr_matrix: Block Sparse Row format lil_matrix: List of Lists format dok_matrix: Dictionar...

2018-03-24 22:00:21

论文笔记《PaletteNet: Image Recolorization with Given Color Palette-reading notes》

1、Paper basic information author:Junho Cho and Sangdoo Yun and Kyoungmu Lee and Jin Young Choi journal:2017 IEEE Conference on Computer Vision and Pattern Recognition year:2017 Volume:2017 July ...

2018-03-12 14:19:59

论文笔记《A Closed-form Solution to Photorealistic Image Stylization-reading notes》

1、Paper basic information Authors:Yijun Li、Ming-Yu Liu、Xueting Li、Ming-Hsuan Yang、and Jan Kautz ( University of California, Merced ; NVIDIA) Comments: 11 pages, 14 figures Subjects: Computer V...

2018-03-07 22:20:58

python常用函数积累(一)

1、移动文件import os,shutilsrcfile='/home/tx/src'dstfile='/home/tx/dst'count=0for item in os.listdir(srcfile): count+=1 if count < 5001: sourceFile = os.path.join(srcfile, item) ...

2018-03-06 16:25:21

Windows下Anaconda2(Python2)和Anaconda3(Python3)的共存

前言Anaconda是一个Python的科学计算发行版,包含了超过300个流行的用于科学、数学、工程和数据分析的Python Packages。由于Python有2和3两个版本,因此Anaconda也在Python2和Python3的基础上推出了两个发行版,即Anaconda2和An...

2018-02-15 09:16:49

CS231n-深度学习与计算机视觉-笔记-Lecture7.3 迁移学习

迁移学习transfer learning 我们看到使用正则化,加入不同正则策略可以帮助减小,训练误差和测试误差的间隙,过拟合的一个问题,有时候过拟合是由于数据不够,你希望得到一个大的、功能大的模型,一个大的功能强大网络在你使用,小数据集合时很容易过拟合,正则化是一种处理它的方法。另一种方法是使用迁移学习。使用迁移学习,你不需要超大的样本集,也能训练卷积神经网络。 它的思想很简单,首先找到

2018-02-04 11:23:47

centos基本操作

1、添加用户并授权#useradd hadoop#passwd hadoop#vim /etc/sudoershadoop ALL=(ALL) ALL2、静态IP 编辑 ifcfg-eth0 文件#vim /etc/sysconfig/network-scripts/ifcfg-eth0 BOOTPROTO="static" #dhcp改为static ONBOOT

2018-01-20 15:42:12

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!