11 whiteinblue

尚未进行身份认证

我要认证

不抛弃,不放弃

等级
TA的排名 1w+

Caffe4——计算图像均值

均值削减是数据预处理中常见的处理方式,按照之前在学习ufldl教程PCA的一章时,对于图像介绍了两种:第一种常用的方式叫做dimension_mean(个人命名),是依据输入数据的维度,每个维度内进行削减,这个也是常见的做法;第二种叫做per_image_mean,ufldl教程上说,在natural images上训练网络时;给每个像素(这里只每个dimension)计算一个独立的均值和方差是m

2015-05-06 20:17:35

Caffe3——ImageNet数据集创建lmdb类型的数据

ImageNet数据集和cifar,mnist数据集最大的不同,就是数据量特别大;单张图片尺寸大,训练样本个数多;面对如此大的数据集,在转换成lmdb文件时;使用了很多新的类型对象。1,动态扩容的数组“vector”,动态地添加新元素2,pair类型数据对,用于存储成对的对象,例如存储文件名和对应标签3,利用opencv中的图像处理函数,来读取和处理大尺寸图像一:程序开始

2015-05-04 21:01:44

Caffe2——cifar10数据集创建lmdb或leveldb类型的数据

cifar10数据集和mnist数据集存储方式不同,cifar10数据集把标签和图像数据以bin文件的方式存放在同一个文件内,这种存放方式使得每个子cifar数据bin文件的结构相同,所以cifar转换数据代码比mnist的代码更加的模块化,分为源数据读取模块(image_read函数),把lmdb(leveldb)数据转换的变量声明,句柄(函数)调用都放到定义的caffe::db子空间中,这样简

2015-04-29 15:20:01

Caffe1——Mnist数据集创建lmdb或leveldb类型的数据

Leveldb和lmdb简单介绍Caffe生成的数据分为2种格式:Lmdb和Leveldb。它们都是键/值对(Key/Value Pair)嵌入式数据库管理系统编程库。虽然lmdb的内存消耗是leveldb的1.1倍,但是lmdb的速度比leveldb快10%至15%,更重要的是lmdb允许多种训练模型同时读取同一组数据集。因此lmdb取代了leveldb成为Caffe默认的数

2015-04-28 09:00:52

Google Protocol Buffer 的使用和原理

原文链接:http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,很适合做数据存储或 RPC 数据交换格式。它可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 A

2015-04-28 08:21:28

深度学习研究理解11:Going deeper with convolutions

本文是Google公司的Christian Szegedy等大牛们于2014年提出的“深深”的网络,其中提出了很多新颖的结构和想法;并在ILSVRC2014中,获得了分类和检测第一的好成绩。摘要:本文提出了一个新深度网络的“结构”,命名为inception(开端之意,个人命名为起航);这个结构可以充分利用网络中“计算资源”(充分开发和利用每层提取的特征);在保证固定计算复杂度前提下,通过人

2015-02-08 11:15:31

深度学习研究理解10:Very Deep Convolutional Networks for Large-Scale Image Recognition

本文是牛津大学 visual geometry group(VGG)Karen Simonyan 和Andrew Zisserman 于14年撰写的论文,主要探讨了深度对于网络的重要性;并建立了一个19层的深度网络获得了很好的结果;在ILSVRC上定位第一,分类第二。一:摘要……从Alex-net发展而来的网络主要修改一下两个方面:1,在第一个卷基层层使用更小的filter尺寸和间

2015-02-06 13:37:33

深度学习研究理解9:Convolutional Neural Networks at Constrained Time Cost

本文是MSRA的何恺明在14年写的论文,通过一系列的替换实验,探讨了在限定复杂度和时间上,如何设计卷积网络结构,使得网络的性能最好。本文提出的CNN结构,在单个GPU上训练3到4天,在简单的10-view测试下获得了top-5 11.8%的准确率;做到了不尽快而且准确。摘要:本文主要结论,1在提升准确度上深度比宽度和filter尺寸更重要;2,尽管深度很重要,如果深度随意增加分类结果会停滞,甚

2015-02-04 16:59:35

深度学习研究理解8:Understanding Deep Architectures using a Recursive Convolutional Network

本文是纽约大学,David Eigen和Jason Rolfe等13年撰写的论文;和他们的上一篇通过deconvnet网络可视化来理解深度卷积网络不同的是,本文通过循环卷积网络来探究网络深度,参数个数,特征个数等网络结构对于网络性能的影响。摘要:层数,特征个数,filter尺寸,间隔数,pooling方式,pooling尺寸,连接方式,归一化,参数个数等都是影响卷积网络性能的因素;本文通过循环

2015-02-03 16:27:19

深度学习研究理解7:Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition

本文是MSRA何恺明于13年撰写的论文,主要是把经典的Spatial Pyramid Pooling结构引入CNN中,从而使CNN可以处理任意size和scale的图片;这中方法不仅提升了分类的准确率,而且还非常适合Detection,比经典的RNN快速准确。一:介绍目前流行的CNN都需要固定size和scale的输入图片;所以基本上都是通过剪裁(crop)和wrap(这个不知道怎么翻译)

2015-02-02 21:03:14

深度学习研究理解6:OverFeat:Integrated Recognition, Localization and Detection using Convolutional Networks

本文是纽约大学Yann LeCun团队中Pierre Sermanet ,David Eigen和张翔等在13年撰写的一篇论文,本文改进了Alex-net,并用图像缩放和滑窗方法在test数据集上测试网络;提出了一种图像定位的方法;最后通过一个卷积网络来同时进行分类,定位和检测三个计算机视觉任务,并在ILSVRC2013中获得了很好的结果。一,介绍       卷积网络的主要优势是提供en

2015-02-01 20:27:01

深度学习研究理解5:Visualizing and Understanding Convolutional Networks

Visualizing and understandingConvolutional Networks本文是Matthew D.Zeiler 和Rob Fergus于(纽约大学)13年撰写的论文,主要通过Deconvnet(反卷积)来可视化卷积网络,来理解卷积网络,并调整卷积网络;本文通过Deconvnet技术,可视化Alex-net,并指出了Alex-net的一些不足,最后修改网络结构,使得

2015-01-30 20:20:32

深度学习研究理解4:ImageNet Classification with Deep Convolutional Neural Network

本文是Alex和Hinton参加ILSVRC2012比赛的卷积网络论文,本网络结构也是开启Imagenet数据集更大,更深CNN的开山之作,本文对CNN的一些改进成为以后CNN网络通用的结构;在一些报告中被称为Alex-net,之后在Imagenet上取得更好结果的ZF-net,SPP-net,VGG等网络,都是在其基础上修改得到。摘要:本文训练了一个大的,深的CNN,去分类高像素的图片。

2015-01-27 21:02:25

深度学习论文理解3:Flexible, high performance convolutional neural networks for image classification

本文是11年Dan C.Ciresan的作品,主要贡献是提供了一种快速,全GPU部署的CNN计算框架,通过快速的GPU计算可以让作者尝试相对以前的神经网络更深的CNN,而且是仅仅使用监督学习的方式。本来不想写本文的总结的,但是最近看了ImageNet上取得好成绩的网络,都是通过GPU(caffe,convnet)部署,仅仅通过监督学习的方式来训练更加深的CNN,所以打算总结一下本文,作为在GP

2015-01-26 10:30:52

深度学习论文理解2:on random weights and unsupervised feature learning

本文是2010年斯坦福大学andrew ng他们团队的作品;让人莫名其妙的是,本文有两个版本,两个版本略有差别版本1:http://www.icml2011.org/papers/551_icmlpaper.pdf  ;2:http://web.stanford.edu/~asaxe/papers/Saxe%20et%20al.%20%202010%20%20On%20Random%20Weigh

2015-01-24 16:15:01

深度学习论文理解1:what is the best multi-stage architecture for Object Recognition

本文是09年,Yann LeCun团队的一篇论文,论文主要讨论了卷积结构网络中各个layer的作用,进而探讨一个好的深度结构分类网络应该是什么样子的。摘要:在很多目标识别系统的特征提取阶段主要分为三部分:卷积,非线性变换和pooling本文提出三个问题:1.卷积层后的非线性变换如何应用分类准确率2.采用无监督学习的filter,或者监督学的filter比随机权值的filter分类效

2015-01-24 11:04:46

神经网络学习算法matlab应用分析

摘要:为了提高BP神经网络模型运用效果,基于不同方法提出了很多的优化算法算法例如从经典梯度下降法,到复杂的BFGS,LM算法等,然而不同的算法在不同的应用场景有不同的效果,本文以matlab神经网络工具箱为基础,比较各种优化算法在预测分类问题中的应用效果,并分析各种算法优缺点,为神经网络优化算法的选择提供建议。

2014-10-30 20:42:14

隐马尔科夫模型matlab工具箱说明

隐马尔可夫模型(HiddenMarkov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程;是序列数据处理和统计学习的重要模型。其难点是从可观察的参数中确定该过程的隐含参数,然后利用这些参数来作进一步的分析。本论文首先从隐马尔可夫模型基本理论和模型的表达式出发,系统的介绍了引马尔科夫模型和算法原理,并结合两个版本的MATLAB算法,对具体问题进行验证求解,并分析比较算法

2014-10-30 20:04:50

DeepLearnToolbox代码详解——SAE,DAE模型

一:引言.sae,dae,dropout模型简介上面提到的三个模型都是在经典的多层神经网络的基础上加深构架得到;例如sae(Stack autoencoder)就是理堆叠多个autoencoder,然后使用fine_tuning过程;dae(Denoising autoencoder)是在标准的sae基础上给输入数据加入噪声,利用污染后的数据进行sae;dropout 则是随机忽略隐层节点来训

2014-07-16 16:31:48

Dropout原理,代码浅析

Dropout原理介绍因为在机器学习的一些模型中,如果模型的参数太多,而训练样本又太少的话,这样训练出来的模型很容易产生过拟合现象。在训练bp网络时经常遇到的一个问题,过拟合指的是模型在训练数据上损失函数比较小,预测准确率较高(如果通过画图来表示的话,就是拟合曲线比较尖,不平滑,泛化能力不好),但是在测试数据上损失函数比较大,预测准确率较低。常用的防治过拟合的方法是在模型的损失函数中,需要

2014-07-15 09:08:07

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!