- 博客(56)
- 收藏
- 关注
RSS订阅
原创 TensorFlow官方教程学习笔记（五）——前馈神经网络
本文主要是在TensorFlow上搭建一个前馈神经网络（feed-forward neural network）来对TensorFlow的运作方式进行简单介绍。代码在\examples\tutorials\mnist\中，主要使用两个文件：mnist.py和fully_connected_feed.py。
2017-01-19 00:34:38
6761
6
原创 TensorFlow官方教程学习笔记（四）——MNIST数据集的读取
本文主要讲如何将MNIST数据文件中的images和labels分别提取出来的过程，与TensorFlow和deeplearning无关，但是我觉得对于MNIST数据集的了解，以及后面的一些才做还是很有帮助的。
2017-01-12 07:44:26
5993
3
原创 TensorFlow官方教程学习笔记（三）——MNIST入门（续）
在上一篇文章中，我们使用了一个简单的SoftMax的回归模型对MNIST手写数字数据集进行训练，经过1000次的跌代后，识别精度达到了91%，但这是远远不够的。在本章中，我们使用一个稍微复杂的模型，其实也不是很复杂，一个含有两个卷积层的卷积神经网络，来测试它的识别效果。
2017-01-07 20:14:14
3168
原创 从神经网络到深度学习（一 ）
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 ——T.Koholen
2017-08-27 16:17:29
3604
原创 论文笔记：ThiNet——一种filter级的模型裁剪算法
近两年来，有关模型压缩的论文越来越多，人们不再一昧的只追求强大的性能，而是开始慢慢的将模型的大小、运算量以及效率考虑进来，人们做的越来越多的是，在性能可接受的范围内，模型越小越好。这也说明了一点，深度学习模型已经开始被广泛的运用在了平常的生活当中，可以理解为现在的手机和以前的大哥大之间的关系。
2017-08-20 13:54:32
5559
3
原创 论文笔记：DeepRebirth——从非权重层入手来进行模型压缩
前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。
2017-07-25 20:34:35
3281
2
原创 深度学习模型压缩方法综述（三）
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-24 22:43:37
29018
2
原创 深度学习模型压缩方法综述（二）
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-21 22:42:48
26049
6
原创 深度学习模型压缩方法综述（一）
目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-21 21:17:13
55489
4
原创 论文笔记：Residual Attention Network for Image Classification
深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。
2017-06-25 21:58:34
36580
22
原创 Caffe深度学习进阶之Cifar-10分类任务（下）
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。
2017-06-17 19:51:10
3108
1
原创 Caffe深度学习进阶之Cifar-10分类任务（上）
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成，一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练，10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。
2017-06-16 22:06:31
8219
原创 分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记
出了一种新的分形网络结构，它的提出就是为了证明Residual对于极深网络并不是必须的，它通过一种分形的结构，达到了类似于教师-学生机制、深度监督的效果，同样取得了非常好的效果。虽然这种方法在目前来说用的比较少，但是我觉得它的这种思路是非常值得学习的。
2017-06-14 21:06:20
12132
1
转载 Python基础-字符串格式化_百分号方式_format方式（转）
Python的字符串格式化有两种方式: 百分号方式、format方式百分号的方式相对来说比较老，而format方式则是比较先进的方式，企图替换古老的方式，目前两者并存。
2017-05-30 10:04:07
12843
原创 一种新的ResNet思路：Learning Identity Mapping with Residual Gates论文笔记
今天要介绍的叫做Gated ResNet，它来自一篇发表在今年ICLR上的论文，它没有之前提到的几个网络复杂，它对ResNet所提出的Identity Mapping进行了更加细致的思靠，它认为Identity Mapping才是ResNet包括Highway Network的精髓，并提出了对于一个深层网络，如果它具有退化成Identity Mapping的能力，那么它一定是容易优化、并且具有很好性能的。
2017-05-28 22:12:10
5385
原创 WRNS：Wide Residual Networks 论文笔记
俗话说，高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己，矮胖的神经网络也是潜力股。
2017-05-15 22:30:26
19172
2
原创 GoogLeNet：Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记
ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果，并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来，是否可以生成一种结构更加复杂、性能更加强大的模型呢？
2017-04-02 17:43:32
4495
原创 GoogLeNet：Inception V3：Rethinking the Inception Architecture for Computer Vision论文笔记
俗话说得好，探索的道路是永无止境的，GoogLeNet经过了Inception V1、Inception V2（BN）的发展以后，Google的Szegedy等人又对其进行了更深层次的研究和拓展，在本文中，作者提出了当前环境下，网络设计的一些重要准则，并根据这些准则，对原有的GoogLeNet进行了改进，提出了一个更加复杂、性能更好的模型框架：Inception V3。
2017-03-29 16:10:09
11517
2
原创 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文笔记
虽然GoogLeNet在ILSVRC2014上斩获了各种大奖，但是GooGle的各位大牛依然没有闲着，他们马上又抛出了一个新的问题：Internal Covariate Shift，也就是本文要研究的问题，他们提出了一个新的层：Batch Normalization（BN），不仅能够很好的解决这个问题，而且在增快训练速度的基础上能够有效的提高模型的性能。
2017-03-23 14:31:55
2724
转载 机器学习中的回归(regression)与分类(classification)问题
分类模型和回归模型本质一样，分类模型是将回归模型的输出离散化。
2017-03-13 20:49:43
66094
原创 GoogLeNet Inception V1：Going deeper with convolutions论文笔记
在ILSVRC2014上最耀眼的除了VGG，那就非GoogLeNet莫属了，它与VGG类似的地方就是，关注于模型的深度，使模型倾向于deeper，与VGG不同的是，它的尝试更加新颖。从2014年至今，GoogLeNet经历了Inception v1到v4，以及Inception-ResNet的发展，也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。
2017-03-13 17:02:23
4518
1
转载 干货 | ImageNet 历届冠军架构最新评析：哪个深度学习网络最适合你（转）
【导读】计算机图像计算水平稳步的增长，但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中，作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构，为有效设计及应用深度神经网络提供了最新的分析资料。
2017-03-13 13:33:17
9881
翻译 VGG：VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION译文
仅供参考，如有翻译不到位的地方敬请指出。论文地址：Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址：http://blog.csdn.net/wspba/article/details/61625387
2017-03-12 21:24:42
24224
3
原创 VGG：VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION论文笔记
VGG模型在ILSVRC2014上大放异彩，虽然从VGG的诞生到现在已经2年多，但是它依然是目前最热门的模型网络之一。它最大的贡献是，将深度学习从AlexNet的时代推入到deeper model的时代，第一次将模型深度提高到16层以上，并取得了很好的效果。
2017-03-12 12:04:33
4235
1
翻译 Identity Mappings in Deep Residual Networks（译）
仅供参考，如有翻译不到位的地方敬请指出。论文地址：Identity Mappings in Deep Residual Networks译文地址：http://blog.csdn.net/wspba/article/details/60750007
2017-03-07 11:36:54
21822
8
原创 解密ResNet：Identity Mappings in Deep Residual Networks论文笔记
在上一篇文章中，对MSRA何凯明团队的ResNet进行了介绍（地址），那篇文章中提到了，1202层的ResNet出现了过拟合的问题，有待进一步改进。
2017-03-06 11:54:00
21371
3
翻译 Deep Residual Learning for Image Recognition（译）
仅供参考，如有翻译不到位的地方敬请指出。论文地址：Deep Residual Learning for Image Recognition译文地址：http://blog.csdn.net/wspba/article/details/57074389
2017-02-25 11:41:29
72070
20
原创 ResNet论文笔记
ResNet——MSRA何凯明团队的Residual Networks，在2015年ImageNet上大放异彩，在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩，而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper，实在是实至名归。就让我们来观摩大神的这篇上乘之作。
2017-02-20 21:15:31
94589
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人