9 shine-lee

尚未进行身份认证

我要认证

莫听穿林打叶声,何妨吟啸且徐行

等级
TA的排名 5w+

从卷积拆分和分组的角度看CNN模型的演化

博客:博客园 | CSDN | blog写在前面如题,这篇文章将尝试从卷积拆分的角度看一看各种经典CNN backbone网络module是如何演进的,为了视角的统一,仅分析单条路径上的卷积形式。形式化方便起见,对常规卷积操作,做如下定义,III:输入尺寸,长HHH 宽WWW ,令长宽相同,即I=H=WI = H = WI=H=WMMM:输入channel数,可以看成是tensor的高KKK:卷积核尺寸K×KK \times KK×K,channel数与输入channel数相同,为MMMN

2020-05-16 09:53:23

Inception系列回顾

博客:博客园 | CSDN | blog文章目录写在前面Inception-V1 (GoogLeNet)BN-InceptionInception-V2, V3Inception-V4,Inception-ResNet-v1,Inception-ResNet-v2参考写在前面Inception 家族成员:Inception-V1(GoogLeNet)、BN-Inception、Inception-V2、Inception-V3、Inception-ResNet-V1、Inception-V4、Ince

2020-05-16 09:51:16

通俗易懂DenseNet

文章目录写在前面Dense Block与Transition LayerDenseNet网络架构与性能理解DenseNetPlain Net、ResNet与DenseNet参考博客:博客园 | CSDN | blog写在前面在博客《ResNet详解与分析》中,我们谈到ResNet不同层之间的信息流通隐含在“和”中,所以从信息流通的角度看并不彻底,相比ResNet,DenseNet最大的不同之...

2020-02-29 17:47:44

ResNet详解与分析

文章目录Resnet要解决的是什么问题Residual Block的设计ResNet 网络结构error surface对比Residual Block的分析与改进小结参考博客:博客园 | CSDN | blogResnet要解决的是什么问题ResNets要解决的是深度神经网络的“退化”问题。什么是“退化”?我们知道,对浅层网络逐渐叠加layers,模型在训练集和测试集上的性能会变好,因...

2020-02-29 17:45:34

理解numpy中ndarray的内存布局和设计哲学

博客:博客园 | CSDN | blog文章目录ndarray是什么ndarray的设计哲学ndarray的内存布局为什么可以这样设计小结参考本文的主要目的在于理解numpy.ndarray的内存结构及其背后的设计哲学。ndarray是什么NumPy provides an N-dimensional array type, the ndarray, which describes a ...

2020-02-10 22:36:55

python中如何查看指定内存地址的内容

博客:博客园 | CSDN | blogpython中一般并不需要查看内存内容,但作为从C/C++过来的人,有的时候还是想看看内存,有时是为了验证内容是否与预期一致,有时是为了探究下内存布局。from sys import getsizeof from ctypes import string_at'''getsizeof(...) getsizeof(object, defa...

2020-02-10 22:33:43

计算机视觉中的滤波

文章目录写在前面Padding滤波杂谈参考博客:博客园 | CSDN | blog写在前面在计算机视觉中,滤波(filtering)是指Image filtering: compute function of local neighborhood at each position.—— from CAP5415–Fall 2014-Lecture 2 (08/21/2014)–Fil...

2020-02-10 22:32:37

数字图像处理,计算机视觉,计算机图形学,计算摄影

博客:博客园 | CSDN | blog先上图,下图通过输入输出来区分不同学科。计算机视觉(Computer Vision, CV),输入为图像或图像序列,输出为某种信息或描述,目的在于理解图像,获得语义信息。比如目标识别任务,输入一张图片,输出图中有哪些物体、都在什么位置,典型任务包括检测、识别、分割、定位、追踪、动作识别、OCR等,详见wiki-Computer vision。数字图像...

2020-02-10 22:30:20

彻底搞懂感受野的含义与计算

文章目录什么是感受野约定感受野大小感受野中心小结参考博客:博客园 | CSDN | blog什么是感受野The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).—— A guide ...

2019-12-19 17:52:49

远程桌面MATLAB启动失败问题解决

博客:博客园 | CSDN | blog远程桌面打开MATLAB会报错,解决办法,打开matlab的licenses路径,如matlab/R2017b/licenses/,路径下存有license文件,如license_standalone.lic(可能为其他名字),打开文件,在每行如下位置添加TS_OK。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R98Pw...

2019-12-16 15:13:38

直观理解为什么分类问题用交叉熵损失而不用均方误差损失?

文章目录交叉熵损失与均方误差损失损失函数角度softmax反向传播角度参考交叉熵损失与均方误差损失常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比,一共有KKK类,令网络的输出为[y^1,…,y^K][\hat{y}_1,\dots, \hat{y}_K][y^​1​,…,y^​K​],对应每个类别的概率,令label为 [y1,…,yK][y_1, \dots, y...

2019-12-12 22:30:11

Batch Normalization详解

文章目录动机单层视角多层视角什么是Batch NormalizationBatch Normalization的反向传播Batch Normalization的预测阶段Batch Normalization的作用几个问题卷积层如何使用BatchNorm?没有scale and shift过程可不可以?BN层放在ReLU前面还是后面?BN层为什么有效?参考博客:blog.shinelee.me |...

2019-12-05 15:30:47

常用数据结构操作与算法复杂度总结

文章目录时间复杂度常用数据结构操作与算法的复杂度输入规模较小时的情况引用博客:blog.shinelee.me | 博客园 | CSDN时间复杂度如何评估一个算法的计算时间?一个算法的实际运行时间很难评估,当时的输入、CPU主频、内存、数据传输速度、是否有其他程序在抢占资源等等,这些因素都会影响算法的实际运行时间。为了公平地对比不同算法的效率,需要脱离开这些物理条件,抽象出一个数学描述。在...

2019-11-22 18:35:01

网络权重初始化方法总结(下):Lecun、Xavier与He Kaiming

文章目录权重初始化最佳实践期望与方差的相关性质全连接层方差分析tanh下的初始化方法Lecun 1998Xavier 2010ReLU/PReLU下的初始化方法He 2015 for ReLUHe 2015 for PReLUcaffe中的实现小结参考博客:blog.shinelee.me | 博客园 | CSDN权重初始化最佳实践书接上回,全0、常数、过大、过小的权重初始化都是不好的,...

2019-11-22 09:08:11

网络权重初始化方法总结(上):梯度消失、梯度爆炸与不好的初始化

文章目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考博客:blog.shinelee.me | 博客园 | CSDN前向传播与反向传播回顾神经网络的训练过程可以简化成以下步骤,输入预处理(feature scaling等)初始化网络weight和bias前向传播,得到网络输出计算损失函数,得到当前损失反向传播,根据链式法则,逐层回传得到损失函...

2019-11-07 09:23:58

为什么要做特征归一化/标准化?

文章目录写在前面常用feature scaling方法计算方式上对比分析feature scaling 需要还是不需要什么时候需要feature scaling?什么时候不需要Feature Scaling?小结参考博客:blog.shinelee.me | 博客园 | CSDN写在前面Feature scaling,常见的提法有“特征归一化”、“标准化”,是数据预处理中的重要技术,有时甚...

2019-11-02 18:29:12

直观理解梯度,以及偏导数、方向导数和法向量等

title: 直观理解梯度,以及法向量和切平面mathjax: truedate: 2019-10-17 17:59:53tags:categories:博客:blog.shinelee.me | 博客园 | CSDN写在前面梯度是微积分中的基本概念,也是机器学习解优化问题经常使用的数学工具(梯度下降算法),虽然常说常听常见,但其细节、物理意义以及几何解释还是值得深挖一下,这些不...

2019-10-21 18:05:46

如何编译和调试Python内核源码?

文章目录写在前面获取源代码源代码的组织windows下编译CPython调试CPython小结参考博客:blog.shinelee.me | 博客园 | CSDN写在前面如果对Python源码感兴趣,那“窥探”其实现的最佳方式就是调教它,不,调试它。获取源代码Python的官方默认实现为CPython,即C语言实现(主要指解释器的实现,其他实现见Other Interpreter Imp...

2019-10-16 15:21:31

VGG(2014),3x3卷积的胜利

文章目录写在前面网络结构multi-scale training and testing其他有意思的点参考博客:blog.shinelee.me | 博客园 | CSDN写在前面VGG(2014)网络出自paper《Very Deep Convolutional Networks for Large-Scale Image Recognition》,为ILSVRC2014 localizat...

2019-10-14 20:09:19

Network in Network(2013),1x1卷积与Global Average Pooling

文章目录写在前面mlpconv layer实现Global Average Pooling网络结构参考博客:blog.shinelee.me | 博客园 | CSDN写在前面《Network in Network》简称NIN,出自颜水成老师团队,首次发表在arxiv的时间为2013年12月,至20190921引用量为2871(google scholar)。NIN的网络结构仍是在Alex...

2019-10-11 17:56:37

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。