- 博客(14)
- 收藏
- 关注
RSS订阅原创 推导CNN中的BP误差反向传播算法
实际上就是一个：梯度下降反向传播更新如果熟知高数和懂最优化的梯度下降理论，可以直接跳到 四一、反向传播的由来在我们开始DL的研究之前，需要把ANN—人工神经元网络以及bp算法做一个简单解释。输入层/输入神经元，输出层/输出神经元，隐层/隐层神经元，权值，偏置，激活函数接下来我们需要知道ANN是怎么训练的，假设ANN网络已经搭建好了，在所有应用问题中（不管是网络结构，...
2019-07-11 22:21:37
1925
2
原创 卷积神经网络CNN中1×1卷积作用理解
0.引言研究 GoogLeNet 和 VGG 神经网络结构的时候，都看见了它们在某些层有采取 1x1 作为卷积核，在最开始看到的AlexNet中都是出现了卷积核是 3x3和5×5的。那么，1x1 的卷积核有什么意义呢？最初应用 1x1 卷积核的神经网络是 Network In Network，然后 GoogLeNet 和 VGG 也不约而同的更正了。他们在论文中解释，大概有下面 2...
2019-07-11 22:09:14
9450
9
原创 深度学习经典网络（4）ResNet深度残差网络结构详解
0.引言 ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域都纷纷使用ResNet，Alpha zero也使用了ResNet，所以可见ResNet确实很好用。下面我们从实用的角度去看看ResNet。1...
2019-07-11 22:04:36
32244
7
原创 深度学习经典网络（3）GoogleNet网络结构详解
0.背景获得高质量模型最保险的做法就是增加模型的深度（层数）或者是其宽度（每一层卷积核数或者神经元数），但是这里一般设计思路的情况下会出现如下的缺陷：1.参数太多，若训练数据集有限，容易过拟合；2.网络越大计算复杂度越大，难以应用；3.网络越深，梯度越往后穿越容易消失，难以优化模型。解决上述两个缺点的根本方法是将全连接甚至一般的卷积都转化为稀疏连接。为了打破网络对称性...
2019-07-11 21:58:29
9807
2
原创 深度学习经典网络（2）VGG网络结构详解
0.介绍深度神经网络一般由卷积部分和全连接部分构成。卷积部分一般包含卷积（可以有多个不同尺寸的核级联组成）、池化、Dropout等，其中Dropout层必须放在池化之后。全连接部分一般最多包含2到3个全连接，最后通过Softmax得到分类结果，由于全连接层参数量大，现在倾向于尽可能的少用或者不用全连接层。神经网络的发展趋势是考虑使用更小的过滤器，如1*1,3*3等；网络的深度更深（2012年A...
2019-07-11 21:47:44
6500
原创 深度学习经典网络（1）AlexNet详解读懂CNN网络的一般架构
1.背景2012年AlexNet在ImageNet大赛上一举夺魁，开启了深度学习的时代，虽然后来大量比AlexNet更快速更准确的卷积神经网络结构相继出现，但是AlexNet作为开创者依旧有着很多值得学习参考的地方，它为后续的CNN甚至是R-CNN等其他网络都定下了基调，所以下面我们将从AlexNet入手，理解卷积神经网络的一般结构。先给出AlexNet的一些参数和结构图：卷积层：...
2019-07-11 21:32:20
3809
原创 哈工大李志军操作系统 —（三）内存管理—内存的换入与换出L24.L25
L24 内存换入-请求调页与内存换入前言前面说过为了保证内存在用户程序看起来是分段，而实际是分页的效果，引入了虚拟内存。对于用户来说，虚拟内存是一个完整的内存，用户可以随意使用该“内存”，假设为4G，那么对于用户来说就有4G的空间可以使用，即使实际内存只有2G甚至1G。那么这是如何实现的呢？这就引出了换入和换出。Swap in/Swap out 让用户使用，使用分段，...
2019-03-11 23:12:56
811
原创 哈工大李志军操作系统 —（三）内存管理—段页结合的实际内存管理L23
前言前面说过用户程序喜欢分段来分配内存，但是实际的物理内存更加倾向于分页管理，因为这样可以使内存的利用率最大化。作为操作系统，既要向上负责，又要向下负责。操作系统在管理物理内存用分页，用户代码分段存储。这一篇博客主要谈谈用户程序需要的段和物理内存需要的页是如何结合到一起的。虚拟内存虚拟内存的引入首先两个条件，第一：物理内存必须得是分页管理的；第二：对用户来说是分段的。但是用户程序最...
2019-03-11 22:54:01
362
原创 哈工大李志军操作系统 —（三）内存管理—多级页表与快表L22
单级页表的缺点前面说了为了提高内存的利用率，内存是分页管理的，并且有一个页表用来存储页号（逻辑地址）与页框号（物理地址）的对应关系。通过找页号就可以找到页框号。这个思想理论上是没有问题的，但是实际使用的时候就不行了，为什么？为了更好的提高内存的利用率，每一页就应该做得足够小，但是每一页都要在页表里面有一项与页框对应，也就是说页数越多页表也就会越大，页表如果很大的话就会对内存造成浪费，因为存...
2019-03-11 22:26:06
1227
1
原创 哈工大李志军操作系统 —（三）内存管理—内存分段分区与分页L20.L21
L20 内存使用和分段内存如何使用：内存使用就是放在内存中的程序能够按照正确的逻辑顺序执行首先让程序进入内存：问题引入假设一段c代码int main (int argc, char * argv[]){ ………………}编译之后形成的汇编代码如下：_entry: call _main call_exit_main:……………………ret...
2019-03-11 21:52:56
351
原创 哈工大李志军操作系统 —（四）设备驱动与文件系统—目录与文件系统L31.L32
L31 目录与文件系统file system 磁盘是一颗目录树，每个目录下一堆文件 文件系统，抽象整个磁盘（第四层抽象） 故事从多个文件开始 所有文件放在一层（大集合）--集合划分：分治处理 引入目录树 目录形成目录树 实现目录成为关键问题 根据树状结构查找文件目录路径，得到文件FCB的映射 如果存放目录下的所有文件的FCB吗？需要逐个匹配，这样查...
2019-03-10 17:11:08
401
原创 哈工大李志军操作系统 —（四）设备驱动与文件系统—生磁盘与文件使用磁盘L28.L29.L30
磁盘与文件系统就是由4层抽象组成！！！总结一下磁盘的使用：多进程需要读写→通过文件系统（第四层抽象）目录解析找到test.c文件，根据文件（第三层抽象）的FCB得到所需位置的盘块号→盘块号写入请求队列排队（第二层抽象）进行电梯算法→磁盘驱动根据盘块号（第一层抽象）算出C H S→相应扇区读写。下面开始一层一层的抽象开始讲解。总结：用户删除文件的某一段字符→最终对应磁盘删除的全过程...
2019-03-10 16:55:33
642
原创 哈工大李志军操作系统 —（四）设备驱动与文件系统—外设显示器与键盘L26.L27
L26 I/O与显示I/O读写整体三步原理cpu取址执行通过out指令向外设发送命令 将命令通过文件形成统一文件视图进行解释 外设执行完命令后返回给cpu进行中断处理（显示器：显示图像；键盘：读数据到内存）I/O读写整体框架让外设工作起来，cpu发出指令给显卡中的一个寄存器（显存），显示器根据显卡中的信息来让显示器工作。所以让外设工作，只需要向对应的寄存器中发送指令，完成操作...
2019-03-09 17:10:00
1081
原创 OSPF,RIP,BGP区别
RIP是一种基于distance vector的分布式的基于距离向量的路由选择协议，OSPF是一种基于link state的分布式的基于链路状态的路由选择协议BGP 是基于path vector的边界网关协议，将一个自治域系统看成一个节点，采用BGP协议相连接RIP：仅于相邻的路由器交换状态；路由器交换的信息是当前本路由器所知道的全部信息，即路由表；按固定的时间
2017-06-15 11:17:00
9724
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人