songyufeishibyr-CSDN博客

转载深度学习中的batch_size,iterations,epochs等概念的理解

1.batch_size深度学习的优化算法，用大白话来说其实主要就是梯度下降算法，而每次的参数权重更新主要有两种方法。（1）遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。（2）stochastic gradient descent每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降。这个方法速度比较快

2020-09-22 11:17:19 299 1

原创由selu和Batch Normalization谈深度学习的归一化问题

为什么深度学习需要归一化一个标准的归一化步骤就是减均值除方差，如下图，就是把数据集中分布的位置从其它地方，移到中心，注意这个数据是可以输入也可以是网络中间的某一层输出那么我们为什么希望数据集中分布在中央，像正态分布一样呢，我认为，大多数激活函数都是在中央位置曲线更平滑，斜率变动不会过大过小，能解决梯度消失和梯度爆炸问题。selu和Batch NormalizationBN是批归一化，简单说他就是对数据减均值除方差，这个数据是可以输入也可以是网络中间的某一层输出，这样数据分布更好，得到的结果更好s

2020-09-21 13:25:07 466

原创 sigmoid不是以0为中心造成的后果及原因

后果有可能导致网络收敛慢（我认为在某一层反向传播中，如果参数们本来就是都要增，都要减，那么在这一层收敛不受影响）如果参数们有的需要增有的需要减，这种情况下，收敛就像第二张图，明明可以走绿线进行收敛，但不得不走了红线，这是因为参数们只能同增或同减，那么为什么会这样呢，下面解释，（注意我们的论证都是在反向传播某一层中）原因权重更新的公式（它也有变形，但意思一样）：对于神经元A来说，wi更新的方向和后几项都有关系先看超参数，他是人为规定的，是默认值，可以不考虑；再看最后两位乘积项，这个对..

2020-09-19 17:10:48 3207 1

原创反向传播+梯度消失梯度爆炸

反向传播+梯度消失爆炸为什么写这个呢，本来是想调研一下激活函数，就在想什么样的激活函数才是好的，Sigmoid在x过大过小的时候梯度消失造成问题，于是发现对梯度消失和梯度爆炸的理解还是不深，既然涉及到梯度了，那就需要重新掌握反向传播了，所以写下了这篇笔记为什么需要反向传播反向传播是优化神经网络参数的方法，深层网络由许多线性层和非线性层堆叠而来，因此整个深度网络可以视为是一个复合的非线性多元函数。我们最终的目的是希望这个非线性函数很好的完成输入到输出之间的映射，也就是找到让损失函数取得极小值，这就

2020-09-19 16:14:01 890

原创 Google Drive文件下载

Google Drive文件下载Google Drive文件下载Google Drive文件下载google drive文件链接打不开，网上的方法都试了一下，还试了一些自己奇思妙想的方法，后来啊，发现***淘宝***真是好东西，一分钟不到就下好了，再也不瞎折腾了...

2020-07-22 08:49:23 2717 2

原创 TCP三次握手四次挥手

TCP三次握手四次挥手三次握手就是TCP建立连接过程，四次挥手就是TCP释放连接过程这篇讲的很细致三次握手简单的说建立连接过程分三部 1.Client端发送连接请求报文，2.Server段接受连接后回复ACK报文，3.Client端接收到ACK报文后也向Server段发生ACK报文，这样TCP连接就建立了SYN是首部同步位（SYN=1的报文段不能携带数据）但要消耗掉一个序号，所以第三次握手时，不再有SYN=1这个信号ACK=1代表是应答（ACK）报文seq 代表发送报文的序号，每发一个报

2020-07-03 15:41:50 57

原创数据结构第一章概论总结

@数据结构第一章概论总结数据结构第一章概论总结数据结构的基本概念和术语数据、数据元素、数据项、数据对象、数据结构等基本概念数据：是客观事物的数字化表示，是被计算机加工处理的对象。数据元素（记录、表目）：数据的基本单位，是数据集合中的一个个体。一个数据元素可由若干个数据项组成，数据项是不可分割的最小单位.数据对象是性质相同的数据元素的集合，是数据的一个子集。数据结构，带结构的数据元素集合，数据结构=(D,S,Op)数据元素，关系，操作数据结构的逻辑结构，存储结构及数据运算的含义及其相

2020-07-01 14:45:37 156

CasRel模型的nyt原始数据集

在复现ACL2020的论文A Novel Cascade Binary Tagging Framework for Relational Triple Extraction中需要的raw_NYT数据，由于google drive不太好下载所以放这了，并且贴心的把7z压缩格式变成了常见的zip，我可真是个小天使

2020-07-22

计网实践报告（实验三，实验四）

实验做得非常非常完善，网络设计非常复杂，思考问题也尽量考虑全面了，课程得分98，保质保量。实验三 10台交换机。实验四 5台路由器，11台交换机。实验三：RIP和OSPF路由协议配置 1、在上一次实验的基础上实现RIP和OSPF路由协议 2、自己设计网络物理拓扑和逻辑网段，并在其上实现RIP和OSPF协议 3、通过debug信息详细描述RIP和OSPF协议的工作过程。 4、RIP协议中观察没有配置水平分割和配置水平分割后协议的工作流程； 5、OSPF中需要思考为什么配置完成后看不到路由信息的交互？如何解决？实验四：掌握以太网交换机的使用方法，能够在模拟环境中使用以太网交换机组建局域网。 掌握以太网交换机的VLAN划分和配置方法，能够在模拟环境中使用以太网交换机组建虚拟局域网。

2020-07-03