- 博客(23)
- 收藏
- 关注
RSS订阅原创 CS231n Lecture 9: CNN architectures
文章目录AlexNetZFNetVGGNetGoogLeNetResNetAlexNet这里使用了两个GPU来训练，因为当时的GPU不够强大CONV1，2，4，5中的feature map的连接只在相同的GPU中有，而CONV3，FC6，FC7，FC8的feature map的连接会跨GPUZFNet在AlexNet的基础上调了超参数CONV1: 将 11x11 步长为4的卷积核换成了7x7步长为2的卷积核CONV3，4，5 分别用了512，1024，512个卷积核VGGNet可以看
2021-04-17 15:07:10
127
原创 CS231n Lecture 8: Training Neural Networks Part2
Optimization动量版SGDSGD仍然还有一些问题：当损失函数在一个方向快速改变，另一个方向很慢地改变时，梯度下降会变成非常慢地一个过程同时，SGD对于驻点和局部最小值的表现并不好，在那些地方会堵住。因此，现在考虑一种SGD+动量的方法：现在的速度 = 摩擦系数 * 之前的速度+梯度新的权重 = 旧的权重 - 学习率 * 新的速度摩擦系数一般取0.9或0.99Nesterov 动量vt+1=ρvt−α∇f(xt+ρvt)xt+1=xt+vt+1\begin{aligned}v_{
2021-04-17 15:01:20
117
原创 CS231n Lecture 7 Training Neural Networks part 1
overview1.一次设置激活函数，预处理，权重初始化，正则化，梯度检查2.训练时动态调整迁移学习，参数更新，超参数优化3.评估model ensembles, test-time augmentation文章目录overview激活函数Sigmoid 函数tanh（x）ReLU家族Maxout Neuron数据预处理权重初始化Batch NormalizationBabysitting the Learning Process激活函数与神经细胞类比：从神经元轴突传来数据（x0）到达
2021-04-17 14:58:39
163
原创 CS231n lecture 5 Convoluntional Neural Networks 卷积神经网络
lecture 5 Convoluntional Neural Networks 卷积神经网络卷积层卷积神经网络可以保留输入图像的结构。滤波器的深度和输入图像的深度是一样的。在卷积层，滤波器会对图片进行扫描，类似于网格平移一样的，每次扫描就是直接相乘求和再加上bias得到一个值。最后可以得到一个28281的activation map如果有6个5*5的滤波器，那么会得到6层activation map卷积神经网络包括了一系列的卷积层和激活函数。前面的卷积层会提取出低级特征，中间的卷积层根据低
2021-04-16 16:31:22
248
原创 CS231n Lecture 4: 神经网络和反向传播
Lecture 4 神经网络和反向传播Lecture 4: 神经网络和反向传播神经网络线性分数函数：f=Wx+bf=Wx + bf=Wx+b2层神经网络： f=W2max(0,W1x+b1)+b2f = W_2max(0,W_1x + b_1) + b_2f=W2max(0,W1x+b1)+b2在这里，更精确地来说，应该叫做全连接神经网络（FC）在两层神经网络中，使用了非线性激活函数ReLU。如果不使用非线性激活函数的话，最后会变为 在这种情况下，设 因此，实质上还是单层神经网络，不管
2021-04-16 16:25:44
86
原创 CS231n lecture 3 损失函数和优化
lecture 3 损失函数和优化文章目录lecture 3 损失函数和优化Multiclass SVM loss 多分类SVM损失函数正则项 RegularizationSoftmax Classifier优化 Optimization随机梯度下降法 Stochastic Gradient Descent (SGD)损失函数告诉我们目前的分类器的表现有多好整个数据的损失是每组数据的损失之和的平均值L=1N∑i=1NLiL=\frac{1}{N} \sum_{i=1}^{N} L_{i} L=N1
2021-04-16 09:31:28
153
原创 CS231n 02- KNN
文章目录Image classification taskNearest Neighbor Classifier 近邻分类器通过距离测量来比较图片KNN K近邻算法KNN的距离计算量度Hyperparameters 超参数KNN的缺点Linear Classifier 线性分类器Image classification task机器学习：基于数据的解决方案步骤：1.收集大量的图片并打上标签 2.使用机器学习算法来训练一个分类器 3.用新的图片来评估分类器的好坏Nearest Neighbor Cla
2021-04-16 09:28:52
100
原创 操作系统 6 物理内存管理：非连续内存分配
6 物理内存管理：非连续内存分配文章目录6 物理内存管理：非连续内存分配6.1 非连续内存分配的需求背景6.1.1 非连续分配的设计目标6.1.2 非连续内存分配的实现6.2 段式存储管理6.2.1 段地址空间6.2.2 段访问机制6.3 页式存储管理6.3.1 页式存储管理6.3.2 帧 Frame6.3.3 页 Page6.3.4 页表6.4 页表概述6.4.1 页表结构6.4.2 页式存储管理机制的性能问题6.5 快表和多级页表6.5.1 快表（TLB）6.5.2 多级页表6.6 反置页表6.6.1
2021-04-16 09:26:39
159
原创 操作系统 5 物理内存管理：连续内存分配
文章目录5 物理内存管理：连续内存分配5.1 内存层次5.2操作系统中的内存管理5.3 操作系统中的内存管理方式5.4 连续内存分配和内存碎片5.4.1 动态分区分配5.4.2 最先匹配策略5.4.3 最佳匹配策略5.4.4 最差匹配策略5.5 碎片整理5.5.1 紧凑（compaction）5.5.2 分区对换5.6 伙伴系统（Buddy System）5.6.1 伙伴系统的实现5.6.2 伙伴系统中的内存分配5 物理内存管理：连续内存分配5.1 内存层次在该表中，明显处理器中的L1缓存是最快的，
2021-04-16 09:25:58
343
原创 编译原理 第九章 错误处理
文章目录第九章 错误处理9.1 概述9.2 错误的分类9.3 错误的诊察和报告9.4 错误处理技术第九章 错误处理9.1 概述编译器的必备功能之一：错误处理正确的源程序：通过编译，生成目标代码错误的源程序：通过编译，发现并指出错误编译器的错误处理能力诊察错误的能力报错及时准确（出错位置、错误性质）一次编译找出错误的多少（一般只找出20个）改正错误的能力（如word会自动更正拼写错误）遏制重复错误信息的能力9.2 错误的分类语法错误和语义错误语法错误：程序结构不符合语法（包括词
2021-04-16 09:25:38
2397
原创 编译原理 源程序的中间形式
文章目录第八章 源程序的中间形式8.1 波兰表示8.2 N-元表示8.3 抽象机代码第八章 源程序的中间形式一般编译程序都生成中间代码，然后再生成目标代码。优点是：可移植（与具体目标程序无关） 且易于代码优化8.1 波兰表示即后缀表示式由中缀表达式翻译为波兰表示算法较容易实现。构造一个类似算法优先分析法的算法即可。波兰表示法优点：在不使用括号的情况下可以无二义地说明算术表达式波兰表示法更容易转换成机器的汇编语言或机器语言。（操作数出现在紧靠操作符的左边，而操作符在波兰表示中的顺序即为
2021-04-16 09:25:28
407
原创 CS224w 03-Motifs and Structural Roles in Networks
文章目录03-Motifs and Structural Roles in Networks3.1 Subgraphs3.1.1 motifs3.1.2 Graphlets: Node feature vectors3.1.3 寻找Motifs和Graphlets3.2 Structural roles in networks3.2.1 RolX : Structural Role Discovery Method3.3 Discovering structural roles and its applic
2021-04-16 09:25:11
241
原创 编译原理 运行时的存储组织及管理
第七章 运行时的存储组织及管理文章目录第七章 运行时的存储组织及管理7.1 概述7.2 静态存储分配7.3 动态存储分配7.3.1 活动记录7.3.2 建造display区的规则7.3.3 运行时的地址计算7.1 概述运行时的存储组织及管理是目标程序运行时所需要存储空间的组织与管理以及源程序中变量存储空间的分配。静态存储分配在编译阶段由编译程序实现对存储空间的管理，和为源程序中的变量分配存储的方法。条件：如果在编译时能够确定源程序中变量在运行时的数据空间大小，且运行时不改变但并不是所有数据空间
2021-04-16 09:24:58
1481
原创 计算机网络 网络层 PART3
4.4 网际控制报文协议ICMP文章目录4.4 网际控制报文协议ICMP4.4.1 ICMP报文的种类4.4.2 ICMP的应用举例4.5 互联网的路由选择协议4.5.1 有关路由器选择协议的几个基本概念4.5.2 内部网关协议RIP4.5.3 内部网关协议OSPF4.5.4 外部网关协议 BGPICMP的格式：4.4.1 ICMP报文的种类ICMP 差错报告报文 和 ICMP询问报文ICMP 报文的前 4 个字节是统一的格式，共有三个字段：即类型、代码和检验和。接着的 4 个字节的内容与 IC
2021-04-15 16:00:53
129
原创 CS224W:Kronecker graphs: An Approach to Modeling Networks
Kronecker graphs: An Approach to Modeling NetworksKronecker graph 模型是一种高度符合现实世界网络的图形，运用拙略的生成方法的时间复杂度是超指数级的，而新的算法可以把时间复杂度降低为线性。Kronecker graph model 是基于递归构造的图。文章目录Kronecker graphs: An Approach to Modeling Networks3.1 Main idea3.2 随机Kronecker图3.1 Main ide
2021-04-15 16:00:04
286
原创 编译原理 符号表管理技术
第六章 符号表管理技术文章目录第六章 符号表管理技术6.1 概述6.2 符号表的组织与内容6.2.1 符号表的结果与内容6.2.2 符号表的组织方式6.3 非分程序结构语言的符号表组织6.4 分程序结构语言的符号表组织6.1 概述符号表：在编译过程中，编译程序用来记录源程序中各种名字的特性信息，所以也称为名字特性表。名字：程序名、过程名、函数名、用户定义类型名、变量名、常量名、枚举值名、标号名等。特性信息：上述名字的种类、类型、维数、参数个数及目标地址（存储单元地址）等。符号表在编译过程中的作用
2021-04-15 15:58:48
1637
原创 数字电路 时序逻辑电路
第六章 时序逻辑电路文章目录第六章 时序逻辑电路6.1 概述6.1.1 时序逻辑电路的特点6.1.2 时序电路的一般结构形式与功能描述方法6.1.3 时序电路的分类6.2 时序电路的分析方法6.2.1 同步时序电路的分析方法6.2.2 时序电路的状态转换表、状态转换图和时序图6.3 若干常用的时序逻辑电路6.3.1 寄存器和移位寄存器6.3.2 计数器6.1 概述6.1.1 时序逻辑电路的特点功能上：任一时刻的输出不仅取决于该时刻的输入，还与电路原来的状态有关。（这里是考虑到延迟了的）电路结构上
2021-04-15 15:58:01
4370
1
原创 CS224W 02-Properties of NetWorks, Random Graph Models 图网络特征，随机图模型
02-Properties of NetWorks, Random Graph Models文章目录02-Properties of NetWorks, Random Graph Models2.1 如何衡量一个网络2.1.1 关键的网络的参数（1）Degree Distribution（2）Paths in a Graph（3）Clustering Coefficient（聚类系数）（4）Connectivity（连通性）2.2 用这些特性来衡量现实世界网络！Degree DistributionClu
2021-04-15 15:56:55
286
原创 数字电路 触发器
第五章 触发器组合逻辑电路和时序逻辑电路的区别：1.功能上：任意时刻的输出仅取决于此时刻的输入？2.电路结构上：是否含记忆（存储）元件？——触发器5.1 概述什么是触发器？能够记忆1位二进制信号的基本单元电路特点：1.有两个能自行保持的状态，用来表示0和1；2.根据输入信号可以置成0或1分类按触发方式：电平、脉冲、边沿按逻辑功能：SR、JK、T、D按存储数据的原理：静态：电路状态自锁（SRAM） 动态：MOS管栅极输入电容上存储电荷（DRAM）5.2 SR锁存器“各种触发器电路的基
2021-04-15 15:55:36
2490
原创 CS224w 图神经网络 01-intro
Network: Networks are a general language for describing complex systems of interacting entities.Two types of Networks/Graphs:Networks(also known as Natural Graphs):Society; Communication system; Interactions between genes regulate life; thoughtsInforma
2021-04-15 15:54:50
160
原创 计算机网络 网络层 PART2
文章目录4.2.5 IP数据报的格式4.2.6 IP层转发分组的流程4.3 划分子网和构造超网4.3.1 划分子网4.2.5 IP数据报的格式在TCP/IP的标准中，各种数据常常以32位为单位来描述。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8jtnkHKy-1618473123861)(https://raw.githubusercontent.com/QingYuAnWayne/PicStorage/master/20201027204354.png)]前部的
2021-04-15 15:52:48
195
原创 数字电路 常用组合逻辑电路
文章目录4.3.1 编码器4.3.2 译码器4.3.3 数据选择器4.3.4 加法器4.3.5 数值比较器4.4 组合逻辑电路中的竞争-冒险现象4.4.1 竞争-冒险现象及成因4.4.3 消除竞争-冒险现象的方法4.3.1 编码器编码：为了区分一系列不同的事物，将其中的每个事物用一个二值代码表示。编码器：将输入的每个高/低电平信号变成一个对应的二进制代码普通编码器：特点：任何时刻只允许输入一个编码信号。例：3位二进制普通编码器优先编码器：特点：允许同时输入两个以上的编码信号，但只对其中
2021-04-15 15:51:28
3104
原创 计算机网络 网络层 PART1
这里写自定义目录标题第四章 网络层4.1 网络层提供的两种服务4.2 网际协议IP4.2.1 虚拟互联网络4.2.2 分类的IP地址4.2.3 IP地址与硬件地址欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导
2021-04-15 15:49:51
3179
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人