- 博客(120)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 机器学习/深度学习入门：标准化
数据归一化（概率模型不需要）目的：就是将数据的所有特征都映射到同一尺度上，这样可以避免由于量纲的不同使数据的某些特征形成主导作用。优点：加快了梯度下降求最优解的速度（椭圆、圆）；有可能提高精度（原始数据可能突出数值较高的指标在综合分析中的作用，相对削弱数值水平较低指标的作用）方法：最大最小标准化（图像）、z-score标准化（数据分布近似高斯分布）、非线性归一化（数据分化比较大）如lo...
2019-11-21 15:20:37
619
转载 C++入门：std::
引例：#include<iostream>int main(){ std::cout<<"我喜欢C++";//输出一句话 std::cout<<std::endl;//换行 return 0;}std是什么？ std:: 是个名称空间标示符，C++标准库中的函数或者对象都是在命名空间std中定义的...
2019-07-11 09:50:17
377
原创 算法入门：树的遍历
二叉树的遍历主要有前序遍历，中序遍历，后序遍历，层序遍历四种方式前序遍历：中左右 中序遍历：左中右 后序遍历：左右中递归#include<iostream>#include<queue>#include<vector>#include<stack>using namespace std;struct TreeNode { ...
2019-07-08 16:26:31
213
转载 C++入门：结构体
结构体声明//没有标明其标签，声明了结构体变量s1struct{ int a,b; char c; double d; int add() {return a+b;}} s1;//s1.a=1;//结构体的标签被命名为SIMPLE，用SIMPLE标签的结构体，另外声明了变量t1, t2[20], *t3struct SIMPLE{ in...
2019-07-08 10:49:54
325
转载 机器学习/深度学习入门：Boosting、Bagging和偏差、方差
1、化简公式2. bagging的偏差和方差对于bagging来说，每个基模型的权重等于1/m且期望近似相等（子训练集都是从原训练集中进行子抽样），故我们可以进一步化简得到：根据上式我们可以看到，整体模型的期望近似于基模型的期望，这也就意味着整体模型的偏差和基模型的偏差近似。同时，整体模型的方差小于等于基模型的方差（当相关性为1时取等号），随着基模型数（m）的增多，整体模型的方...
2019-07-03 16:16:58
773
转载 算法入门：优先队列实现——堆
定义优先队列（PriorityQueue），根据key值的大小将元素进行排序、先被pop的通常是优先级最高的。此处介绍基于堆实现的优先队列，binary heap是一种完全二叉树，以大堆为例，每棵树的根节点的key值一定大于其子孙节点的key值，完全二叉树除了最底层的叶子节点外，其他位置都是填满的。这样我们可以利用数组来存储所有节点。若将数组从下标1开始存储元素、那么下标为 i 的节点...
2019-06-28 10:36:14
225
转载 C++入门：STL——set
关联式容器：每个元素位置取决于特定的排序准则以及元素值，和插入次序无关。一、setset（集合）由红黑树（平衡二叉树的一种）实现，其内部所有元素都会根据元素的键值自动排序，set的元素不像map那样可以同时拥有实值(value)和键值(key),set元素的键值就是实值，实值就是键值。set内每个元素值只能出现一次，不允许重复。二、set的常用函数s.insert()--在集合中插...
2019-06-27 22:36:44
217
转载 C++入门：STL——map
关联式容器：每个元素位置取决于特定的排序准则以及元素值，和插入次序无关。一、mapmap提供一对一（其中第一个称为关键字key，每个关键字只能在map中出现一次，第二个称为该关键字的值value）的数据处理能力，由于这个特性，它完成有可能在我们处理一对一数据的时候，在编程上提供快速通道。map内部自建一颗红黑树(一种非严格意义上的平衡二叉树)，这颗树具有对数据自动排序的功能，所以在map...
2019-06-27 17:59:24
878
转载 C++入门：STL——queue、priority_queue、deque、stack
一、queuequeue(队列)是一种先进先出的数据结构，也就是FIFO(firstin first out) ，最先加入队列的元素将最先被取出来。二、queue的常用函数q.push(元素):将元素添加到队尾 q.pop()：删除队顶元素，类型为void，但并不返回被删除的元素 q.size()：返回队列中的元素数量 q.empty()：判断队列是否为空，返回true或fal...
2019-06-27 09:51:50
244
转载 C++入门：STL——list
序列式容器：每个元素均有固定位置，取决于插入时机和地点，和元素值无关。一、listList由双向链表（doubly linked list）实现而成，元素也存放在堆中，每个元素都是放在一块内存中，他的内存空间可以是不连续的，通过指针来进行数据的访问，这个特点使得它的随机存取变得非常没有效率，因此它没有提供[]操作符的重载。但是由于链表的特点，它可以很有效率的支持任意地方的插入和删除操作。...
2019-06-26 21:41:14
148
转载 C++入门：STL——vector
序列式容器：每个元素均有固定位置，取决于插入时机和地点，和元素值无关。一、vectorvector(向量):是一种顺序容器，事实上和数组差不多，它的特征是相当于可分配拓展的数组，它的随机访问快，在中间插入和删除慢，但在末端插入和删除快。二、vector的初始化vector <int> v;vector <int>::iterator it; 三、ve...
2019-06-26 19:19:13
187
原创 算法入门：队列实现堆栈，堆栈实现队列
leetcode232：两个堆栈实现队列class MyQueue {private: stack<int> a; stack<int> b;public: /** Initialize your data structure here. */ MyQueue():a(),b() { } ...
2019-06-25 22:28:17
537
转载 C++入门：.和->、::和:区别
.和->区别点运算符“.”应用于实际的对象，A.B则A为对象或者结构体； 箭头运算符“->”与一个指针对象的指针一起使用，A->B是提取A中的成员B，A只能是指向类、结构、联合的指针；class A{public: int a = 0;};int main(){ A b; A *p = &b; b.a; //类类型的对象访问类的成员 p-&g...
2019-06-25 16:12:52
505
转载 C++入门：STL——string
序列式容器：每个元素均有固定位置，取决于插入时机和地点，和元素值无关。一、string的初始化string str：生成空字符串 string s(str)：生成字符串为str的复制品 string s(str, strbegin,strlen)：将字符串str中从下标strbegin开始、长度为strlen的部分作为字符串初值 string s(cstr, char_len)：以C...
2019-06-19 21:22:54
213
转载 Pytorch入门：加载模型和参数
pytorch的模型和参数是分开的，可以分别保存或加载模型和参数。pytorch两种模型保存方式：保存整个神经网络的的结构信息和模型参数信息，save的对象是网络net 只保存神经网络的训练模型参数，save的对象是net.state_dict()pytorch两种加载模型的方式:对应第一种保存方式，加载模型时通过torch.load('.pth')直接初始化新的神经网络对象； ...
2019-06-12 11:06:07
3799
转载 超分辨路重建：字典学习
问题描述假设已有N张稀疏的图像，大小为800*800。请问如何通过稀疏表达的方式对原有图像数据进行压缩，同时保证图像尽量不失真。y向量代表原有的图像（640000维），A是字典矩阵（K*640000），x是稀疏表示向量（K维），因为K远远小于N，我们认为，稀疏表示后的数据获得了大幅的压缩。求A的过程通常称为字典学习。已知A，求x的过程称为稀疏表示。通常这两者可以等同。在实际训练的过程中，为了减...
2019-05-19 10:24:12
1172
转载 机器学习/深度学习入门：softmax求导
1.softmax初探在机器学习尤其是深度学习中，softmax是个非常常用而且比较重要的函数，尤其在多分类的场景中使用广泛。他把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。首先我们简单来看看softmax是什么意思。顾名思义，softmax由两个单词组成，其中一个是max。对于max我们都很熟悉，比如有两个变量a,b。如果a>b，则max为...
2019-05-13 16:16:16
570
转载 机器学习/深度学习入门：激活函数
为什么激活函数是非线性的？如果不用激励函数（相当于激励函数是f(x)=x），在这种情况下，每一层的输出都是上一层的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这与一个隐藏层的效果相当（这种情况就是多层感知机MPL）。但当我们需要进行深度神经网络训练（多个隐藏层）的时候，如果激活函数仍然使用线性的，多层的隐藏函数与一层的隐藏函数作用的相当的，就失去了深度神经网络的意义，所以引入非...
2019-05-10 22:28:43
431
转载 数学：矩估计和最大似然估计
一、为什么要估计（estimate）在概率，统计学中，我们所要观测的数据往往是很大的，(比如统计全国身高情况）我们几乎不可能去统计如此之多的值。这时候，就需要用到估计了。我们先抽取样本，然后通过统计样本的情况，去估计总体。下面是数学中常用到的术语：总体（Populantion）。通常它均值（mean）用 μ 表示。方差用表示。 样本（Sample）。通常它的均值用表示，方差用...
2019-05-10 15:03:49
5945
原创 数学：常用的线性代数知识点
逆矩阵定义：A，B为n阶方阵，E为n阶单位矩阵，AB=BA=E，说明A是可逆的，其逆矩阵为B 求解：，其中为伴随矩阵，要求(A可逆的充要条件) 初等行变换：矩阵的秩定义：m×n的矩阵A，若A中至少有一个r阶子式不等于零，且在r<min(m,n)时，A中所有的r+1阶子式全为零，则A的秩为r 求解：行阶梯形矩阵（标准形）的行数逆和秩的关系A满秩（）方阵A可逆（A...
2019-04-27 21:28:28
1083
转载 C++入门：指针和数组
1.单独指针int main(){ cout<<"string:"<<endl; string s="Hello World!"; string *cp0=&s; cout<<cp0<<endl; cout<<&cp0[0]<<endl; cout<...
2019-04-22 21:36:26
168
转载 C++入门：指针和引用
一：变量的形式说道变量，很多人都觉得非常简单，每天都在定义变量，应用变量。可是有没有停下脚步细细的品味一下具体什么是变量呢？变量（variable）的定义在计算机科学中到底是如何定义的？然后variable到底是在内存中如何存储值的呢？那么跟着上面的问题，我们来一一的解答，首先最重要的，variable的定义，当你申明一个变量的时候，计算机会将指定的一块内存空间和变量名进行绑定；这个定义很简单...
2019-04-22 15:12:22
250
转载 C++入门：C++数组可以开多大
一个由C/C++编译的程序占用的内存分为以下几个部分栈区（stack）：由编译器自动分配释放，存放函数的参数值，局部变量的值等。其操作方式类似于数据结构中的栈。 堆区（heap）：一般由程序员分配释放，若程序员不释放，程序结束时可能由OS回收。注意它与数据结构中的堆是两回事，分配方式倒是类似于链表，呵呵。 全局区（静态区）（static）：全局变量和静态...
2019-04-22 11:28:34
12399
3
转载 机器学习/深度学习入门：正则化
L0正则化的值是模型参数中非零参数的个数。L1正则化表示各个参数绝对值之和。L2正则化标识各个参数的平方的和的开方值。先讨论几个问题：1）实现参数的稀疏有什么好处吗？一个好处是可以简化模型，避免过拟合。因为一个模型中真正重要的参数可能并不多，如果考虑所有的参数起作用，那么可以对训练数据可以预测的很好，但是对测试数据就只能呵呵了。另一个好处是参数变少可以使整个模型获得更好的可解释...
2019-04-19 16:15:47
335
转载 机器学习/深度学习入门：优化器原理与比较
梯度下降法(Gradient Descent)梯度下降法是最基本的一类优化器，目前主要分为三种梯度下降法：标准梯度下降法(GD, Gradient Descent)，随机梯度下降法(SGD, Stochastic Gradient Descent)及批量梯度下降法(BGD, Batch Gradient Descent)。1. 标准梯度下降法(GD)假设要学习训练的模型参数为W，代价函...
2019-04-16 16:23:01
1067
转载 数学：梯度的理解
方向导数的解释函数 z=f(x,y) 表示空间曲面 S，则点 P(x0, y0,z0) 在 S 上，过点 P 和 P0 的 u 方向的垂直平面交 S 于曲线 C，f 沿方向 u 的变化率是 C 在点 P 的切线的斜率，观察下面动画:方向导数和梯度的关系当 u 与 ▽f 同方向时, 函数 f 增加最快, 类似, 反方向减少最快.。而正交于梯度的方向 u 是 f 变化率为 0 ...
2019-04-16 11:21:45
4757
转载 texlive2018和texstudio的安装及汉化教程
latex是编写论文的利器，尤其是公式的编辑是word等不可比的，且公式可以支持转换为Matgtype，十分方便且学习周期短。下文是texlive2018和texstudio的安装教程：安装包链接：https://pan.baidu.com/s/1LUTlXs5nhjI8Fvx5vbbylg密码：8kks解压或打开texlive.iso安装包，点击图片中install-tl-adva...
2019-03-31 21:35:09
2829
转载 机器学习/深度学习入门：CNN池化层
池化层也叫下采样层，对输入的特征图进行压缩，1.使特征图变小，简化网络计算复杂度；2.进行特征压缩，提取主要特征；3.降低过拟合，减小输出大小的结果，它同样也减少了后续层中的参数的数量。其具体操作与卷基层的操作基本相同，只不过下采样的卷积核为只取对应位置的最大值、平均值等（最大池化、平均池化），并且不经过反向传播的修改。pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅...
2019-03-18 17:06:45
1875
转载 目标检测入门：帧差法，光流法和背景减法
概述 运动目标检测是指当监控场景中有活动目标时，采用图像分割的方法从背景图像中提取出目标的运动区域。运动目标检测技术是智能视频分析的基础，因为目标跟踪、行为理解等视频分析算法都是针对目标区域的像素点进行的，目标检测的结果直接决定着智能视觉监控系统的整体性能。 运动目标检测的方法有很多种。根据背景是否复杂、摄像机是否运动等环境的不同，算法之间也有很大的差别。其中最常用的三类方法是...
2019-03-12 19:50:03
12648
1
转载 机器学习/深度学习入门：准确率(查准率)、召回率(查全率)、F值和误识率（FAR）、拒识率（FRR）、ROC曲线
准确率(查准率)、召回率(查全率)、F值正确率、召回率和F值是目标的重要评价指标。正确率 = 正确识别的个体总数 / 识别出的个体总数 召回率 = 正确识别的个体总数 / 测试集中存在的个体总数 F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)假设要识别照片中的狗的，在一些照片中，包含12只狗的照片和一些猫的照片。算法识别出有8只狗。在确定的8只狗中，5只实际上是...
2019-03-12 19:46:38
10045
3
转载 numpy，tensorFlow.tensor，torch.tensor的shape以及相互转化
numpynumpy.ndarray 对于图片读取之后（H,W,C）或者（batch,H,W,C）在元素总数不变的情况下：numpy类型的可以直接使用方法numpy.reshape任意改变大小,numpy.expand_dims增加维度，大小是1（这个函数可以参考numpy.expand_dims的用法）tensorFlowtensorflow.python.framework....
2019-03-12 18:56:02
5858
原创 机器学习/深度学习入门：VGGNet模型实现
VGGNet：ILSVRC2014年亚军改进（1）通过不断加深网络结构来提升性能。网络层数的增长并不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。（2）在 AlexNet 基础上将单层网络替换为堆叠的3*3的卷积层和2*2的最大池化层，减少卷积层参数，同时加深网络结构提高性能（两个3*3卷积层的串联相当于1个5*5的卷积层，3个3*3的卷积层串联相当于1个7*7...
2019-03-07 17:34:33
767
转载 Python入门：作用域和命名空间
变量作用域一个程序的所有的变量并不是在哪个位置都可以访问的。访问权限决定于这个变量是在哪里赋值的。变量的作用域决定了在哪一部分程序你可以访问哪个特定的变量名称。两种最基本的变量作用域：全局变量和局部变量全局变量和局部变量定义在函数内部的变量拥有一个局部作用域，定义在函数外的拥有全局作用域。局部变量只能在其被声明的函数内部访问，而全局变量可以在整个程序范围内访问。调用函数时，所有...
2019-02-22 15:17:18
150
转载 Pytorch入门：构建网络模型方法
利用pytorch来构建网络模型有很多种方法，以下简单列出其中的四种。假设构建一个网络模型如下：卷积层--》Relu层--》池化层--》全连接层--》Relu层--》全连接层首先导入几种方法用到的包：import torchimport torch.nn.functional as Ffrom collections import OrderedDict第一种方法...
2019-02-18 11:17:23
386
原创 表情识别入门：ECCV2016《Peak-Piloted Deep Network for Facial Expression Recognition》
研究背景1. 大多数FER（Facial Expression Recognition）方法在学习期间独立地考虑每个样本，忽略每对样本之间的内在相关，这限制了模型的辨别能力。2. 大多数FER方法专注于识别明显可区分的peak expressions ，并忽略最常见的non-peak expression样本。下图展示了从non-peak expression到peak exp...
2019-01-02 20:20:49
2277
5
原创 Pytorch入门：visdom启动出错
启动visdom：python -m visdom.server问题描述：Downloading scripts. It might take a while.ERROR:root:Error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:719) while downloading http...
2019-01-02 11:31:47
7291
2
原创 机器学习/深度学习入门：AlexNet模型实现
AlexNet：ILSVRC2012年冠军改进（1）成功使用ReLU作为CNN的激活函数，并验证其效果在较深的网络超过了Sigmoid，成功解决了Sigmoid在网络较深时的梯度弥散问题。虽然ReLU激活函数在很久之前就被提出了，但是直到AlexNet的出现才将其发扬光大。（2）训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。Dropout虽有单独的论文论述，但是A...
2018-11-15 11:31:51
552
转载 目标检测入门：CVPR2014《R-CNN:Rich feature hierarchies for accurate object detection and semantic segmentat》
研究背景速度：经典的目标检测算法使用滑动窗法依次判断所有可能的区域。本文则预先提取一系列较可能是物体的候选区域，之后仅在这些候选区域上提取特征，进行判断。训练集：经典的目标检测算法在区域中提取人工设定的特征（Haar，HOG）。本文则需要训练深度网络进行特征提取。可供使用的有两个数据库：一个较大的识别库（ImageNet ILSVC 2012）：标定每张图片中物体的类别。一千...
2018-11-14 14:10:30
540
转载 机器学习/深度学习入门：损失函数
分类问题损失函数——交叉熵（crossentropy）和Softmax交叉熵交叉熵刻画了两个概率分布之间的距离，是分类问题中使用广泛的损失函数。给定两个概率分布p和q，交叉熵刻画的是两个概率分布之间的距离：对于交叉熵理解比较透彻：https://blog.csdn.net/tsyccnh/article/details/79163834Softmax关于Softmax 函数...
2018-11-12 15:19:24
558
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人