- 博客(122)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 lintel安装成功记与血泪史
1. 简介：最近需要将视频文件直接用于深度模型训练的输入，而不是像之前那样先将视频文件提取成单帧保存下来，因为这样做会出现几个问题，一个是要使用ffmpeg命令，将耗费数小时的时间提取帧，另一个是需要而外的存储空间，还有就是训练代码在加载图片时存在很大的IO操作，会影响训练的效率。因此，有没有一个方法，可以直接将视频文件作为训练数据，但又不会出现以上诸多问题呢，lintel就是为了解决这个问题...
2019-04-27 15:48:22
2072
7
原创 面试复习链接整理
1.DenseNet详解2.机器学习与深度学习常见面试题3.机器学习与深度学习核心知识点总结4.深度卷积神经网络演化历史及结构改进网络5.怎样成为一名优秀的算法工程师6.知识库-技术文章7.理解概率密度函数8.用于在线视频理解的高效卷积网络9.ECO-efficient-video-understanding10.花花酱LeetCode10.1Play-wi...
2019-03-05 21:36:26
528
原创 深度学习之模型退化
定义：对合适的深度模型继续增加层数，模型准确率会下滑（不是overfit造成），training error和test error都会很高。如果梯度范数的大小本身和深度网络的训练困难并没有关系，那是什么原因呢？答案是，模型的退化基本上决定了训练性能。为什么退化会损害训练性能？直观地说，学习曲线基本上会在参数空间的退化方向变慢，因此退化会减少模型的有效维度。在以前，你可能会认为是用参数...
2019-03-04 14:36:02
10578
转载 目标函数反向求道注意事项
Loss函数通常作用于一个batch在计算loss时，我们不会用一条数据去求梯度，进行优化。这样会导致loss波动较大，而且不利于发挥计算机并行计算的能力。我们会选择一个batch的数据，用其均值求梯度，进行优化# 求batch内的均值cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indi...
2019-03-01 10:55:11
269
转载 非极大值抑制算法(NMS)及python实现
以下图为例，由于滑动窗口，同一个人可能有好几个框(每一个框都带有一个分类器得分)而我们的目标是一个人只保留一个最优的框：于是我们就要用到非极大值抑制，来抑制那些冗余的框： 抑制的过程是一个迭代-遍历-消除的过程。（1）将所有框的得分排序，选中最高分及其对应的框：（2）遍历其余的框，如果和当前最高分框的重叠面积(IOU)大于一定阈值，我们就将框删除。（3）从未处理的框...
2019-03-01 10:39:25
3487
原创 softmax的特征分布会呈放射状的原因
为直观了解softmax loss，在mnist数据集上训练了一个lenet模型作为例子。先将特征维降低到2，并画了10w个训练样本的2维特征在平面上，如图2所示。从图中可以看到，如果使用欧式距离作为度量方式，则f2与f1之间的距离比f2到f3的近很多，达不到好的效果。而同时可以看到，对于这些特征以角度进行划分的效果会比欧式距离和内积要好，所以之前很多都会采用余弦相似度作为度量方法...
2019-03-01 09:43:24
1580
转载 如何解决机器学习中数据不平衡问题
这几年来，机器学习和数据挖掘非常火热，它们逐渐为世界带来实际价值。与此同时，越来越多的机器学习算法从学术界走向工业界，而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的，但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中，很多算法都有一个基本假设，那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时，大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不均匀，都会...
2019-02-23 20:21:21
202
原创 经典博客系列收藏
大奥特曼打小怪兽经典博客系列收藏1.经典博客链接2.经典项目博客集合3.数字图像处理系列4.深度学习系列经典博客收藏5.hinton教授的本科生课程CSC321-机器学习中的神经网的笔记6.Python数据挖掘课程OpenCV1.第十二节、尺度不变特征(SIFT)2.第十三节、SURF特征提取算法3.第十一节、Harris角点检测...
2019-02-13 00:36:03
280
原创 高等数学：第七章 空间解析几何（2）向量、向量的加减法与向量的数乘
§7.2 向量、向量的加减法与向量的数乘一、向量的概念既有大小，又有方向的量称之为向量。数学上用一条有方向的线段(即有向线段)来表示向量。有向线段的长度表示向量的大小，有向线段的方向表示向量的方向。以为始点，为终点的有向线段所表示的向量记为。有时也有粗体字母或一个上面加有箭头的字母表示向量，如向量、、或 、、 等等。向量的大小称作向量的模。向量与的模记作与。模等于...
2019-02-13 00:32:52
1123
转载 SURF特征提取算法详解
上一节我们已经介绍了SIFT算法,SIFT算法对旋转、尺度缩放、亮度变化等保持不变性，对视角变换、仿射变化、噪声也保持一定程度的稳定性，是一种非常优秀的局部特征描述算法。但是其实时性相对不高。SURF(Speeded Up Robust Features)算法改进了特征了提取和描述方式，用一种更为高效的方式完成特征点的提取和描述。一 使用快速Hessian算法和SURF来提取和检测特征...
2019-02-13 00:20:00
10378
3
原创 特征提取与图像描述符[HOG、LBP、Haar]
（一）HOG特征1、HOG特征： 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合 SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了极大的成功。需要提醒的是，HOG+SVM进行行人检测的方法是法国研究人员...
2019-02-12 21:13:28
1781
原创 1×1 卷积核的作用
一、来源：[1312.4400] Network In Network （如果1×1卷积核接在普通的卷积层后面，配合激活函数，即可实现network in network的结构）二、应用：GoogleNet中的Inception、ResNet中的残差模块三、作用：1、降维（减少参数）例子1 : GoogleNet中的3a模块输入的feature map是28×28×1921...
2019-02-12 15:42:35
1040
转载 DenseNet：比ResNet更优的CNN模型
前言在计算机视觉领域，卷积神经网络（CNN）已经成为最主流的方法，比如最近的GoogLenet，VGG-19，Incepetion等模型。CNN史上的一个里程碑事件是ResNet模型的出现，ResNet可以训练出更深的CNN模型，从而实现更高的准确度。ResNet模型的核心是通过建立前面层与后面层之间的“短路连接”（shortcuts，skip connection），这有助于训练过程中梯度的...
2019-02-12 14:35:56
1492
原创 机器学习[L1和L2正则化]
原理：模型越复杂，越容易过拟合。因此，原先以最小化损失（经验风险最小化）为目标：现在以最小化损失和模型复杂度（结构风险最小化）为目标：通过降低复杂模型的复杂度来防止过拟合的规则称为正则化。 特点：L0：计算非零个数，用于产生稀疏性，但是在实际研究中很少用，因为L0范数很难优化求解，是一个NP-hard问题，因此更多情况下我们是使用L1范数L1：计算绝对值之和，用以产生...
2019-02-12 12:38:51
232
原创 特征提取算法与图像描述符[ORB]
ORB特征算法ORB算法综合了FAST角点检测算法和BRIEFF描述符。FAST特征检测算法原理 opencv官方文档FAST只是一种特征点检测算法，并不涉及特征点的特征描述。fast = cv2.FastFeatureDetector_create(threshold=10)img = cv2.imread("laugh.jpg", 0)fast = cv2.Fa...
2019-02-12 01:35:51
1361
原创 特征提取算法与图像描述符[SURF]
Goal In this chapter,We will see the basics of SURF We will see SURF functionalities in OpenCVTheory In last chapter, we saw SIFT for keypoint detection and description. But it was comparative...
2019-02-12 01:23:38
1249
原创 特征提取算法与图像描述符[SIFT]
Goal In this chapter,We will learn about the concepts of SIFT algorithm We will learn to find SIFT Keypoints and Descriptors.Theory In last couple of chapters, we saw some corner detectors lik...
2019-02-12 01:07:05
1030
原创 机器学习[决策树]
决策树是什么？决策树是最简单的机器学习算法，它易于实现，可解释性强，完全符合人类的直观思维，有着广泛的应用。决策树到底是什么？简单地讲，决策树是一棵二叉或多叉树（如果你对树的概念都不清楚，请先去学习数据结构课程），它对数据的属性进行判断，得到分类或回归结果。预测时，在树的内部节点处用某一属性值（特征向量的某一分量）进行判断，根据判断结果决定进入哪个分支节点，直到到达叶子节点处，得到分类或回归结...
2019-02-07 23:25:49
379
原创 机器学习[Bootstrap、Bagging与随机森林概述]
摘要随机森林由多棵决策树组成，采用多棵决策树联合进行预测可以有效提高模型的精度。这些决策树用对训练样本集随机抽样构造出的样本集训练得到。由于训练样本集由随机抽样构造，因此称为随机森林。随机森林不仅对训练样本进行抽样，还对特征向量的分量随机抽样，在训练决策树时，每次寻找最佳分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。集成学习集成学习（ensemble learning）是机器学...
2019-02-07 13:14:58
3696
原创 机器学习[k近邻算法]
k近邻算法简称kNN算法，由Thomas等人在1967年提出[1]。它基于以下思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计这些样本的类别进行投票，票数最多的那个类就是分类结果。因为直接比较样本和训练样本的距离，kNN算法也被称为基于实例的算法。最近邻算法是k近邻算法k=1时的一种特殊情况。基本概念确定一个样本所属类别的一种最简单的方法是...
2019-02-07 12:14:56
1326
转载 目标检测 [模型的评估指标mAP详解(附代码）]
本文翻译自Measuring Object Detection models - mAP - What is Mean Average Precision?tarangshah.com 对于使用机器学习解决的大多数常见问题，通常有多种可用的模型。每个模型都有自己的独特之处，并随因素变化而表现不同。每个模型在“验证/测试”数据集上来评估性能，性能衡量使用各种统计量如准确度（accu...
2019-01-21 19:46:30
1145
1
原创 深度学习 [调参经验]
调参经验模型选择通常我会使用一个简单的CNN模型（这个模型一般包含5个卷积层）将数据扔进去训练跑出一个baseline，这一步工作主要是为了验证数据集的质量。如果这个模型训练结果很差就不要先调试模型，需要检查一下你的训练集数据，看看图像的质量，图像标签是否正确，模型的代码是否正确等等，否则就是在做无用功，毕竟：garbage in,garbage out。 超参数的选择调参是项技术...
2019-01-21 19:35:58
307
原创 高等数学：第八章 多元函数的微分法及其应用（8）多元函数极值及其求法
§8.8 多元函数极值及其求法一、多元函数的极值1、多元函数极值定义设函数在点的某个邻域内有定义,对该邻域内异于的点,如果都适合不等式则称函数在点取极大值；如果都适合不等式则称函数在点取极小值。极大值与极小值统称为函数的极值；使函数取得极值的点称为极值点。注:二元函数的极值是一个局部概念,这一概念很容易推广至元函数。【例1】讨论下述函数在原点是否取得极...
2019-01-21 14:44:28
8628
1
原创 高等数学：第八章 多元函数的微分法及其应用（7）方向导数与梯度
§8.7 方向导数与梯度一、方向导数1、定义设函数在点的某一邻域内有定义,自点引射线,设轴正向到射线的转角为,为邻域内且在上的另一点。若比值这里,当沿着趋向于时的极限存在,称此极限值为函数在点沿方向的方向导数,记作。即 2、方向导数的存在性条件(充分条件)及计算【定理】若在点可微分, 则函数在该点沿着任一方向的方向导数都存在, 且有其中为轴正...
2019-01-21 14:41:39
2879
1
原创 高等数学：第八章 多元函数的微分法及其应用（6）微分法在几何上的应用
§8.6 微分法在几何上的应用一、空间曲线的切线与法平面1、曲线由参数方程给出的情形设空间曲线的参数方程为 (1)假定(1)式中的三个函数均可导。考虑上对应于的一点及对应于的邻近一点,其割线的方程为对等式同除以得当时,,曲线在点处的切线方程为 ...
2019-01-21 11:08:18
1413
原创 高等数学：第八章 多元函数的微分法及其应用（5）隐函数的求导公式
§8.5 隐函数的求导公式一、二元方程所确定的隐函数的情形由二元方程可确定一个一元的隐函数,将之代入原方程,得到一个恒等式对恒等式两边关于变量求导,左边是多元复合函数,它对变量的导数为右边的导数自然为,于是有解出,得到隐函数的导数 。由多元复合函数的求导定理可知,当在具有一阶连续偏导数,而在可导时,才可求出复合函数的导数,若时,才有这一求导方法,实际上...
2019-01-21 11:06:29
27268
1
原创 高等数学：第八章 多元函数的微分法及其应用（4）多元函数求导法则
§8.4 多元函数求导法则【定理】若函数及都在点可导;函数在对应点具有连续偏导数,则复合函数在点可导,且其导数为 (1)证明:设获得增量,这时的对应增量为,函数的对应增量为。据假定,函数在点具有连续偏导数,从而有这里,当时,。上式两边除以得而当时,有 ,从而所以故复合函数 在点可导,...
2019-01-21 10:49:59
5577
3
原创 高等数学：第八章 多元函数的微分法及其应用（3）全微分
§8.3 全微分一、全微分的定义给定二元函数，且均存在，由一元微分学中函数增量与微分的关系，有上述二式的左端分别称之为二元函数对或的偏增量，而右端称之为二元函数对或的偏微分。为了研究多元函数中各个自变量都取得增量时，因变量所获得的增量，即全增量的问题，我们先给出函数的全增量的概念。【定义】 设二元函数在点的某邻域内有定义，点为该邻域内的任意一点，则称这两点的函数值...
2019-01-21 10:38:12
5310
1
原创 高等数学：第八章 多元函数的微分法及其应用（1）多元函数的基本概念
§8.1 多元函数的基本概念本章将在一元函数微分学的基础上，讨论多元函数的微分法及其应用。讨论中，我们主要以二元函数为主，因为从一元函数到二元函数会产生许多新问题，而从二元函数到二元以上的函数则可以类推。建议同学们在学习中，注意将二元函数的概念与结论与一元函数的相应的概念与结论加以比较，区别并理解二者之间的“同中之异，异中之同”，这样会大大地提高学习效率。一、区域1、邻域设是...
2019-01-21 10:18:46
3374
转载 目标检测 [SSD原理与实现]
前言目标检测近年来已经取得了很重要的进展，主流的算法主要分为两个类型（参考RefineDet）：（1）two-stage方法，如R-CNN系算法，其主要思路是先通过启发式方法（selective search）或者CNN网络（RPN)产生一系列稀疏的候选框，然后对这些候选框进行分类与回归，two-stage方法的优势是准确度高；（2）one-stage方法，如Yolo和SSD，其主要思路是均匀...
2019-01-20 16:25:06
435
原创 常用工具 [ubuntu 图像编辑软件]
ubuntu上可以媲美PS的图像编辑软件，gimp安装：sudo apt-get install gimp
2019-01-20 15:45:42
5121
原创 机器学习 [合页损失函数 Hinge Loss]
函数特性在机器学习中，hinge loss是一种损失函数，它通常用于"maximum-margin"的分类任务中，如支持向量机。数学表达式为：其中 表示预测输出，通常都是软结果（就是说输出不是0，1这种，可能是0.87。）， 表示正确的类别。如果 ，则损失为： 如果 ，则损失为：0其函数图像如下，与0-1损失对比： 优化以支持向量机为例，其模型为： ...
2019-01-20 15:41:46
2389
原创 机器学习 [交叉熵损失函数]
表达式二分类在二分的情况下，模型最后需要预测的结果只有两种情况，对于每个类别我们的预测得到的概率为p和1-p。此时表达式为：其中：y——表示样本的label，正类为1，负类为0 p——表示样本预测为正的概率多分类多分类的情况实际上就是对二分类的扩展：其中：M——类别的数量； y——指示变量（0或1）,如果该类别和样本的类别相同就是1，否则是0； p——对...
2019-01-20 15:25:32
1119
原创 机器学习 [logistic函数和softmax函数]
简单总结一下机器学习最常见的两个函数，一个是logistic函数，另一个是softmax函数，若有不足之处，希望大家可以帮忙指正。本文首先分别介绍logistic函数和softmax函数的定义和应用，然后针对两者的联系和区别进行了总结1. logistic函数1.1 logistic函数定义 引用wiki百科的定义： A logistic function or logist...
2019-01-19 21:17:28
688
转载 支持向量机SVM [核函数和参数]
核映射与核函数通过核函数，支持向量机可以将特征向量映射到更高维的空间中，使得原本线性不可分的数据在映射之后的空间中变得线性可分。假设原始向量为x，映射之后的向量为z，这个映射为：在实现时不需要直接对特征向量做这个映射，而是用核函数对两个特征向量的内积进行变换，这样做等价于先对向量进行映射然后再做内积：在这里K为核函数。常用的非线性核函数有多项式核，高斯核（也叫径向基函数核，RB...
2019-01-19 11:42:12
8120
原创 卷积神经网络 [数学特性]
神经网络代表了人工智能中的连接主义思想，它是一种仿生的方法，被看做是对动物大脑神经系统的模拟。在实现时，它又和大脑的结构不同。从数学上看，多层神经网络本质上是一个复合函数。既然神经网络在本质上是一个复杂的复合函数，这会让我们思考一个问题：这个函数的建模能力有多强？即它能模拟什么样的目标函数？已经证明，只要激活函数选择得当，神经元个数足够多，使用3层即包含一个隐含层的神经网络就可以实现对任何一个...
2019-01-19 10:44:20
1051
原创 卷积神经网络 [卷积层可视化]
卷积网络设计的初衷是通过卷积层和池化层逐级提取图像在各个不同抽象层次的特征，我们会有这样的疑问：现实结果真的是这样的吗？先看图像卷积之后的结果。下面是一张卡车的图像：卡车图像用AlexNet网络处理之后，第一个卷积层的输出结果（我们把各个卷积核的结果依次排开了）是这样的：卷层1的结果可以看到这里抽取了一些边缘信息。第二个卷积层的输出结果是这样的：卷层2的结果它抽取...
2019-01-19 10:27:37
3624
原创 机器学习基本概念[持续补充]
损失函数（loss function）与代价函数（cost function）等价，是一个意思: 用来度量一次预测错误的程度.比如常用的0-1损失函数，平方损失函数，绝对损失函数，对数损失函数（即对数似然损失函数）.目标函数（object function）与风险函数等价，是一个意思: 度量平均意义下模型的好坏，如期望损失（损失函数的期望）或经验损失（训练集的平均损失）或结构风险（在经验风...
2019-01-19 10:11:18
151
转载 卷积神经网络反向传播理论推导
本文首先简单介绍CNN的结构，并不作详细介绍，若需要了解推荐看CS231n课程笔记翻译：卷积神经网络笔记。本文只要讲解CNN的反向传播，CNN的反向传播，其实并不是大多所说的和全连接的BP类似，CNN的全连接部分的BP是与它相同，但是CNN中卷积--池化、池化--卷积部分的BP是不一样的，仔细推导，还是有很多细节地方需要思考的，比如1、在前向传播的过程中，卷积层的输入，是通过卷积核与前一层的输出特...
2019-01-18 21:19:09
336
原创 常用机器学习算法 [高斯混合模型 GMM]
高斯混合模型通过多个正态分布的加权和来描述一个随机变量的概率分布，概率密度函数定义为：其中x为随机向量，k为高斯分布的个数，w(i)为权重，u为高斯分布的均值向量，E为协方差矩阵。所有权重之和为1，即：任意一个样本可以看作是先从k个高斯分布中选择出一个，选择第i个高斯分布的概率为w(i)，再由第i个高斯分布产生出这个样本数据x。高斯混合模型可以逼近任何一个连续的概率分布，因此可以看...
2019-01-18 20:25:12
666
原创cygwin合集——实测可用
2017-01-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人