Jeff-Chow000-CSDN博客

原创全连接与卷积神经网络反向传播公式推导

反向传播公式推导全连接网络反向传播公式BP四项基本原则：δi(L)=▽yiCost⋅σ′(logiti(L))δi(l)=∑jδj(l+1)wji(l+1)σ′(logiti(l))∂Cost∂biasi(l)=δi(l)∂Cost∂wij(l)=δi(l)hj(l−1)\begin{aligned}\delta_i^{(L)} &= \bigtriangledown_{y_i} Cost \cdot \sigma'(logit_i^{(L)}) \\\delta_i^{(l)} &am

2020-10-25 01:19:24 558 1

原创霍夫变换原理说明

霍夫变换原理说明在直角坐标系上有一点BBB，经过这个点有一条直线，ρ\rhoρ为原点到该直线的距离，垂足是点AAA，这个线段与x轴的夹角为θ\thetaθ。如下图1所示：图1思考1：能不能用(ρ,θ)(\rho,\theta)(ρ,θ)来表示经过点BBB的一条直线呢？我们先来看图2，对于点BBB，假定它的坐标是(x0,y0)(x_0,y_0)(x0,y0)，那么向量OB⃗=(x0,y0)\vec{OB}=(x_0,y_0)OB=(x0,y0)，OOO是原点。而在OA⃗\vec{OA}OA方

2020-10-25 01:18:46 1146

原创伽马校正(Gamma Correction)

伽马校正（Gamma Correction）为什么需要伽马校正？部分人认为，是由于早期CRT显示器的输出亮度和输入电压存在非线性关系，具体就是近似2.2次幂的关系，导致显示器的亮度要比计算机上存储的亮度要低。举个例子：假如你计算机存储的亮度是0.5（亮度范围是0~1），CRT显示器的输出亮度并不是0.5，而是约等于 0.218，具体计算过程如下output=input2.2output = input^{2.2}output=input2.2当你输入0.5时，输出到显示器的值为output=

2020-10-25 01:18:36 7955

原创混合高斯背景建模原理

混合高斯背景建模混合高斯模：背景图像的每一个像素分别用由K个高斯分布构成的混合高斯模型来建模P(I)=∑q=1QwqNq(I;μq,σq2)Nq(I;μq,σq2)=12πσqe−(I−μq)22σq2P(I) = \sum_{q=1}^Q w_q N_q(I;\mu_q, \sigma_q^2) \\N_q(I;\mu_q, \sigma_q^2) = \frac{1}{\sqrt{2 \pi}\sigma_q} e^{-\frac{(I-\mu_q)^2}{2\sigma_q^2}}P(I)

2020-10-25 01:18:23 1610 1

原创 AdaBoost原理说明

AdaBoost原理说明提升方法（Boosting）的基本思想提升方法的思想是：对于一个复杂任务来说，多个专家的综合判断要好于其中任何一个专家的单独判断。从算法角度来说，就是从弱学习器出发，反复学习，得到一系列弱分类器，然后组合这些弱分类器，构成一个强分类器。弱学习器：分类正确率略高于随机猜测（0.5）的学习器；弱学习器：分类正确率很高的学习器。这个定义参照的是统计学习方法，查看了一些参考资料，都没有说具体多高才算强学习器。对于提升方法，有两个关键问题需要回答：在每一轮如何改变训练样本

2020-10-24 13:49:29 172

原创感知机的反向传播公式推导

感知机的反向传播公式推导输入为x=[x1,x2,⋯ ,xn]T\textbf{x} = \left[ x_1, x_2, \cdots, x_n \right]^Tx=[x1,x2,⋯,xn]T，权重为w=[w1,w2,⋯ ,wn]T\textbf{w} = \left[ w_1, w_2, \cdots, w_n \right]^Tw=[w1,w2,⋯,wn]T，偏置为bbb（上图没有画出）。感知器前向传播得到预测值y=f(wTx+b)=unit(wTx+b)y = f(\textb

2020-10-24 13:39:31 384

原创剔除低对比度特征点中的矩阵求导公式推导

剔除低对比度特征点中的矩阵求导公式推导假定x=[x1,x2]T,Δx=[Δx1,Δx2]T\mathbf{x} = [x_1,x_2]^T,\Delta \mathbf{x} = [\Delta x_1,\Delta x_2]^Tx=[x1,x2]T,Δx=[Δx1,Δx2]T泰勒展开式：D(x+Δx)=D(x)+(∂D∂x)TΔx+12ΔxT∂2D∂x∂xTΔxD(\mathbf{x}+\Delta\mathbf{x}) = D(\mathbf{x}) + (\frac{\parti

2020-10-24 01:26:52 131

原创证明Azuma不等式和Hoeffding不等式

Azuma不等式和Hoeffding不等式已知：E(X)=0P{−α≤X≤β}=∫−αβp(x)dx=1f(x)是凸函数E(X)=0 \\P\{-\alpha \le X \le \beta \} = \int_{-\alpha}^\beta p(x) dx = 1 \\f(x)是凸函数E(X)=0P{−α≤X≤β}=∫−αβp(x)dx=1f(x)是凸函数假定：xxx是−α-\alpha−α到β\betaβ之间的一点，可以表示为x=γ(−α)+(1−γ)βx = \gamma (-\alp

2020-10-24 01:10:20 591

原创简单例子说明优化器

简单例子说明优化器我们会用下面的例子来说明优化器：数据集：(x1,y1)=(1,3)(x2,y2)=(2,7)(x3,y3)=(3,8)(x4,y4)=(4,10)(x5,y5)=(5,14)(x_1,y_1) = (1,3) \\(x_2,y_2) = (2,7) \\(x_3,y_3) = (3,8) \\(x_4,y_4) = (4,10) \\(x_5,y_5) = (5,14)(x1,y1)=(1,3)(x2,y2)=(2,7)(x3,y3)=(3,8)(x4,y4

2020-10-24 01:03:40 157

原创线性回归的模型假设

线性回归的模型假设文章目录线性回归的模型假设前言模型假设假设1假设2假设3,4,5总结前言线性回归可以分成4块：线性回归模型的构建和解释：线性回归简介，回归中的损失函数，损失函数的概率解释；过拟合问题及其解决方法和解释：过拟合，Scikit-Learn中带正则的线性回归模型，正则的概率解释；优化方法：线性回归模型解析求解，线性回归模型梯度下降法求解，线性回归模型坐标轴下降求解；模型评估：回归模型性能评价指标，交叉验证与模型评估解析求解。这个顺序是从线性回归的原理角度来讲述的，很系统完整，

2020-10-24 00:59:32 4585

原创用简单易懂的例子解释隐马尔可夫模型

用简单易懂的例子解释隐马尔可夫模型隐含的身体状态 = { 健康 , 发烧 }可观察的感觉状态 = { 正常 , 冷 , 头晕 }预判的身体状态初始概率分布 = { 健康：0.6 , 发烧：0.4 }身体健康状态的转换概率分布 = {健康->健康：0.7 ,健康->发烧：0.3 ,发烧->健康：0.4 ,发烧->发烧：0.6}在相应健康状况条件下，感觉状态的概率分布 = {健康，正常：0.5 ，冷：0.4 ，头晕： 0.1 ；发烧，正常：0.1 ，冷：0.3

2020-10-24 00:48:15 411

原创 Tensorflow在模式‘valid‘下的卷积输出大小

Tensorflow在模式’valid’下的卷积输出大小假定W\text{W}W为图片的输入尺寸，K\text{K}K为卷积核的大小，S\text{S}S为stride的大小。在’valid’模式下（没有padding），卷积输出的feature map常见计算公式为⌊W−KS⌋+1\lfloor \frac{\text{W}-\text{K}}{\text{S}} \rfloor + 1⌊SW−K⌋+1其中，⌊⋅⌋\lfloor \cdot \rfloor⌊⋅⌋表示向下取整，如⌊3.4⌋=3

2020-10-24 00:41:48 166

原创不平衡样本处理策略

不平衡样本处理策略前期准备工作不平衡数据的生成采用sklearn.datasets的ｍake_classification来生成试验的不平衡数据集。from sklearn.datasets import make_classificationfrom collections import Counter'''ｍake_classification的参数说明：n_samples=5000：生成5000个样本n_features=2：特征数为2n_informative=2：有用特征数为

2020-10-24 00:33:10 1651 2

原创 SMOTE算法原理及Python代码实现

SMOTE算法预备知识向量代数的知识：对于点x1\mathbf{x}_1x1和x2\mathbf{x}_2x2，如果λ∈[0,1]\lambda \in [0,1]λ∈[0,1]，λx1+(1−λ)x2\lambda \mathbf{x}_1 + (1-\lambda) \mathbf{x}_2λx1+(1−λ)x2肯定在点x1\mathbf{x}_1x1和x2\mathbf{x}_2x2的连线上。2. 面向对象的设计思想就是抽象出一个类（Class），用的时候对类具体化成实例（In

2020-10-24 00:11:02 25200 34

原创 TF-IDF说明

TF-IDF说明TF-IDF是文本挖掘预处理的基本步骤，在讲解前需要先简单介绍文本向量化的一种建模方法——词袋模型。词袋模型词袋模型（Bag of Words，简称BoW）是文本建模常用的向量表示方法。它只考虑词在文本中出现的次数，不考虑文本中词之间的上下文关系。先来看看构建词袋模型的一个例子：有下面4个文本，每个文本就一句话。文本1："I come to China to travel"文本2："This is a car polupar in China"文本3："I love tea

2020-10-23 23:56:09 461 1

原创拟牛顿法的补充推导

拟牛顿法的补充推导假定现在已经得到ΔB(t)=αuuT+βvvT=αy(t)(y(t))T+βB(t)s(t)(B(t)s(t))T\begin{aligned}\Delta \mathbf{B}^{(t)} &= \alpha \mathbf{u} \mathbf{u}^T + \beta \mathbf{v} \mathbf{v}^T \\&= \alpha \mathbf{y}^{(t)} (\mathbf{y}^{(t)})^T + \beta \mathbf{B}^{(t

2020-10-23 23:51:23 83

原创分类模型评价指标说明

分类模型评价指标说明分类涉及到的指标特别容易搞混，不是这个率就是那个率，最后都分不清谁是谁，这份文档就是为此给大家梳理一下。文章目录分类模型评价指标说明混淆矩阵例子混淆矩阵定义混淆矩阵代码正确率真阳率和假阳率真阳率假阳率真阳率和假阳率的公式比较ROC/AUC例子阈值对TPR和FPR的影响ROC曲线ROC曲线的用处AUC精准率和召回率精准率召回率两者公式比较精准率和召回率的关系阈值对精准率和召回率的影响P-R曲线P-R曲线的用处AP原始计算方式其他计算方式F1分数Matthews相关系数混淆矩阵混淆矩

2020-10-23 23:41:53 988

原创 SMO算法原理

SMO算法原理在前面的算法推导过程中，都遇到了以下的优化问题：min⁡α12∑i=1N∑j=1Nαiαjyiyjκ(xi,xj)−∑i=1Nαis.t.∑i=1Nαiyi=00≤αi≤C,i=1,2,⋯ ,N\begin{aligned}\min_{\boldsymbol{\alpha}} \frac{1}{2} &\sum_{i=1}^N \sum_{j=1}^N \alpha_i \alpha_j y_i y_j \kappa(\mathbf{x}_i,\mathbf{x}_j) - \

2020-10-19 19:59:11 657 1

原创支持向量回归(Support Vector Regression)

支持向量回归(Support Vector Regression)支持向量机除了能够分类，还可以用于回归。回归的目的是得到一个能够尽量拟合训练集样本的模型f(x)f(\mathbf{x})f(x)，通常用的方法是构建一个样本标签与模型预测值的损失函数，使损失函数最小化从而确定模型f(x)f(\mathbf{x})f(x)。例如，在线性回归模型中，损失函数(L2损失，L1损失，huber损失)由模型输出f(x)f(\mathbf{x})f(x)与真实输出yyy之间的差别来计算，通过最小化损失函数来确

2020-10-19 19:44:08 39945 14

原创 SVM核技巧

核技巧非线性分类问题非线性分类问题：通过非线性模型才能很好地进行分类的问题。一般来说，原始样本空间无法用超平面将训练样本分开，但是可以用超曲面达到正确分类效果，就称这个问题非线性可分。如左图所示，不可能用一个超平面将两类数据分开，怎么办呢？将低维数据映射到高维，使样本线性可分。下面给个简单的例子：如图在(x1,x2)(x_1,x_2)(x1,x2)坐标系下有两类数据：红圈类，包括2个点：a⃗1=[0,2]T\vec{a}_1 = [0,2]^Ta1=[0,2]T，a⃗2=[0,−1

2020-10-19 19:32:57 432

原创带松弛变量的SVM

线性支持向量机的软间隔最大化模型不完全线性可分实际问题中，数据不一定完全线性可分。数据线性可分，但间隔小左图：少量样本被错分但间隔大右图：样本被完全分对，但间隔小样本完全线性可分时：yi(wTxi+b)≥1y_i ( \mathbf{w}^T \mathbf{x}_i + b) \ge 1yi(wTxi+b)≥1实际问题中，数据未必完全线性可分，因此有了软间隔(soft margin)的概念，它允许样本分错，即允许样本不满足约束，落实到约束条件，引入松弛变量(slack variabl

2020-10-19 19:30:30 1017

原创线性可分SVM

支持向量机支持向量机(Support Vecor Machine，以下简称SVM)诞生于上个世纪90年代，由于它良好的分类性能，在分类领域称霸多年，在深度时代之前是分类算法中当之无愧的王者。SVM是一个二分类算法，支持线性分类和非线性分类。经过改进，支持多元分类。经过扩展，也能应用于回归问题。线性SVM线性SVM分类算法针对的是线性可分数据集。线性可分数据集：可以被线性超平面完全正确分类的数据集。线性不可分数据集：不可以被线性超平面完全正确分类的数据集。问题1：二分类线性可分的训练数据集如

2020-10-19 19:23:51 1657 2

原创图解拉格朗日乘子法和KKT条件

拉格朗日乘子法和KKT条件文档的图片基本上都来自下面两个链接的内容：如何理解拉格朗日乘子法？https://www.matongxue.com/madocs/939.html如何理解拉格朗日乘子法和KKT条件？https://www.matongxue.com/madocs/987/因为人家画的图实在太好了，我都懒得自己造轮子了。引入例子求曲线到坐标原点的最短距离。假如有方程：x2y=3(1)x^2 y = 3 \tag{1}x2y=3(1)它的曲线如下图：现在我们想求曲线上的点到

2020-10-19 16:40:46 751

原创凸优化问题的说明

凸优化问题的说明在说明什么是凸优化问题前，我们先来看下面的曲线图：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Yx3r4GZj-1603094357567)(pict/convex-nonconvex.png)]左右两条曲线哪一个只有唯一的极小值点？很明显是左图。那下面的两个二维曲面图呢？[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aNOCbA17-1603094357570)(pict/convex-non-convex-9c8

2020-10-19 16:00:07 1803

u014611178的博客