- 博客(71)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 pycharm创建默认文件头
我的pycharm设置成中文了，第一步：File（文件） ->Settings（设置）第二步：Editor （编辑器）-> File and Code Templates（文件和代码模板） -> Python Script，复制下面的内容后，不要忘记勾选上启用代码模板。#!/usr/bin/env python# -*- coding: utf-8 -*-# @Time : ${DATE} ${TIME}# @Author : Your
2021-03-16 14:43:24
273
原创 OSError: cannot write mode RGBA as JPEG
做项目进行图像预处理时，出现：OSError: cannot write mode RGBA as JPEG原因：RGBA意思是红色，绿色，蓝色，Alpha的色彩空间，Alpha指透明度。而JPG不支持透明度，所以要么丢弃Alpha,要么保存为.png文件。丢弃Alpha#coding=utf-8import os #打开文件时需要from PIL import Imageclass convert2RGB(): def __init__(self,path): #图
2020-11-25 12:24:11
741
原创 偏差与方差
偏差方差看似很简单，但真要彻底地说明白，却有一定难度。比如，为什么KNN算法在增大k时，偏差会变大，但RF增大树的数目时偏差却保持不变，GBDT在增大树的数目时偏差却又能变小。1 深入理解偏差与方差1.1 引子假设我们有一个回归问题，有训练数据DDD，然后选择了一个模型MMM，并用数据DDD将MMM训练出来，记作MtM_tMt，这里我们故意把模型MMM与训练出的模型MtM_tMt区分开，是为了后面叙述时概念上的清晰。现在，我们怎么评价这个模型的好坏呢？你可能会不屑地说，这么简单的问题还用问吗，当
2020-11-21 12:16:42
983
原创 P、NP、NPC和NP-Hard相关概念
1、基本概率在了解以上各类问题时，需要清楚几个概念：多项式、时间复杂度…1.1 多项式形如 Pn(x)=a(n)xn+a(n−1)x(n−1)+…+a(1)x+a(0)Pn(x)=a(n)x^n+a(n-1)x^(n-1)+…+a(1)x+a(0)Pn(x)=a(n)xn+a(n−1)x(n−1)+…+a(1)x+a(0)的函数，叫做多项式函数1.2 时间复杂度时间复杂度是一个函数,它定性描述了该算法的运行时间，探讨的是当输入值接近无穷时，算法所需工作量的变化快慢程度。需注意，时间复杂度并不是.
2020-11-21 11:25:22
1832
原创 朴素贝叶斯算法（Naive Bayes）
1 朴素贝叶斯是什么朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出y。朴素贝叶斯是基于概率论的分类算法。1.1 先验概率先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现.1.2 条件概率条件概率是指在事件 Y=yY=yY=y 已经
2020-11-20 23:56:01
1072
原创 启发式算法
定义启发式算法（heuristic algorithm)是相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。现阶段，启发式算法以仿自然体算法为主，主要有蚁群算法、模拟退火法、神经网络等。发展启发式算法的计算量都比较大，所以启发式算法伴随着计算机技术的发展，取得了巨大的成就。40年代：由于实际需要，提出了
2020-11-20 19:55:48
30352
3
原创 生成模型与判别模型
1、定义从概率分布的角度考虑，对于一堆样本数据，每个均有特征XiX_iXi对应分类标记yiy_iyi。生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。(生成模型就是要学习x和y的联合概率分布P(x,y)P(x,y)P(x,y)，然后根据贝叶斯公式来求得条件概率P(y∣x)P(y|x)P(y∣x)，预测条件概率最大的y)判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。(判别模型就是直接学习条
2020-11-20 19:40:12
2626
3
原创 DBSCAN密度聚类算法
DBSCAN(Density-Based Spatial Clustering of Applications with Noise，具有噪声的基于密度的聚类方法)是一种很典型的密度聚类算法，和K-Means，BIRCH这些一般只适用于凸样本集的聚类相比，DBSCAN既可以适用于凸样本集，也可以适用于非凸样本集。下面我们就对DBSCAN算法的原理做一个总结。1. 密度聚类原理DBSCAN是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定。同一类别的样本，他们之间的紧密相
2020-11-15 16:33:35
502
原创 K-Means聚类算法原理及其优化
K-Means算法是无监督的聚类算法，它实现起来比较简单，聚类效果也不错，因此应用很广泛。K-Means算法有大量的变体，本文就从最传统的K-Means算法讲起，在其基础上讲述K-Means的优化变体方法。包括初始化优化K-Means++, 距离计算优化elkan K-Means算法和大数据情况下的优化Mini Batch K-Means算法。1. K-Means原理初探K-Means算法的思想很简单，对于给定的样本集，按照样本之间的距离大小，将样本集划分为K个簇。让簇内的点尽量紧密的连在一起，而让簇间
2020-11-15 15:52:15
1143
原创 主成分分析PCA
主成分分析（Principal components analysis，以下简称PCA）是最重要的降维方法之一。在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。一般我们提到降维最容易想到的算法就是PCA，下面我们就对PCA的原理做一个总结。1. PCA的思想PCA顾名思义，就是找出数据里最主要的方面，用数据里最主要的方面来代替原始数据。具体的，假如我们的数据集是nnn维的，共有mmm个数据(x(1),x(2),...,x(m))(x^{(1)},x^{(2)},...,x^{(m)})(x(1),
2020-11-15 00:05:29
188
原创 Boosting提升算法之XGBoost
XGBoost算法是面试过程中经常会被问到模型，下面对相关的问题进行了整理，对于算法原理部分可以参考：https://www.cnblogs.com/pinard/p/10979808.html1、介绍一下XGBoost的原理XGBoost是基于GBDT的一种算法或者说工程实现。GBDT是一种基于boosting集成思想的加法模型，训练时采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。XGBoost的基本思想和GBDT相同，但是做
2020-11-14 23:09:39
455
原创 Boosting提升算法之AdaBoost
Boosting提升算法Boosting算法是将“弱学习算法“提升为“强学习算法”的过程，主要思想是“三个臭皮匠顶个诸葛亮”。一般来说，找到弱学习算法要相对容易一些，然后通过反复学习得到一系列弱分类器，组合这些弱分类器得到一个强分类器。Boosting算法要涉及到两个部分，加法模型和前向分步算法。加法模型就是说强分类器由一系列弱分类器线性相加而成。一般组合形式如下：FM(x;P)=∑m=1nβmh(x;am)F _ { M } ( x ; P ) = \sum _ { m = 1 } ^ { n
2020-11-14 23:09:10
349
原创 Boosting提升算法之GBDT
GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也有所不同。在GBDT的迭代中，假设我们前一轮迭代得到的强学习器是ft−1(x)f_{t−1}(x)ft−1(x), 损失函数是L(y,ft−1(x))L(y,f_{t−1}(x))L(y,ft−1
2020-11-14 23:08:53
388
原创 Bagging与随机森林
下图是基于树的算法的发展历程1、BaggingBagging [Breiman, 1996a] 是并行式集成学习方法最著名的代表.1.1、Bagging原理bagging算法：bagging的个体弱学习器的训练集是通过随机采样得到的。通过T次的随机采样，我们就可以得到T个采样集，对于这T个采样集，我们可以分别独立的训练出T个弱学习器，再对这T个弱学习器通过集合策略来得到最终的强学习器。随机采样(bootsrap)就是从我们的训练集里面采集固定个数的样本，但是每采集一个样本后，都将样本放回。也
2020-11-14 17:02:33
4260
原创 CRNN
CRNN详解：https://blog.csdn.net/bestrivern/article/details/91050960https://www.cnblogs.com/skyfsm/p/10335717.html1 概述传统的OCR识别过程分为两步：单字切割和分类任务。现在更流行的是基于深度学习的端到端的文字识别，即我们不需要显式加入文字切割这个环节，而是将文字识别转化为序列学习问题，虽然输入的图像尺度不同，文本长度不同，但是经过DCNN和RNN后，在输出阶段经过一定的翻译后，就可以对整个文本
2020-11-13 17:35:42
7199
1
原创 RNN/LSTM/GRU
1 RNN概述我们已经知道BP算法, CNN算法, 那么为什么还会有RNN呢?? 什么是RNN, 它到底有什么不同之处? RNN的主要应用领域有哪些呢?这些都是要讨论的问题.BP算法,CNN之后, 为什么还有RNN?细想BP算法,CNN(卷积神经网络)我们会发现, 他们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是, 对于一些与时间先后有关）的, 比如视频的下一时刻的预测,文档前后文内容的预测等, 这些算法的表现就不尽如
2020-11-12 20:41:23
404
原创 决策树
1、什么是决策树？答：决策树是一种分类和回归的基本模型，可从三个角度来理解它，即：一棵树if-then规则的集合，该集合是决策树上的所有从根节点到叶节点的路径的集合定义在特征空间与类空间上的条件概率分布，决策树实际上是将特征空间划分成了互不相交的单元，每个从根到叶的路径对应着一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。实际中，哪个类别有较高的条件概率，就把该单元中的实例强行划分为该类别。2：和其他模型比，它的优点？答：主要的优点有两个：模型具有可解释性，
2020-11-09 23:07:29
7464
原创 机器学习中的各种熵
1、熵熵：熵，热力学中表征物质状态的参量之一，用符号S表示，其物理意义是体系混乱程度的度量。从统计的角度来看，概率分布是对随机变量的刻画，而熵就是对不同概率分布的刻画！本质上，熵是为了描述不确定的程度，并以此对不同的概率分布进行比较。举个例子，两枚硬币，一个上抛一次正面朝上概率是0.5,另一个是0.8，此时，假设两枚硬币上抛一次落下后朝上的面分别是x,y。此时，我们可以很容易确定随机变量x,y的概率分布，并借此对两个随机变量有准确的掌握。但我们要问，这两个随机变量哪个更随机？或者说，哪个随机变量包含的
2020-11-08 21:30:57
4705
2
原创 样本不均衡
这里主要介绍CV中的样本不均衡问题（部分方法也适用于ML中）。当前主流的物体检测算法，如Faster RCNN和SSD等，都是将物体检测当做分类问题来考虑，即先使用先验框或者RPN等生成感兴趣的区域，再对该区域进行分类与回归位置。这种基于分类思想的物体检测算法存在样本不均衡的问题，因而会降低模型的训练效率与检测精度。下面首先分析样本不均衡带来的问题，随后会讲解两种经典的缓解不均衡问题的方法。1、不均衡问题分析在当前的物体检测算法中，由于检测算法各不相同，以及数据集之间的差异，可能会存在正负样本、难易样
2020-10-18 22:41:21
1446
原创 人脸检测：RetinaFace
论文：https://arxiv.org/pdf/1905.00641.pdf代码：https://github.com/deepinsight/insightface/tree/master/RetinaFacePytorch复现：https://github.com/biubug6/Pytorch_RetinafaceRetinaFace于19年5月份出现，当时取得了state-of-the-art，可以说是目前开源的最强人脸检测算法。一、论文简介RetinaFace，它利用联合监督和自我监督
2020-10-13 21:49:46
3661
原创 卷积神经网络发展（网络骨架：Backbone）
CNN网络架构演进：从LeNet到DetNet卷积神经网络可谓是现在深度学习领域中大红大紫的网络框架，尤其在计算机视觉领域更是一枝独秀。CNN从90年代的LeNet开始，21世纪初沉寂了10年，直到12年AlexNet开始又再焕发第二春，从ZF Net到VGG，GoogLeNet再到ResNet和最近的DenseNet，网络越来越深，架构越来越复杂，解决反向传播时梯度消失的方法也越来越巧妙。在图像的众多任务中，第一步通常是利用卷积神经网络处理输入图像，生成深层的特征图，然后再利用各种算法完成区域生成与损
2020-10-13 15:19:06
6043
2
原创 目标检测之Faster R-CNN
经过R-CNN和Fast RCNN的积淀，Ross B. Girshick在2016年提出了新的Faster RCNN，在结构上，Faster RCNN已经将特征抽取(feature extraction)，proposal提取，bounding box regression(rect refine)，classification都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。图1 Faster RCNN基本结构（来自原论文）依作者看来，如图1，Faster RCNN其实可以分为
2020-08-21 10:39:53
950
原创 一文读懂目标检测之R-CNN系列，YOLO，SSD
一、目标检测常见算法object detection，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。所以，object detection要解决的问题就是物体在哪里以及是什么的整个流程问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。目前学术和工业界出现的目标检测算法分成3类：传统的目标检测算法：Cascade + HOG/DPM + Haar/SVM以及上述方法的诸多改进、优化；
2020-08-15 17:00:50
1569
原创 目标检测之Fast R-CNN
1 动机(Motivation)Fast R-CNN是继R-CNN和SPPnet之后的又一篇目标检测的经典之作。首先文中分析了R-CNN和SPPnet的一些不足之处，包括多阶段训练、空间和时间消耗大等。所以本文就是对R-CNN和SPPnet做改进，然后提出了Fast R-CNN。2. 贡献(Contribution)新提出的Fast R-CNN模型解决了之前模型存在的问题，并使得模型具有以下的优点：目标检测的性能(mAP)要高于R-CNN和SPPnet整个训练过程是single-stage的，并
2020-08-15 15:29:34
418
原创 目标检测之R-CNN
RCNN (论文：Rich feature hierarchies for accurate object detection and semantic segmentation) 是将CNN方法引入目标检测领域， 大大提高了目标检测效果，可以说改变了目标检测领域的主要研究思路RCNNhttps://github.com/rbgirshick/rcnnFast RCNNhttps://github.com/rbgirshick/fast-rcnnFaster RCNNhttps://github
2020-08-15 15:28:54
587
原创 pytorch版本yolov3训练自己的数据集
1 数据集标注首先我们要对自己的数据进行标注，标注的工具LabelImg，使用方式可以参考之前的博客。2 训练代码由于本次不采用官网的代码，使用PyTorch框架，这里我们采用github上https://github.com/ultralytics/yolov3，clone下来。...
2020-08-06 15:03:03
1956
4
原创 VOC数据集简介与制作
一、VOC数据集简介PASCAL VOC 挑战赛主要有 Object Classification 、Object Detection、Object Segmentation、Human Layout、Action Classification 这几类子任务。PASCAL VOC 2007 和 2012 数据集总共分 4 个大类：vehicle、household、animal、person，总共 20 个小类（加背景 21 类），预测的时候是只输出下图中黑色粗体的类别。目前目标检测常用的是 VO
2020-08-05 21:46:50
16917
3
原创 图片批量重命名/更改图片格式
下面代码可以批量更改文件夹中图片的名字，或者更改图片的格式为.jpg或者.png格式。#coding=utf-8import os #打开文件时需要from PIL import Imageimport reclass BatchRename(): def __init__(self): #图片文件夹路径 self.path = 'D:\VOC\JPEGImages' def rename(self): file
2020-08-05 17:05:23
1011
原创 图像标注工具labelImg使用
用于深度网络训练的数据集做标注的方法和工具有好多，像Labelme、labelImg、yolo_mark、Vatic、Sloth等等，此处暂时只介绍其中的一种标注工具：labelImg。等到后期熟悉其他的标注工具会一一介绍。1、 安装labelImg推荐在anaconda下安装，需要具备python3以上的环境+lxml，没有的话使用pip安装即可。1.1下载labelImggithub地址: https://github.com/tzutalin/labelImg.1.2 解压下载下来之后
2020-08-05 16:47:20
2234
原创 面试之类别数据处理（one-hot、embedding）
场景描述类别型特征（Categorical Feature）是指反映（事物）类别的数据，是离散数据，其数值个数（分类属性）有限（但可能很多），比如性别（男、女）、血型（A、B、AB、O）等只在有限选项内取值的特征。类别型特征原始输入通常是字符串形式，除了决策树等少数模型能直接处理字符串形式的输入，对于逻辑回归、支持向量机等模型来说，类别型特征必须经过处理转换成数值型特征才能正确工作。（连续变量：在一定区间内可以任意取值的变量叫连续变量,其数值是连续不断的,相邻两个数值可作无限分割,即可取无限个数值，如
2020-07-11 10:20:50
8864
原创 面试之归一化（深度整理）
Xi−βα=Xiα−βα=Xiα−c(么式1)\frac{X_{i}-\beta}{\alpha}=\frac{X_{i}}{\alpha}-\frac{\beta}{\alpha}=\frac{X_{i}}{\alpha}-c\quad(\text {么式} 1)αXi−β=αXi−αβ=αXi−c(么式1)
2020-07-07 19:39:48
2099
原创 32 变分自编码器VAE
1 Introduction本小节主要介绍的是变分自编码器（Variational AutoEncoder），VAE 在之前的变分推断中就有介绍，具体在“随机梯度变分推断（SGVI）”中已进行描述。其中采用了重参数化技巧，也就是Amortized Inference。VAE 在很多blog 中都有详细的解释，这里只是很简单的描述其思想，希望可以抛转引玉。VAE 中的V 指的是变分推断，这个概念是来自于概率图模型。而AE 的概念是来自于神经网络。所以，VAE 实际上是神经网络和概率图的结合模型。2 从G
2020-07-02 17:55:44
723
原创 33 流模型
1 Introduction一小节中讲到了 Latent Variable Model（LVM），VAE。其主要思想就是将隐变量扩充 在上 高维连续的分布，来增强模型的表达能力。而 LVM 模型中的核心困难是 P(X) 计算不出来，因为 P(X)=∫ZP(X∣Z)P(Z)dZ,P(X)=\int_{Z} P(X \mid Z) P(Z) d Z,P(X)=∫ZP(X∣Z)P(Z)dZ, 而 ZZZ 的维度过高 P(X)P(X)P(X) 算不出来。而根据 Bayesian 公式：P(Z∣X)=P(Z)P
2020-07-02 17:55:16
501
原创 31 生成对抗网络 GAN
1 什么是 Generative Adversarial Network ?首先,我们需要充分的了解什么是生成对抗网络( tive adversarial network,GAN)?顾名思义, 首先它是一种生成模型,它的核心是对样本数据建模。下面我们将举个例子来详细的说明一下什么是GAN。首先,我是一个收藏家,我有很多的宝贝,但是,我最终的目标不仅仅是一个收藏家。我想高仿东西,成为工艺品大师(做仿品)。我要不惜一切代价的成为这方面的大师。但是,我做出来的东西不能只是我白己分辨不出来就够了,那就只能放在家
2020-06-16 12:41:21
359
1
原创 30 生成模型综述 Generative Model
1 生成模型的定义前面所详细描述的模型以浅层的机器学习为主。本章将承上启下引出后面深度机器学习的部分。本小节，主要讲述的是什么是生成模型，它是不是只是生成样本，生成数据？它的任务是什么？精准的定义是什么？这个问题实际上在之前的章节中有过详细的介绍。这里更进一步总结。回忆一下，之前讲过的简单的生成模型，包括高斯混合分布（GMM），GMM 的主要任务是聚类，属于非监督学习；而监督学习中的生成模型，最简单的有朴素贝叶斯模型，主要任务是分类。而Logistics regression 显然不是生产模型，简单的
2020-06-15 15:39:45
2768
原创 29 深度玻尔兹曼机 Deep Boltzmann Machine
1 Introduction本章介绍的是深度玻尔兹曼机(Deep Boltzmann Machines，DBM)，应该算是玻尔兹曼机系列的最后一个模型了。我们前面介绍的三种玻尔兹曼机和今天将要介绍的深度玻尔兹曼机的概率图模型如下图所示，从左往右分别是深度信念网络(Deep Belief Network)，限制玻尔兹曼机(Restricted BoltzmannMachine，RBM)，和DBM，玻尔兹曼机(General Boltzmann Machine，BM)：显然，深度玻尔兹曼机和深度信念网络
2020-06-15 15:20:09
4120
1
原创 28 玻尔兹曼机 Boltzmann Machine
玻尔兹曼机（Boltzmann Machine）在“受限玻尔兹曼机”那一章就有了简单的描述。在那一章我们就较为详细的分析过了，由于Boltzmann machine 中的依赖关系过于复杂，它的Learning 和Inference问题基本是intractable。所以，为了简化而提出了受限玻尔兹曼机（Restricted Boltzmann Machine）。但是，为什么又重新谈谈这个似乎不太好的模型呢？主要原因是Boltzmann Machine 是深度信念网络（DBN），前馈神经网络等网络结构的基础，
2020-06-15 14:51:47
1431
原创 27 Deep Belief Network
Deep Belief Network 是Hinton 在2006 年提出的方法，应用在分类问题上的效果明显好过SVM。它的诞生有着重要的意义，这意味着打开了Deep Learning 的大门，把连接主义推上了历史的舞台，给人类带来了希望。1 Introduction首先，来看看Deep Belief Network 这个名字的含义，Belief Network 实际上就是Bayes Network（有向图模型），而Deep 的含义就很简单了，代表有很多层。所以，从字面上理解，Deep Belief N
2020-06-15 13:40:08
628
1
原创 26 Sigmoid信念网络
1 Background1.1 什么是Sigmoid Belief Network这一节将要学习的是Sigmoid Belief Network。首先来想一想这个名字是怎么来的，其中Belief 就等价于Bayesian Network(俗称有向图)，而Sigmoid 指的是Sigmoid Function：σ(x)=11+exp−x\sigma(x)=\frac{1}{1+\exp -x}σ(x)=1+exp−x1表示图中的节点都是服从0/1 分布的离散随机变量，并且概率值和Sigmoid
2020-06-14 23:25:46
1968
银行卡号检测数据_2000多张
2020-05-28
bankbin.zip
2020-05-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人