- 博客(84)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 在线制作证件照教程，只需30秒
原文来自：如何自己制作一张证件照？ - Susie的回答 - 知乎 https://www.zhihu.com/question/22522700/answer/1952387470目前大多数的证件照制作的app只能换浅色底的，所以基本上你自己在家里拍的图它们都是不能帮你生成证件照的。他们总是有不同的噱头来诱惑你注册他们的账号之后才能使用，非常麻烦，有信息泄露的风险，最后也都是会收费的（某些软件收费十几甚至大几十块），毕竟软件的运营是要成本的，但是这也太贵了吧。最近我发现了一款非常好用的证件照网站(
2021-06-21 20:14:57
4349
1
原创 对于基于概率模型的学习方法中调参的理解
一些总结性的原则来自知乎，我觉得写的还不错，链接：https://www.zhihu.com/question/25097993/answer/127472322。我最后也会附上。最近结束了在TX做游戏AI的实习，对目前的监督学习的方法有了进一步的理解，其实涉及到的调参主要有两个方面吧，一类参数是和数据本身相关的参数，比如数据各类型的比例，提取出来的特征，数据异常值的过滤之类的。另一类就是模型参数...
2018-07-14 15:20:24
439
原创 python的浅拷贝和深拷贝
首先要注意,python中除了普通的数值变量外的其他的对象变量在进行直接赋值时都是浅拷贝的.主要概念如下: 直接赋值：其实就是对象的引用（别名）。 浅拷贝(copy)：拷贝父对象，不会拷贝对象的内部的子对象。 深拷贝(deepcopy)： copy 模块的 deepcopy 方法，完全拷贝了父对象及其子对象。这里引用另一个博客的例子浅拷贝:>>>a = ...
2018-04-11 11:21:42
323
原创 深度学习中感受野的计算
一直以来很奇怪感受野是怎么计算的，这里参考了两个博客总算是看懂了。 http://blog.csdn.net/skying_li/article/details/70158924 http://blog.csdn.net/kuaitoukid/article/details/46829355记住一个从底向上的递推公式：F(i，j-1) = kernel_size_j + (F(i,j）-1)*s
2018-02-28 10:56:58
2964
原创 实现反向传播算法的细节
这两天在看CS231n的课程，不得不感慨我国目前的教育制度确实很难培养出真正高端的人才,别人的课程有那么多的精心准备的课件、笔记和供学生练习的任务和代码，让你从原理到工程的实现全过一遍，反观我所在的所谓的双一流大学的课程。。呵呵哒。。。不说闲话了，这里讲下反向传播中的链式法则的实现细节。 我们以这个公式为例，实现反向传播的链式法则，在神经网络中的反向传播的方式是一样的，只是函数比这个复杂些。
2017-11-29 22:26:32
680
转载 卷积神经网络的卷积层和池化层
转载：http://www.cnblogs.com/zf-blog/p/6075286.html卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC(1)卷积层：用它来进行特征提取，如下：输入图像是32*32*3，3是它的深度（即R、G、B），卷积层是一个5*5*3的filter(感受野)，这里
2017-11-18 15:09:41
5199
原创 深度学习中的卷积计算及caffe的实现
图像卷积及Caffe中的卷积实现 原创内容，转载请注明出处。 本文简单介绍了图像卷积相关的知识以及Caffe中的卷积实现方法，写作过程中参考了很多很赞的资料，有兴趣的读者可以从【参考资料】查看。 博文中的错误和不足之处还望各位读者指正。什么是卷积？ 卷积原本是信号处理总的一个专有名词，按照信号的属性，常见的分为一维卷积和二维卷积，按照我的理解就是
2017-11-17 09:09:55
2204
原创 Hessian矩阵在求极小值的应用
最近一段时间算是狠狠地了补了很多数学知识，也发现了数学作为工程中的强大工具能力，无论是在机器学习中推导cost funcktion还是在求解优化问题时，都会用到Hessian矩阵。 我们需要知道一个重要的结论：Hessian矩阵是半正定的，具体的推导不讲，这里主要讲讲怎么理解这个半正定性。 对一元函数f(x)来说，就极值而言，一阶导为0是极值点的必要但不充分条件，一阶导为0且二阶
2017-11-05 20:12:28
9096
4
转载 string类型转换int类型
string类型转换int类型本文地址: http://blog.csdn.net/caroline_wendyC语言转换形式:[plain] view plain copy print?... std::string str; int i = atoi(str.c_str()); .
2017-10-15 15:54:39
319
原创 【caffe-Windows】caffe在Windows下训练深度学习网络并测试（以mnist为例）
上篇博文：http://blog.csdn.net/gyh_420/article/details/78225923 之前已经讲了怎么在windows下面无GPU来安装caffe，现在我们来看看我们安装的caffe是否可以使用。 D:\Caffe\caffe-master\examples\mnist 找到mnist路径，这个是我的电脑的上的路径，你的路径按你自己的电脑来找到。 如图划线
2017-10-13 21:24:29
651
原创 【caffe-Windows】caffe+VS2013+Windows无GPU编译caffe框架
主要参考http://blog.csdn.net/zb1165048017/article/details/51355143VS2013安装包：链接：http://pan.baidu.com/s/1b6VDJg 密码：f2jp熟悉完CPU版本的配置以后，可以启用GPU的配置：http://blog.csdn.net/zb1165048017/article/details/5154
2017-10-13 14:43:46
454
转载 机器学习技法课程学习笔记16 -- Finale
上节课我们主要介绍了Matrix Factorization。通过电影推荐系统的例子，介绍Matrix Factorization其实是一个提取用户特征，关于电影的线性模型。反过来也可以看出是关于用户的线性模型。然后，我们使用SGD对模型进行最佳化。本节课我们将对机器学习技法课程介绍过的所有内容做个总结，分成三个部分：Feature Exploitation Techniques，Error Op
2017-10-13 14:42:38
245
转载 机器学习技法课程学习笔记15 -- Matrix Factorization
上节课我们主要介绍了Radial Basis Function Network。它的原理就是基于距离相似性（distance-based similarities）的线性组合（linear aggregation）。我们使用k-Means clustering算法找出具有代表性的k个中心点，然后再计算与这些中心点的distance similarity，最后应用到RBF Network中去。
2017-10-13 14:41:29
317
转载 机器学习技法课程学习笔记14-- Radial Basis Function Network
上节课我们主要介绍了Deep Learning的概念。Deep Learing其实是Neural Networ的延伸，神经元更多，网络结构更加复杂。深度学习网络在训练的过程中最核心的问题就是pre-training和regularization。pre-training中，我们使用denoising autoencoder来对初始化权重进行选择。denoising autoencoder与统计学中
2017-10-12 15:06:41
3207
转载 机器学习技法课程学习笔记13-- Deep Learning
上节课我们主要介绍了神经网络Neural Network。神经网络是由一层一层的神经元构成，其作用就是帮助提取原始数据中的模式即特征，简称为pattern feature extraction。神经网络模型的关键是计算出每个神经元的权重，方法就是使用Backpropagation算法，利用GD/SGD，得到每个权重的最优解。本节课我们将继续对神经网络进行深入研究，并介绍层数更多、神经元个数更多、模
2017-10-12 15:05:12
379
转载 机器学习技法课程学习笔记12-- Neural Network
上节课我们主要介绍了Gradient Boosted Decision Tree。GBDT通过使用functional gradient的方法得到一棵一棵不同的树，然后再使用steepest descent的方式给予每棵树不同的权重，最后可以用来处理任何而定error measure。上节课介绍的GBDT是以regression为例进行介绍的，使用的是squared error measure。本
2017-10-12 15:04:31
327
转载 机器学习技法课程学习笔记11 -- Gradient Boosted Decision Tree
上节课我们主要介绍了Random Forest算法模型。Random Forest就是通过bagging的方式将许多不同的decision tree组合起来。除此之外，在decision tree中加入了各种随机性和多样性，比如不同特征的线性组合等。RF还可以使用OOB样本进行self-validation，而且可以通过permutation test进行feature selection。本节课
2017-10-12 15:03:47
873
转载 机器学习技法课程学习笔记10 -- Random Forest
上节课我们主要介绍了Decision Tree模型。Decision Tree算法的核心是通过递归的方式，将数据集不断进行切割，得到子分支，最终形成数的结构。C&RT算法是决策树比较简单和常用的一种算法，其切割的标准是根据纯度来进行，每次切割都是为了让分支内部纯度最大。最终，决策树不同的分支得到不同的gt(x)（即树的叶子，C&RT算法中，gt(x)是常数）。本节课将介绍随机森林（Random
2017-10-12 15:02:39
253
转载 机器学习技法课程学习笔记9 -- Decision Tree
上节课我们主要介绍了Adaptive Boosting。AdaBoost演算法通过调整每笔资料的权重，得到不同的hypotheses，然后将不同的hypothesis乘以不同的系数α进行线性组合。这种演算法的优点是，即使底层的演算法g不是特别好（只要比乱选好点），经过多次迭代后算法模型会越来越好，起到了boost提升的效果。本节课将在此基础上介绍一种新的aggregation算法：决策树（Deci
2017-10-12 15:01:37
1109
转载 机器学习技法课程学习笔记7 -- Blending and Bagging
上节课我们主要介绍了Support Vector Regression，将kernel model引入到regression中。首先，通过将ridge regression和representer theorem结合起来，得到kernel ridge regression。但是其解是dense的，即不部分不为零。为了得到sparse解，我们将regularized tube error和Lagra
2017-10-12 15:00:30
554
转载 机器学习技法课程学习笔记6-- Support Vector Regression
上节课我们主要介绍了Kernel Logistic Regression，讨论如何把SVM的技巧应用在soft-binary classification上。方法是使用2-level learning，先利用SVM得到参数b和w，然后再用通用的logistic regression优化算法，通过迭代优化，对参数b和w进行微调，得到最佳解。然后，也介绍了可以通过Representer Theorem
2017-10-12 14:59:42
2221
转载 机器学习技法课程学习笔记5-- Kernel Logistic Regression
上节课我们主要介绍了Soft-Margin SVM，即如果允许有分类错误的点存在，那么在原来的Hard-Margin SVM中添加新的惩罚因子C，修正原来的公式，得到新的αn值。最终的到的αn有个上界，上界就是C。Soft-Margin SVM权衡了large-margin和error point之前的关系，目的是在尽可能犯更少错误的前提下，得到最大分类边界。本节课将把Soft-Margin
2017-10-12 14:58:37
264
转载 机器学习技法课程学习笔记4 -- Soft-Margin Support Vector Machine
转载自：http://blog.csdn.net/red_stone1/article/details/74279607上节课我们主要介绍了Kernel SVM。先将特征转换和计算内积这两个步骤合并起来，简化计算、提高计算速度，再用Dual SVM的求解方法来解决。Kernel SVM不仅能解决简单的线性分类问题，也可以求解非常复杂甚至是无限多维的分类问题，关键在于核函数的选择，例如线性核
2017-10-12 14:57:10
197
原创 动态规划的定义和举例理解
动态规划的本质不在于是递推或是递归，也不需要纠结是不是内存换时间。 理解动态规划并不需要数学公式介入，只是完全解释清楚需要点篇幅…首先需要明白哪些问题不是动态规划可以解决的，才能明白为神马需要动态规划。不过好处时顺便也就搞明白了递推贪心搜索和动规之间有什么关系，以及帮助那些总是把动规当成搜索解的同学建立动规的思路。当然熟悉了之后可以直接根据问题的描述得到思路，如果有需要的话再补充吧。 动态规划是
2017-09-30 23:41:35
516
转载 机器学习技法课程学习笔记8 -- Adaptive Boosting
本文可以配套着我的另一篇博文http://blog.csdn.net/gyh_420/article/details/78095053来更进一步地理解文中 ut是怎么更新的。上节课我们主要开始介绍Aggregation Models，目的是将不同的hypothesis得到的gt集合起来，利用集体智慧得到更好的预测模型G。首先我们介绍了Blending，blending是将已存在的所有gt结
2017-09-26 14:38:58
240
原创 【举例】Adaboost算法的具体数学公式
1 Adaboost的原理1.1 Adaboost基本介绍 AdaBoost，是英文"Adaptive Boosting"（自适应增强）的缩写，由Yoav Freund和Robert Schapire在1995年提出。Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这 Adaboost 些弱分类器集合起来，构成一个更强的最
2017-09-26 14:37:08
489
转载 机器学习技法课程学习笔记3 -- Kernel Support Vector Machine
上节课我们主要介绍了SVM的对偶形式，即dual SVM。Dual SVM也是一个二次规划问题，可以用QP来进行求解。之所以要推导SVM的对偶形式是因为：首先，它展示了SVM的几何意义；然后，从计算上，求解过程“好像”与所在维度d^无关，规避了d^很大时难以求解的情况。但是，上节课的最后，我们也提到dual SVM的计算过程其实跟d^还是有关系的。那么，能不能完全摆脱对d^的依赖，从而减少SV
2017-09-25 23:36:36
215
转载 机器学习技法课程学习笔记2 -- Dual Support Vector Machine
Motivation of Dual SVM首先，我们回顾一下，对于非线性SVM，我们通常可以使用非线性变换将变量从x域转换到z域中。然后，在z域中，根据上一节课的内容，使用线性SVM解决问题即可。上一节课我们说过，使用SVM得到large-margin，减少了有效的VC Dimension，限制了模型复杂度；另一方面，使用特征转换，目的是让模型更复杂，减小Ein。所以说，非线性SVM是把
2017-09-25 23:34:11
217
原创 相机标定的原理
WHY：为什么要进行相机标定？】先说结论：建立相机成像几何模型并矫正透镜畸变。建立相机成像几何模型：计算机视觉的首要任务就是要通过拍摄到的图像信息获取到物体在真实三维世界里相对应的信息，于是，建立物体从三维世界映射到相机成像平面这一过程中的几何模型就显得尤为重要，而这一过程最关键的部分就是要得到相机的内参和外参（后文有具体解释）。矫正透镜畸变：我们最开始接触到的成像方面的知
2017-09-25 16:14:12
3693
转载 机器学习技法课程学习笔记1 -- Linear Support Vector Machine
转载自http://blog.csdn.net/red_stone1/article/details/73526457主要是林轩田的课程的里面的PPT和讲的一些东西的整理，感谢这个博主的整理，这里做个备份，免得以后找不到了Large-Margin Separating Hyperplane回顾一下我们之前介绍了linear classification，对于线性可分的情况，我们
2017-09-20 18:23:58
354
原创 SVM和Logistic Regression的使用时的区别
上图来自Andrew Ng的机器学习课程，我做个搬运工： 假设： n = 特征数量，m = 训练样本数量 1）如果n相对于m更大，比如 n = 10,000，m = 1,000，则使用lr 理由： 特征数相对于训练样本数已经够大了，使用线性模型就能取得不错的效果，不需要过于复杂的模型； 2）如果n较小，m比较大，比如n = 10，m = 10,000，则使用SVM（高斯核函数） 理由：
2017-09-19 16:44:09
1270
原创 [OPENCV]使用Adaptive Boosting进行分类
最近学习了AdaBoosting算法，这个算法是上个世纪90年代末提出的，但是在深度学习出来之前，这个算法统治了人脸检测领域，大概的原理这里给出来，具体公式和原理实现请看机器学习的相关课程。常用的分类方法有决策树分类、贝叶斯分类等。然而这些方法存在的问题是当数据量巨大时，分类的准确率不高。对于这样的困难问题，Boosting及其衍生算法提供了一个理想的解决途径。Boosting算法是一种把若干个分类
2017-09-17 20:30:59
444
原创 [机器学习实验6]线性SVM分类和非线性SVM分类
在开始实验之前我们需要先下载LIBSVM库 http://www.csie.ntu.edu.tw/~cjlin/libsvm/下载后解压后如下图 我们要使用matlab部分，这里说明一下，用最新的版本的LIBSVM出现了问题的话，任何问题（除了找不到编译器）其他的问题，请下一个最新版本的Matlab，比如我用的是Matlab2016b，之前用的Matlab2012，之前有个问题几天都没解决掉
2017-09-12 14:57:34
5197
2
原创 [机器学习实验5]朴素贝叶斯（筛选垃圾邮件）
本次实验是使用生成学习算法来处理数据（筛选垃圾邮件）。 判别学习算法（discriminative learning algorithm）:直接学习p(y|x)（比如说logistic回归）或者说是从输入直接映射到{0,1}. 生成学习算法（generative learning algorithm）:对p(x|y)（和p(y)）进行建模，比如高斯判别法（GDA）和朴素贝叶斯法，前者是用来处理连
2017-09-06 11:15:01
1334
原创 [机器学习实验4]正则化（引入惩罚因子）
数据下载链接： http://openclassroom.stanford.edu/MainFolder/courses/MachineLearning/exercises/ex5materials/ex5Data.zip 本次实验的主要目的是了解引入的正则化参数对拟合效果的影响，通过调整该参数来解决过拟合和欠拟合的问题。线性回归中引入正则化参数。 x再线性回归的实践中是一维的，如果是更高维度
2017-09-03 13:04:42
10111
1
原创 [机器学习实验3]Logistic Regression and Newton Method
第三篇实验记录，logic回归的，一个二分类问题，输入变量的维度比较低（二维），所以可以在图像画出边界线来直观感受的。 题目链接： http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=MachineLearning&doc=exercises/ex4/ex4.html 这个是测试的数据集直接的显示，数
2017-09-02 20:20:25
1088
转载 C++的bitset(位操作使用)
有些程序要处理二进制位的有序集，每个位可能包含的是0（关）或1（开）的值。位是用来保存一组项或条件的yes/no信息（有时也称标志）的简洁方法。标准库提供了bitset类使得处理位集合更容易一些。要使用bitset类就必须要包含相关的头文件。在本书提供的例子中，假设都使用了std::bitset的using声明：[cpp] view plain copy
2017-09-02 10:27:25
6748
1
原创 矩阵旋转
首先是要写交换的函数，不需要中间变量的话可以用异或 原理如下：a = 9;b = 11;a=a^b; 1001^1011=0010b=b^a; 1011^0010=1001a=a^b; 0010^1001=1011a = 11;b = 9;然后就是旋转部分：这里记录下通用的顺时针和逆时针旋转矩阵的方法 顺时针旋转： first reverse up to down, then s
2017-09-01 11:30:18
275
原创 [机器学习实验2]Multivariate Linear Regression
感觉第二个实验和第一个实验基本是一样的。。不晓得为什么课程对这个问题做了两个实验，可能要加深对线性回归的理解吧，这个实验的回归变量增加了一个，有两个影响因素。题目如下，是预测房价的 因为和上篇实验基本一样，这里就不贴公式了，直接给贴代码function MultivariateLinearRegression()x = load('ex3x.dat');% 住房面积和卧室数目y = l
2017-08-29 22:17:37
726
1
原创 [机器学习实验1]Linear Regression
线性回归分析，最简单的一个预测模型，也属于机器学习中的监督学习的范畴，这里主要对LINEAR REGRESSION I这部分的实验做个记录。 具体的理论要去看Andrew Ng大神的机器学习课程http://cs229.stanford.edu 问题如下： 对提供的数据进行线性回归并分析几个问题。题目链接http://openclassroom.stanford.edu/MainFolde
2017-08-28 22:21:40
1001
caffe中的mnist例子中的模型和配置脚本
2017-10-16
lmdb的MNIST文件
2017-10-13
可以用VS编译的APM3.2.1的工程
2017-08-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人