johnpub-CSDN博客

转载 SVD分解的理解

转载：http://www.bfcat.com/index.php/2012/03/svd-tutorial/SVD分解（奇异值分解），本应是本科生就掌握的方法，然而却经常被忽视。实际上，SVD分解不但很直观，而且极其有用。SVD分解提供了一种方法将一个矩阵拆分成简单的，并且有意义的几块。它的几何解释可以看做将一个空间进行旋转，尺度拉伸，再旋转三步过程。首先来看一个对角矩阵，

2013-11-12 08:46:30 685

转载感知器（Perceptron）原理和应用

这学期有模式识别课程, 讲到线性分类器, 找到一篇很好的博客讲关于感知器算法的, 现在wordpress似乎要翻墙了　　源地址: 小崔爱自由其实早就想总结这个在模式识别领域重要的理论了，今天终于有时间把近期平生对Perceptron的一点理论基础及其应用blog下来。其中不免有些理解错误的地方希望不要“误人子弟”。也请大家帮忙改正。要说起Perceptron，我们无疑要从线

2013-11-11 00:24:55 7314 1

转载 bias和variance

在A Few Useful Thingsto Know about Machine Learning中提到，可以将泛化误差（gener-alization error）分解成bias和variance理解。 Bias: a learner’s tendency to consistently learn the same wrong thing，即度量了某种学习算法的平均估计结果所

2013-11-10 18:40:35 1417

转载 Bias-Variance Tradeoff

统计学习中有一个重要概念叫做residual sum-of-squares：RSS看起来是一个非常合理的统计模型优化目标。但是考虑K-NN的例子，在最近邻的情况下（K=1），RSS=0，是不是KNN就是一个完美的模型了呢，显然不是KNN有很多明显的问题，比如对训练数据量的要求很大，很容易陷入维度灾难中。KNN的例子说明仅仅优化RSS是不充分的，因为针对特定训

2013-11-10 18:24:41 1155

转载机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)

回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例子来自很多的地方，也在很多的open source的软件中看到，比如说w

2013-11-09 20:47:22 871

转载 Matlab协方差矩阵的计算原理

a = -1 1 2 -2 3 1 4 0 3for i=1:size(a,2) for j=1:size(a,2) c(i,j)=sum((a(:,i)-mean(a(:,i))).*(a(:,j)-mean(a(:,j))))/(size(a,1)-1); end

2013-11-08 18:10:48 1404

转载 matlab中用imshow()显示图像与图像矩阵的数据类型的关系

在matlab中，我们常使用imshow()函数来显示图像，而此时的图像矩阵可能经过了某种运算。在matlab中，为了保证精度，经过了运算的图像矩阵I其数据类型会从unit8型变成double型。如果直接运行imshow(I)，我们会发现显示的是一个白色的图像。这是因为imshow()显示图像时对double型是认为在0~1范围内，即大于1时都是显示为白色，而imshow显示uint8型时是0~2

2013-11-08 16:54:55 3251

转载线性判别分析(Linear Discriminant Analysis, LDA）算法分析

LDA算法入门一． LDA算法概述：线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear Discriminant ,FLD)，是模式识别的经典算法，它是在1996年由Belhumeur引入模式识别和人工智能领域的。线性判别分析的基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到

2013-11-08 10:32:25 1222

转载 pca算法

来源：HTTP://WWW.CNBLOGS.COM/GAOSHANGBING/ARCHIVE/2010/03/23/1692357.HTML模式识别和图像处理主元分析(PCA)理论分析及应用(主要基于外文教程翻译)什么是PCA? PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进

2013-11-08 09:49:13 1479

转载关于PCA算法的一点学习总结

PCA，也就是PrincipalComponents Analysis，主成份分析，是个很优秀的算法，按照书上的说法：寻找最小均方意义下，最能代表原始数据的投影方法然后自己的说法就是：主要用于特征的降维另外，这个算法也有一个经典的应用：人脸识别。这里稍微扯一下，无非是把处理好的人脸图片的每一行凑一起作为特征向量，然后用PAC算法降维搞定之。PCA的主要思

2013-11-08 09:45:54 1844

转载 Bag-of-words model

Bag-of-words modelBag-of-words model (BoW model) 最早出现在NLP和IR领域. 该模型忽略掉文本的语法和语序, 用一组无序的单词(words)来表达一段文字或一个文档. 近年来, BoW模型被广泛应用于计算机视觉中. 与应用于文本的BoW类比, 图像的特征(feature)被当作单词(Word).引子: 应用于文本

2013-11-04 23:03:25 821

原创机器学习参考

参考资料：1）A Tutorial on Principal Component Analysis, Jonathon Shlens 这是我关于用SVD去做PCA的主要参考资料 2）http://www.ams.org/samplings/feature-column/fcarc-svd 关于svd的一篇概念好文，我开头的几个图就是从这儿截取的 3）ht

2013-11-04 18:20:05 697

转载 Latent Semantic Analysis (LSA) Tutorial - Advantages, Disadvantages, and Applications of LSA

Latent Semantic Analysis (LSA), also known as Latent Semantic Indexing (LSI) literally means analyzing documents to find the underlying meaning or concepts of those documents. If each word only meant

2013-11-04 18:18:56 3155

转载 Singular Value Decomposition (SVD) Tutorial - How does SVD work?

When you browse standard web sources like Singular Value Decomposition (SVD) on Wikipedia, you find many equations, but not an intuitive explanation of what it is or how it works. Singular Value D

2013-11-04 18:15:18 1520

转载 We Recommend a Singular Value Decomposition

IntroductionThe topic of this article, the singular value decomposition, is one that should be a part of the standard mathematics undergraduate curriculum but all too often slips between the cracks.

2013-11-04 18:13:23 888

转载奇异值分解（SVD）详解

SVD分解SVD分解是LSA的数学基础，本文是我的LSA学习笔记的一部分，之所以单独拿出来，是因为SVD可以说是LSA的基础，要理解LSA必须了解SVD，因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题，一个分为3个部分，第一部分讨论线性代数中的一些基础知识，第二部分讨论SVD矩阵分解，第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识1

2013-11-04 17:02:28 1166

转载 Matlab中 pdist 函数详解(各种距离的生成）

一、pdistPairwise distance between pairs of objectsSyntaxD = pdist(X)D = pdist(X,distance)DescriptionD = pdist(X) 计算 X 中各对行向量的相互距离(X是一个m-by-n的矩阵). 这里 D 要特别注意，D 是一个长为m(m–1)/2的行

2013-10-27 21:04:59 12493

转载 MATLAB小贴士(2)

没想到上一篇日志有这么多转发...非常感谢各位朋友们的捧场支持~~【鞠躬】这里我还是说明一下，我写这些日志呢，出发点是在批改同学们的作业过程中觉得大家没有用好手中的这个工具，希望能通过一些小贴士，让同学们能够更好地理解 MATLAB 编程的特点，希望能让同学们少走一些弯路。所以我的题目叫「小贴士」而非「教程」，里面的例子也都是同学们作业中遇到的一个一个的小问题，写起来难免有不成体系之感，还请大

2013-10-27 21:01:04 1360

转载 MATLAB 距离计算

判别分析时，通常涉及到计算两个样本之间的距离，多元统计学理论中有多种距离计算公式。MATLAB中已有对应函数，可方便直接调用计算。距离函数有：pdist, pdist2, mahal, squareform, mdscale, cmdscale 主要介绍pdist2 ,其它可参考matlab help D = pdist2(X,Y)D = pdist2(X,Y,dist

2013-10-27 20:58:52 4898

转载 MATLAB小贴士(1)

这学期担任《系统工程导论》课的助教，看到同学们的作业，看到大家作业里各种青涩可爱的代码，看到大家说自己的 MATLAB 都是从自控课和系统工程课上学的，不由得想为大家做一点事，希望大家在学习使用 MATLAB 的过程中少走一点弯路，希望能对大家以后的学习和科研带来一点帮助。MAT 的 LAB我们从进入大学一开始学习了 C 语言，后来又学习了 C++，也许有同学还接触到了 Java，但是 M

2013-10-27 20:55:59 4079

转载 K-Means 算法

最近在学习一些数据挖掘的算法，看到了这个算法，也许这个算法对你来说很简单，但对我来说，我是一个初学者，我在网上翻看了很多资料，发现中文社区没有把这个问题讲得很全面很清楚的文章，所以，把我的学习笔记记录下来，分享给大家。　　在数据挖掘中， k-Means 算法是一种 cluster analysis 的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。　

2013-10-21 19:53:12 920

转载贝叶斯及其部分应用

一、什么是贝叶斯推断贝叶斯推断（Bayesian inference）是一种统计学方法，用来估计统计量的某种性质。它是贝叶斯定理（Bayes' theorem）的应用。英国数学家托马斯·贝叶斯（Thomas Bayes）在1763年发表的一篇论文中，首先提出了这个定理。贝叶斯推断与其他统计学推断方法截然不同。它建立在主观判断的基础上，也就是说，你可以不需要客观证据，

2013-09-28 20:27:28 1254

转载基于朴素贝叶斯的垃圾邮件检测

贝叶斯推断及其互联网应用作者：阮一峰七、什么是贝叶斯过滤器？垃圾邮件是一种令人头痛的顽症，困扰着所有的互联网用户。正确识别垃圾邮件的技术难度非常大。传统的垃圾邮件过滤方法，主要有"关键词法"和"校验码法"等。前者的过滤依据是特定的词语；后者则是计算邮件文本的校验码，再与已知的垃圾邮件进行对比。它们的识别效果都不理想，而且很容易规避。2002年，Pau

2013-09-28 20:15:53 3723

while(true);