- 博客(42)
- 资源 (13)
- 收藏
- 关注
RSS订阅转载 从Non-negative Matrix Factorization说说Clustering
转载：http://maider.blog.sohu.com/303848412.html背景：假设你在Netflix工作，拿到了一个matrix形式的dataset：1 2 1 ... 5 03 4 0 ... 1 1... 5 2 1 ... 3 2这个d
2016-12-01 11:58:21
1725
转载 认知、流形与虚实世界
【转载】http://zero2one.farbox.com/post/ren-zhi-liu-xing-yu-xu-shi-shi-jie从第一代单层神经网络被称为“感知机“开始，人工智能学者不断地追求强有力的方法来感知、认知这个复杂的世界。（由于语义在各种语境下的混淆，这里我们不讨论认知（Congnition）与感知(Perception)的差异）。统计机器学习方法从线性方法，
2016-11-21 17:09:54
1003
转载 Mutual information and Normalized Mutual information
Mutual information and Normalized Mutual information
2016-11-05 17:41:21
1523
1
转载 Predictive learning vs. representation learning
【转载】https://hips.seas.harvard.edu/blog/2013/02/04/predictive-learning-vs-representation-learning/Posted in Machine Learning. By Roger Grosse – February 4, 2013When you take a
2016-11-05 17:24:31
667
转载 What is representation learning?
【转载】https://hips.seas.harvard.edu/blog/2013/02/25/what-is-representation-learning/Posted in Machine Learning. By Roger Grosse – February 25, 2013In my last post, I argued t
2016-11-05 17:21:27
1332
原创 Anaconda2 (64-bit) 安装配置及简单使用
Python Anaconda2 (64-bit) 安装后启动jupyter-notebook默认目录更改python notebook 现在改名叫 jupyter-notebook ，被集成在Anaconda中。Anaconda集成了python、Spyder、jupyter等python的编辑器，也集成了很多科学计算的lib库，当然有些库没有被集成进去1、下载Ana
2016-10-23 16:56:18
20989
转载 深度学习--矩阵分解之基于k-means的特征表达学习
矩阵分解之基于k-means的特征表达学习原文地址：http://blog.csdn.net/hjimce/article/details/50429317作者：hjimce一、相关理论 因为最近搞的项目，要么没有数据、要么训练数据很少，精度老是提高不上去，另一方面最近看到网上一篇推荐文章:《Convolutional Clustering for Un
2016-10-22 10:56:28
4555
转载 深度学习--基于深度矩阵分解的属性表征学习
基于深度矩阵分解的属性表征学习原文地址：http://blog.csdn.NET/hjimce/article/details/50876956作者：hjimce一、相关概念本篇博文主要讲解文献《A deep matrix factorization method for learning attribute representations》。这篇主要借助于深度
2016-10-22 10:47:10
3849
转载 聚类方法总结
（本文转自网上，此处转载，用以备查，请原作者见谅）聚类算法总结：---------------------------------------------------------聚类算法的种类：基于划分聚类算法（partition clustering)k-means：是一种典型的划分聚类算法，它用一个聚类的中心来代表一个簇，即在迭代过程中选择的聚点不一
2016-08-29 15:58:32
1446
原创 强迫症的LaTeX学习笔记
最近一段时间迷上了 (La)TeX，也看了不少资料。LaTeX 排版过程中有不少 de facto（约定俗成的）规则，它们不是必须，但是是区别「熟练掌握 LaTeX」与「会使用 LaTeX」的关键因素。我本身就是对细节有强迫症的人，比如修改了 WordPress 的 style.css 后我可以对所有文章的代码都修改一遍，仅仅只为了图片和图注之间的间隔更加美观一些…过一段时间后也许我会不记
2016-08-05 21:16:12
6197
原创 Latex字体未嵌入解决方案
ACM模板字库未嵌入问题的解决方案投稿时有时会遇到以下提示的问题，提示如下：Error Font Helvetica-Bold is not embedded (86x)Error Font Helvetica is not embedded (404x)Error Font Times-Bold is not embedded (246x)Error Font T
2016-08-01 10:12:11
7012
转载 高斯混合模型GMM的EM算法实现（聚类）
在 聚类算法K-Means, K-Medoids, GMM, Spectral clustering，Ncut一文中我们给出了GMM算法的基本模型与似然函数，在EM算法原理中对EM算法的实现与收敛性证明进行了详细说明。本文主要针对如何用EM算法在混合高斯模型下进行聚类进行代码上的分析说明。1. GMM模型：每个 GMM 由 K 个 Gaussian 分布组成，每
2016-07-04 23:37:59
5091
1
原创 相似性度量（距离及相似系数）
在分类聚类算法中，时常需要计算两个变量（通常是向量的形式）的距离，即相似性度量。其中，距离度量的性质：非负性，自反性，对称性和三角不等式。 本文的目的就是对常用的相似性度量作一个总结。本文目录：1.欧氏距离2.曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5.标准化欧氏距离6.马氏距离7.余弦相似度
2016-06-30 16:59:09
59095
4
原创 资源分享
资源分享Advice on Research and Writing, by Mark LeoneCrafting Your Research Future: A Guide to Successful Master's and Ph.D. Degrees in Science & Engineering, by Charles X. Ling and Qiang YangAn eva
2016-04-11 17:13:16
523
原创 矩阵的性能指标
矩阵的二次型、行列式、特征值、迹和秩一个m×nm\times n维矩阵是一种含有m×nm\times n个元素的多变量表示。在数学中，经常希望使用一个数或标量来概括多变量表示。其中，矩阵的性能指标就是这类典型的例子。本节将介绍概括矩阵性质的几个重要的标量指标，它们分别是：矩阵的二次型：刻画矩阵的正定性行列式：主要刻画矩阵的奇异性特征值：既刻画原矩阵的奇异性，又反映原矩阵所有对角元素的结构，还刻
2016-03-22 17:27:41
5525
原创 谱聚类算法(Spectral Clustering)优化与扩展（转载）
谱聚类(Spectral Clustering, SC)在前面的博文中已经详述，是一种基于图论的聚类方法，简单形象且理论基础充分，在社交网络中广泛应用。本文将讲述进一步扩展其应用场景:首先是User-Item协同聚类，即spectral co-clustering，之后再详述谱聚类的进一步优化。1 Spectral Co-clustering1.1 协同聚类(Co-cl
2016-02-26 17:15:09
901
原创 谱聚类算法(Spectral Clustering)
谱聚类(Spectral Clustering, SC)是一种基于图论的聚类方法——将带权无向图划分为两个或两个以上的最优子图，使子图内部尽量相似，而子图间距离尽量距离较远，以达到常见的聚类的目的。其中的最优是指最优目标函数不同，可以是割边最小分割——如图1的Smallest cut(如后文的Min cut)， 也可以是分割规模差不多且割边最小的分割——如图1的Best cut(如后文的Norma
2016-02-26 17:12:44
1266
原创 Softmax回归（转载）
简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由
2016-02-26 17:01:22
408
原创 半监督学习（转载）
半监督学习 黎 铭0 引言机器学习(machine learning)是人工智能的核心研究领域，是智能信息处理的重要途径。监督学习(supervised learning)是机器学习中研究最多、应用最广泛的一种学习途径。在传统的监督学习中，学习系统通过对大量的有标记训练样本 (labeled examples) 进行学习，建立模
2016-02-26 16:53:31
1302
转载 来自西弗吉利亚大学li xin整理的CV代码合集
Reproducible Research in Computational Science “It doesn't matter how beautiful your theory is, it doesn't matter how smart you are. If it doesn't agree with experiment, it's wrong” - Richard
2016-01-11 15:13:20
1007
原创 距离和相似性度量
距离:1. 明可夫斯基距离(Minkowski Distance)公式:其中p是一个变量,下面的所有距离都是这个公式的特例;p=1就是曼哈顿距离, P=2就是欧式距离,P=无穷时,就是切比雪夫距离. 2. 欧几里得距离(Euclidean Distance)最常见的欧式距离就是平面上两点间的距离D=sqrt(x^2+y^2);通用的公式为
2015-12-02 14:57:01
589
原创 信息度量与KL Divergences
目录(?)[-]信息度量互信息联合熵条件熵的相关定义KL距离互信息与KL距离皮尔森相关系数与KL距离实际运用信息度量信息论中，把信息大小解释为其不确定度。如果一个事件必然发生，那么他没有不确定度，也就不包含信息。即信息=不确定度。借用数学之美中的一个例子：马上要举行世界杯赛了。大家都很关心谁会是冠军。假如我错过了看世界杯，赛后我问一个知道比赛结果的观
2015-12-02 14:55:01
719
原创 非负矩阵分解中基于L1和L2范式的稀疏性约束
References: 2004_Non-negative matrix factorization with sparseness constraints_JMLRL1、L2范式 假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，
2015-11-29 22:14:45
759
原创 聚类评价指标（一）
外部评价法外部评价方法意味着评判聚类算法的结果是基于一种预先指定的结构。这种结构反映了人们对数据集聚类结构的直观认识。每个数据项的分类标记已知。下面介绍两种常用的外部评价法。1) F-measure 它组合了信息检索中查准率( precision) 与查全率( recall) 的思想来进行聚类评价。一个聚类j 及与此相关的分类i 的precision 与recall 定义为
2015-10-02 16:46:32
8544
1
原创 iris数据集的读取，训练，预测
一 读取UCI数据集iris.data中数据方法1.将数据分成五组，一列一列读进列向量当中>> [attrib1, attrib2, attrib3, attrib4, class] = textread('data\iris.data', '%f%f%f%f%s', 'delimiter', ','); 2.将前面的4组浮点型数据，整合进一个矩阵当中，成为一个column_length*4类
2015-10-02 14:10:17
5871
原创 Matlab数据降维工具箱drtoolbox
drttoolbox : Matlab Toolbox for Dimensionality Reduction是Laurens van der Maaten数据降维的工具箱。里面囊括了几乎所有的数据降维算法： - Principal Component Analysis ('PCA') - Linear Discriminant Analysis ('LDA') - In
2015-09-11 17:08:27
1402
原创 拉格朗日乘子法（Lagrange Multiplier) 和KKT条件
特别说明转自：http://blog.csdn.net/xianlingmao/article/details/7919597在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要
2015-09-01 09:46:31
687
原创 矩阵的内涵
[转载] 矩阵的内涵理解矩阵（一）线性代数课程，无论你从行列式入手还是直接从矩阵入手，从一开始就充斥着莫名其妙。比如说，在全国一般工科院系教学中应用最广泛的同济线性代数教材（现在到了第四版），一上来就介绍逆序数这个“前无古人，后无来者”的古怪概念，然后用逆序数给出行列式的一个极不直观的定义，接着是一些简直犯傻的行列式性质和习题——把这行乘一个系数加到另一行上，再把那一列减过来，折腾
2015-08-02 16:15:32
950
原创 矩阵的 Frobenius 范数及其求偏导法则
1. 矩阵的迹求导法则 2. 矩阵的Frobenius范数及其求偏导法则 3. 复杂矩阵问题求导方法
2015-06-06 22:53:58
83897
18
转载 常见向量范数和矩阵范数
目录(?)[+]1、向量范数1-范数：，即向量元素绝对值之和，matlab调用函数norm(x, 1) 。2-范数：，Euclid范数（欧几里得范数，常用计算向量长度），即向量元素绝对值的平方和再开方，matlab调用函数norm(x, 2)。∞-范数：，即所有向量元素绝对值中的最大值，matlab调用函数norm(x, inf)。-∞-范数
2015-06-06 11:27:30
1378
转载 矩阵-向量求导法则
复杂矩阵问题求导方法：可以从小到大，从scalar到vector再到matrix。 x is a column vector, A is a matrix$d(A*x)/dx=A$ $d(x^T*A)/dx^T=A$ $d(x^T*A)/dx=A^T$ $d(x^T*A*x)/dx=x^T(A^T+A)$
2015-06-05 21:58:01
817
原创 弗罗贝尼乌斯范数（Frobenius norm）
目录(?)[-]弗罗贝尼乌斯范数对 p 2这称为弗罗贝尼乌斯范数Frobenius norm或希尔伯特-施密特范数 HilbertSchmidt norm不过后面这个术语通常只用于希尔伯特空间这个范数可用不同的方式定义弗罗贝尼乌斯范数对 p = 2，这称为弗罗贝尼乌斯范数（Frobenius norm）或希尔伯特-施密特范数（ Hilbert–Schm
2015-06-05 21:24:46
2313
原创 如何用简单易懂的例子解释隐马尔可夫模型？
神经网络很萌的！0. 分类神经网络最重要的用途是分类，为了让大家对分类有个直观的认识，咱们先看几个例子：垃圾邮件识别：现在有一封电子邮件，把出现在里面的所有词汇提取出来，送进一个机器里，机器需要判断这封邮件是否是垃圾邮件。疾病判断：病人到医院去做了一大堆肝功、尿检测验，把测验结果送进一个机器里，机器需要判断这个病人是否得病，得的什么病。猫狗分类：有一大堆猫、狗照片，把每一张照片
2015-06-02 16:45:26
1492
原创 机器学习为什么要学习最优化呢？
最优化方法（也称做运筹学方法）是近几十年形成的，它主要运用数学方法研究各种系统的优化途径及方案，为决策者提供科学决策的依据。最优化方法的主要研究对象是各种有组织系统的管理问题及其生产经营活动。最优化方法的目的在于针对所研究的系统，求得一个合理运用人力、物力和财力的最佳方案，发挥和提高系统的效能及效益，最终达到系统的最优目标。实践表明，随着科学技术的日益进步和生产经营的日益发展，最优化方法已成为现代
2015-06-02 16:34:42
7283
2
转载 非负矩阵分解中基于L1和L2范式的稀疏性约束
L1、L2范式 假设需要求解的目标函数为： E(x) = f(x) + r(x) 其中f(x)为损失函数，用来评价模型训练损失，必须是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有:L1范式约束(模型服从高斯分布)，L2范式约束(模型服从拉普拉斯分布)；其它的约束一
2015-06-02 10:17:09
1206
原创 MATLAB工具箱（功能型工具箱和领域型工具箱）
• MATLAB有三十多个工具箱大致可分为两类：功能型工具箱和领域型工具箱.$ B; `: L2 v, Q/ B4 Z" o 功能型工具箱主要用来扩充MATLAB的符号计算功能、图形建模仿真功能、文字处理功能以及与硬件实时交互功能，能用于多种学科。而领域型工具箱是专业性很强的。如控制系统工具箱(Control System Toolbox)、信号处理工具箱(S
2015-05-31 15:16:23
13594
1
原创 聚类的一些评价指标
什么是聚类聚类简单的说就是要把一个文档集合根据文档的相似性把文档分成若干类，但是究竟分成多少类，这个要取决于文档集合里文档自身的性质。下面这个图就是一个简单的例子，我们可以把不同的文档聚合为3类。另外聚类是典型的无指导学习，所谓无指导学习是指不需要有人干预，无须人为文档进行标注。 聚类的评价既然聚类是把一个包含若干文档的文档集合分成若干类，像上图如果聚类算法
2015-05-19 16:39:21
4572
原创 Softmax回归
Contents [hide]1 简介2 代价函数3 Softmax回归模型参数化的特点4 权重衰减5 Softmax回归与Logistic 回归的关系6 Softmax 回归 vs. k 个二元分类器7 中英文对照8 中文译者简介在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签
2015-05-18 23:19:22
396
原创 机器学习（Machine Learning）入门科普
=======================国外====================Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/) 在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方 ，在附近的两所名校（加stanford）中
2015-05-18 23:03:04
4719
MATLAB最优化计算
2015-06-03
MATLAB最优化计算书本程序
2015-06-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人