- 博客(50)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 Python常用语法
可扩展性是Python的一大特色，一方面，由于Python是解释执行的，这导致运行速度会比编译型语言慢，因此可以通过使用C/C++重写核心部分代码以解决性能上的瓶颈(程序90%的时间再运行10%的代码)；另一方面，可以通过扩展，达到添加整合一些额外的功能以及保持专有源代码的目的。在本文接下来的部分中我们将讨论如何编写C/C++扩展代码，并使用它们的功能。 我们要建立的是一个可以在Pyth
2014-02-07 09:38:28
9478
1
原创 机器学习理论与实战（十七）概率图模型05（极家族函数的引入）
概率图模型中极家族函数的引入 回顾概率图模型03中的内容，我们用联合树算法进行消息传递，本质是在求解某个变量的分布或者条件分布，求解一个分布不单纯局限在联合树算法上，还有其他算法，比如均值场。这些图模型中的变分推理方法都有一个统一的理论框架，都是依靠凸分析和极家族函数来支撑起来的，各种推理方法的本质其实都是在极家族函数的均值参数(Mean Parameters)和自
2014-01-15 12:29:39
9307
1
原创 工业检测、车牌识别
趁着服务器在跑程序的空闲时间，花了几个小时写了个工业检测程序（matlab版本），可以用于下图所示使用的情形，也可以用于车牌识别，过年缺钱了，挂出来卖。。。可以定制。效果如下图所示，红色框框是检测的目标，并且识别出数字和字母，速度很快（没有用深度学习），一副3648×2376的图从检测到识别只需要100毫秒左右，目前是初级版本，有一位老板打算买，正利用业余时间增强功能。
2014-01-12 19:24:58
10018
4
转载 Big Data with MATLAB
How to work with huge and fast data setsBig data refers to the dramatic increase in the amount and rate of data being created and made available for analysis.A primary driver of this trend is
2013-11-24 14:57:15
6955
转载 GPU Programming in MATLAB
By Jill Reese, MathWorks and Sarah Zaranek, MathWorksView PDFMulticore machines and hyper-threading technology have enabled scientists, engineers, and financial analysts to speed
2013-11-24 14:27:39
7859
转载 Parallel Computing with MATLAB
http://www.mathworks.cn/support/product/DM/installation/ver_current/?s_cid=pi_dc_pi_R2012binstalling and Configuring Parallel Computing Toolbox and MATLAB Distributed Computing Server (R2012b)
2013-11-24 13:48:42
8996
翻译 成功应用机器学习的七个步骤
最近在写深度学习的程序，遇到一些瓶颈，多方咨询下大牛的经验，无果，找到了一篇机器学习心得，为了不浪费，翻译后贴出来吧。 项目失败在IT中太常见了。如果在你公司里使用一项你们不熟悉的技术，那风险很高。机器学习在学术界出现很长时间了，但是走进公司并且让公司尝到甜头也是最近几年的事情。因此正确机器学习在工业界还有很大的潜力，能使得公司降低开销，开辟新径，但是它仍然有一些陷阱要注意。
2013-11-14 16:59:37
9532
原创 机器学习理论与实战（十六）概率图模型04
04、概率图模型应用实例 最近一篇文章《DeformableModel Fitting by Regularized Landmark Mean-Shift》中的人脸点检测算法在速度和精度折中上达到了一个相对不错的水平，这篇技术报告就来阐述下这个算法的工作原理以及相关的铺垫算法。再说这篇文章之前，先说下传统的基于CLM（Constrained local model）人脸点检测算
2013-09-09 20:31:02
17704
6
转载 使用mean-shift方法、隐马尔科夫模型的恋爱指南
使用mean-shift方法、隐马尔科夫模型的恋爱指南----用数学指导我们的生活！！！ 作者：gubgub [1][2] [1]xxxx公司 [2]xx小组 开篇 爱情是人类最宝贵的情感， 可是很多人无法拨开迷雾去摘取最美的花。 我曾经为此迷茫，可是突然我发现了科学的力量！！！！ 使用数学，揭开了恋爱
2013-09-08 14:56:18
7923
1
原创 机器学习理论与实战（十五）概率图模型03
03 图模型推理算法 这节了解一下概率图模型的推理算法（Inference algorithm），也就是如何求边缘概率（marginalization probability）。推理算法分两大类，第一类是准确推理（Exactinference）,第二类就是近似推理（Approximate Inference）。准确推理就是通过把分解的式子中的不相干的变量积分掉（离散的就是求
2013-09-01 22:55:17
13398
3
原创 机器学习理论与实战（十四）概率图模型02
翻开Jordan和Wainwright著作的书，正文开始（第二章）就说概率图模型的核心就是：分解。的确是这样的，对于复杂的概率图模型，要在复杂交织的变量中求取某个变量的边缘概率，常规的做法就是套用贝叶斯公式，积分掉其他不想干的变量，假设每个变量的取值状态为N，如果有M个变量，那么一个图模型的配置空间就有M^N，指数增长的哦，就这个配置空间已经让我们吃不消了，不可以在多项式时间内计算完成，求边缘概率
2013-08-31 00:00:06
15332
6
原创 机器学习理论与实战（十三）概率图模型01
概率图模型是图论和概率论结合的产物，它的开创者是鼎鼎大名的Judea Pearl,我十分喜欢概率图模型这个工具，它是一个很有力的多变量而且变量关系可视化的建模工具，主要包括两个大方向：无向图模型和有向图模型。无向图模型又称马氏网络，它的应用很多，有典型的基于马尔科夫随机场的图像处理，图像分割，立体匹配等，也有和机器学习结合求取模型参数的结构化学习方法。严格的说他们都是在求后验概率:p(y|x)，即
2013-08-17 16:47:34
16063
2
原创 机器学习理论与实战（十二）神经网络
神经网络又火了，因为深度学习火了，所以必须增加个传统神经网络的介绍,尤其是back propagation算法。很简单，俺也就不舞文弄墨的说复杂咯，神经网络模型如（图一）所示：（图一） （图一）中的神经网络模型是由多个感知器（perceptron）分几层组合而成，所谓感知器就是单层的神经网络（准确的说应该不叫神经网络咯），它只有一个输出节点，如（图二）所示：
2013-08-10 23:15:17
10691
6
原创 机器学习理论与实战（十一）关联规则分析Apriori
《机器学习实战》的最后的两个算法对我来说有点陌生，但学过后感觉蛮好玩，了解了一般的商品数据关联分析和搜索引擎智能提示的工作原理。先来看看关联分析（association analysis）吧，它又称关联规则学习（association rule learning）,它的主要工作就是快速找到经常在一起的频繁项，比如著名的“啤酒”和“尿布”。试想一下，给我们一堆交易数据，每次的交易数据中有不同的商品，
2013-08-04 23:26:50
9462
原创 机器学习理论与实战（十）K均值聚类和二分K均值聚类
接下来就要说下无监督机器学习方法，所谓无监督前面也说过，就是没有标签的情况，对样本数据进行聚类分析、关联性分析等。主要包括K均值聚类（K-means clustering）和关联分析，这两大类都可以说的很简单也可以说的很复杂，学术的东西本身就一直在更新着。比如K均值聚类可以扩展一下形成层次聚类（Hierarchical Clustering）；也可以进入概率分布的空间进行聚类，前段时间很火的LDA
2013-07-31 22:51:55
8629
1
原创 机器学习理论与实战（九）回归树和模型树
前一节的回归是一种全局回归模型，它设定了一个模型，不管是线性还是非线性的模型，然后拟合数据得到参数，现实中会有些数据很复杂，肉眼几乎看不出符合那种模型，因此构建全局的模型就有点不合适。这节介绍的树回归就是为了解决这类问题，它通过构建决策节点把数据数据切分成区域，然后局部区域进行回归拟合。先来看看分类回归树吧（CART:Classification And Regression Trees）,这个模
2013-07-27 00:29:21
15442
13
原创 机器学习理论与实战（八）回归
按照《机器学习实战》的主线，结束有监督学习中关于分类的机器学习方法，进入回归部分。所谓回归就是数据进行曲线拟合，回归一般用来做预测，涵盖线性回归（经典最小二乘法）、局部加权线性回归、岭回归和逐步线性回归。先来看下线性回归，即经典最小二乘法，说到最小二乘法就不得说下线性代数，因为一般说线性回归只通过计算一个公式就可以得到答案，如（公式一）所示：（公式一） 其中X是表示
2013-07-20 00:47:32
12197
6
原创 机器学习理论与实战（七）Adaboost
Adaboost也是一种原理简单，但很实用的有监督机器学习算法，它是daptive boosting的简称。说到boosting算法，就不得提一提bagging算法，他们两个都是把一些弱分类器组合起来来进行分类的方法，统称为集成方法（ensemble method）,类似于投资，“不把鸡蛋放在一个篮子”，虽然每个弱分类器分类的不那么准确，但是如果把多个弱分类器组合起来可以得到相当不错的结果，另外要
2013-07-13 16:50:53
28069
6
原创 机器学习理论与实战（六）支持向量机
上节基本完成了SVM的理论推倒，寻找最大化间隔的目标最终转换成求解拉格朗日对偶变量alpha的求解问题，求出了alpha即可求解出SVM的权重W，有了权重也就有了最大间隔距离，但是其实上节我们有个假设：就是训练集是线性可分的，这样求出的alpha在[0,infinite]。但是如果数据不是线性可分的呢？此时我们就要允许部分的样本可以越过分类器，这样优化的目标函数就可以不变，只要引入松弛变量即可，它
2013-07-11 23:47:18
5729
4
原创 机器学习理论与实战（五）支持向量机
做机器学习的一定对支持向量机（support vector machine-SVM）颇为熟悉，因为在深度学习出现之前，SVM一直霸占着机器学习老大哥的位子。他的理论很优美，各种变种改进版本也很多，比如latent-SVM, structural-SVM等。先来看看SVM的理论，在（图一）中A图表示有两类的数据集，图B,C,D都提供了一个线性分类器来对数据进行分类？但是哪个效果好一些？
2013-07-09 23:05:20
5815
5
原创 机器学习理论与实战（四）逻辑回归
从这节算是开始进入“正规”的机器学习了吧，之所以“正规”因为它开始要建立代价函数（cost function），接着优化价值函数求出权重，然后测试验证。这整套的流程是机器学习必经环节。今天要学习的话题是逻辑回归，逻辑回归也是一种有监督学习方法（supervised machine learning）。逻辑回归一般用来做预测，也可以用来做分类，预测是某个类别^.^！线性回归相比大家都不陌生了，y=k
2013-07-07 15:36:34
7489
2
原创 机器学习理论与实战（三）朴素贝叶斯
贝叶斯决策一直很有争议，今年是贝叶斯250周年，历经沉浮，今天它的应用又开始逐渐活跃，有兴趣的可以看看斯坦福Brad Efron大师对其的反思，两篇文章：“Bayes'Theorem in the 21st Century”和“A250-YEAR ARGUMENT:BELIEF, BEHAVIOR, AND THE BOOTSTRAP”。俺就不参合这事了，下面来看看朴素贝叶斯分类器。有时我
2013-07-07 11:35:16
15979
12
原创 机器学习理论与实战（二）决策树
电影《无耻混蛋》里有一幕游戏，在德军小酒馆里有几个人在玩20问题游戏，游戏规则是一个设迷者在纸牌中抽出一个目标（可以是人，也可以是物），而猜谜者可以提问题，设迷者只能回答是或者不是，在几个问题（最多二十个问题）之后，猜谜者通过逐步缩小范围就准确的找到了答案。这就类似于决策树的工作原理。（图一）是一个判断邮件类别的工作方式，可以看出判别方法很简单，基本都是阈值判断，关键是如何构建决策树，也就是如何训
2013-07-05 23:18:40
6009
11
原创 机器学习理论与实战（一）K近邻法
机器学习分两大类，有监督学习(supervised learning)和无监督学习(unsupervised learning)。有监督学习又可分两类：分类（classification.）和回归（regression），分类的任务就是把一个样本划为某个已知类别，每个样本的类别信息在训练时需要给定，比如人脸识别、行为识别、目标检测等都属于分类。回归的任务则是预测一个数值，比如给定房屋市场的数据（面
2013-07-05 21:27:57
8272
8
原创 机器学习理论与实战
前面的进20篇博文已经牵扯到很多机器学习算法咯，已经吊足了胃口，从后面开始正式学习机器学习的理论，涵盖：加州理工(caltech)的 Yaser Abu-Mostafa教授的机器学习，偏重于传统统计理论斯坦福大学（Staford U)的Andrew Ng教授的机器学习，偏重于实用，直观理解多伦多大学（Tronto U）的Geoffery Hinton教授的高级神经网络，偏重于神经网络和
2013-07-05 13:22:08
3870
原创 目标检测（Object Detection）原理与实现(六)
基于形变部件模型（Deformable Part Models）的目标检测 上节说了基于cascade的目标检测，cascade的级联思想可以快速抛弃没有目标的平滑窗（sliding window）,因而大大提高了检测效率，但也不是没缺点，缺点就是它仅仅是个很弱的特征，用它做分类的检测器也是弱分类器，仅仅比随机猜的要好一些，它的精度靠的是多个弱分类器来实行一票否决式推举
2013-07-04 16:14:48
19497
3
原创 目标检测（Object Detection）原理与实现(五)
基于Cascade分类器的目标检测 从今天开始进入基于机器学习的目标检测，前几节虽然也接触了一些机器学习的方法，但它主要是做辅助工作，机器学习的方法和非机器学习的方法结合在一起使用，说到这想起来前几天看到一位博士师兄发的笑话，说的是百度实验室： Theory is when you know everthing but nothing works.
2013-06-25 21:25:23
18260
原创 目标检测（Object Detection）原理与实现(四)
基于ASM的目标检测 ASM(Active Shape Model：主动形状模型)是Tim Cootes于1995年提出来的，其实是在1992年提交，1994年被接受，1995被发表的。ASM方法是通过寻找一系列匹配点来检测形状的方法，和单纯的基于shift（或者surf）特征点匹配的方法不一样，后者是通过互相独立的shift（或者surf）特征点匹配来做目标检测，当模版图像和
2013-06-23 13:27:16
9980
2
原创 google公开深度学习部分应用
最近比较忙，再看ASM和AAM的东西，没时间更新霍夫推理的博客，准备把他放在后面基于机器学习的目标检测来写，分享下deep learning最新的小料：谷歌公开了深度学习部分应用，谷歌语音搜索主管Vanhoucke于19号在ICML做了个的语音识别与深度学习的讲座（PPT链接），另附上一个关于无服务器集群的散户使用deep learning的应用的讨论（链接）。在来一个lecun在ICML
2013-06-20 16:11:01
4925
4
原创 64位win7下使用vs2010调用opencv2.4.4缺少DLL问题
如果你的操作系统是64位的win7,并且使用VS2010调用OpenCV2.4.4,提示缺少msvcp110d.dll和msvcr110d.dll(debug模式下)或者msvcp110.dll和msvcr110.dll(release模式下)的话， 你就要考虑一下重新编译下OpenCV咯，而不是使用安装解压后的dll和lib文件，因为VS2010对应的这两个MFC文件是100版本，
2013-06-16 20:06:14
5671
10
原创 目标检测（Object Detection）原理与实现(三)
基于霍夫森林的目标检测 上节说了霍夫变换（HT）和广义霍夫变换（GHT），今天就接着广义霍夫变换说下去，在广义霍夫变换中，每个投票元素（比如边缘像素中的点）在霍夫空间中累加投票的权重是相等的，每个元素投票的权重互不影响，这其实是假设了图像空间中的每个像素点是独立的，但现实是这样的吗？答案:不是，尤其是牵扯到我们今天的基于部件的投票时，这种投票元素互相独立的观点更站不脚，
2013-06-14 09:10:59
9577
4
原创 目标检测（Object Detection）原理与实现(二)
基于霍夫变换和广义霍夫变换的目标检测 上节讨论了基于阈值处理的目标检测，今天就来讨论下基于霍夫投票的目标检测，霍夫投票打算分成两个小节，第一个小节简单的说下霍夫变换和广义霍夫变换（generalized hough transform），他们投票的权重都是相等的，下一节讨论概率空间中的霍夫投票，顾名思义他们的投票权重是不确定的。 先来看下霍夫变换（hou
2013-06-10 16:20:19
13198
9
原创 学科起源（漫画版）
发几张收藏的图，让大家对学科起源有点了解，避免因学科纷争而引起不和，生命科学也罢，神经网络也罢都摆脱不了从物理和数学的角度去解释，因为机器学习中很大的一部分，尤其是神经网络，最近深度学习很火，所以一些物理术语出现在神经网络中让人很不解。接着来个物种进化吧，当然是科普简图咯，这种图好处就是让一部分人看到了很激动，老想着在里面找到灵感，有时间可以看看《物种起源》吧最后就来个宏观
2013-06-07 13:43:03
3936
原创 稀疏编码(Sparse Coding)的前世今生(三)
稀疏编码(sparse coding)和低秩矩阵(low rank)的区别 上两个小结介绍了稀疏编码的生命科学解释，也给出一些稀疏编码模型的原型(比如LASSO),稀疏编码之前的探讨文章就不说了，今天开始进入机器学习领域的稀疏表达。稀疏编码进入机器学习领域后，出现了很多应用，比如计算视觉领域的图像去噪，去模糊，物体检测，目标识别和互联网领域的推荐系统（Collabora
2013-06-06 17:21:19
13127
4
原创 大脑学习是否是“凸”的
这几天暂停下稀疏编码的后续博文，因为一直在想一个问题，大脑学习是否是凸的，如果是凸的，一个班的孩子或者一个学习小组同时学习一门课后，水平应该差不多，但这是与现实是矛盾的，是每个人的惩罚不一样？还是每个人的模型不一样？导致模型变化的因素是皮层网络结构发生了变化了？那么是什么导致网络结构发生了变化，考虑到上节（稀疏编码的前生今世（二））中提到：活跃细胞间的网络连接增强，“好孩子”一本书看的多了，自然就
2013-05-31 19:26:25
5312
7
原创 整型规划的凸松弛(Convex Relaxation in Integer Programming)
计算机视觉的问题很多时候最终被归结为组合优化问题，对此类问题采用组合分析的方法往往不能在多项式时间内求出最优解，因此我们需要一个好的逼近方法来求解此类问题，一个合理的方法就是通过凸松弛的方法来逼近整型规划问题。该方法的如要思想如下： 先来看下整型组合优化问题，对于（图一）中的寻找最小点（红点）问题，用求导的方法不可取，用排序的方法就是NP问题，无法在多项式时间内找到最优解。
2013-05-29 18:55:45
7219
6
原创 稀疏编码(Sparse Coding)的前世今生(二)
为了更进一步的清晰理解大脑皮层对信号编码的工作机制（策略），需要把他们转成数学语言，因为数学语言作为一种严谨的语言，可以利用它推导出期望和要寻找的程式。本节就使用概率推理（bayes views）的方式把稀疏编码扩展到随时间变化的图像上，因为人类或者哺乳动物在日常活动中通过眼睛获取的信号是随时间变化而变化的，对于此类信号仍然有一些稀疏系数和基可以描述他们，同类型的处理方式也有慢特征分析(slow
2013-05-29 14:36:03
9884
原创 稀疏编码(Sparse Coding)的前世今生(一)
稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是
2013-05-27 17:27:45
23350
13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人