10 xianlingmao

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1w+

浅谈深度学习(Deep Learning)的基本思想和方法

深度学习(Deep Learning),又叫Unsupervised Feature Learning或者Feature Learning,是目前非常热的一个研究主题。本文将主要介绍Deep Learning的基本思想和常用的方法。一. 什么是Deep Learning?实际生活中,人们为了解决一个问题,如对象的分类(对象可是是文档、图像等),首先必须做的事情是如何来表达一个对象,即必

2013-01-07 22:18:06

深入理解拉格朗日乘子法(Lagrange Multiplier) 和KKT条件

在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却

2012-09-22 17:05:52

模型选择的几种方法:AIC,BIC,HQ准则

经常地,对一堆数据进行建模的时候,特别是分类和回归模型,我们有很多的变量可供使用,选择不同的变量组合可以得到不同的模型,例如我们有5个变量,2的5次方,我们将有32个变量组合,可以训练出32个模型。但是哪个模型更加的好呢?目前常用有如下方法:AIC=-2 ln(L) + 2 k  中文名字:赤池信息量 akaike information criterionBIC=-2 ln(L)

2012-08-21 15:17:46

梯度、Hessian矩阵、平面方程的法线以及函数导数的含义

想必单独论及“ 梯度、Hessian矩阵、平面方程的法线以及函数导数”等四个基本概念的时候,绝大部分人都能够很容易地谈个一二三,基本没有问题。其实在应用的时候,这几个概念经常被混淆,本文试图把这几个概念之间的关系整理一下,以便应用之时得心应手。这四个概念中,Hessian矩阵是最不容易混淆,但却是很多人难以记住的概念,其它三个概念很容易记住,但却在某些时候很容易混淆。Hessi

2012-08-19 20:55:51

深入理解模拟退火算法(Simulated Annealing)

本文将对模拟退火算法(SimulatedAnnealing)进行介绍,深入理解这个算法。模拟退火算法和上一篇文章随机模拟算法中的Metropolis算法有着紧密的联系,在这里将详细探讨这种关系。我们先从这个算法要解决的问题出发,逐步引出相应的算法。(pku,sewm,shinning)一.问题人们经常遇到这样的问题:在某个定义域S内,求某个函数f(x)的最小值,形式化为Min

2012-07-29 12:20:50

随机模拟的基本思想和常用采样方法(sampling)

通常,我们会遇到很多问题无法用分析的方法来求得精确解,例如由于式子特别,真的解不出来;一般遇到这种情况,人们经常会采用一些方法去得到近似解(越逼近精确解越好,当然如果一个近似算法与精确解的接近程度能够通过一个式子来衡量或者有上下界,那么这种近似算法比较好,因为人们可以知道接近程度,换个说法,一般一个近似算法被提出后,人们通常都会去考察或寻求刻划近似程度的式子)。本文要谈的随机模拟就是一类近

2012-07-23 15:27:44

核方法(kernel method)的主要思想

本文对核方法(kernelmethod)进行简要的介绍。核方法的主要思想是基于这样一个假设:“在低维空间中不能线性分割的点集,通过转化为高维空间中的点集时,很有可能变为线性可分的”,例如下图  左图的两类数据要想在一维空间上线性分开是不可能的,然而通过F(x)=(x-a)(x-b)把一维空间上的点转化为右图上的二维空间上,就是可以线性分割的了。然而,如果直接把低维度的数据转

2012-07-05 16:31:02

Jackknife,Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting的区别

Jackknife,Bootstraping, bagging, boosting, AdaBoosting, Rand forest 和 gradient boosting这些术语,我经常搞混淆,现在把它们放在一起,以示区别。(部分文字来自网络,由于是之前记的笔记,忘记来源了,特此向作者抱歉)Bootstraping: 名字来自成语“pull up by your own bootstr

2012-07-03 20:09:59

线性代数(二)--有限维向量空间和线性映射

上篇文章已经讨论了什么是线性代数,线性代数就是研究有限维向量空间中线性映射的学科。它由两个部件组成:有限维向量空间和线性映射本文主要研究有限维向量空间的性质以及线性映射。 (一)有限维向量空间关于有限维向量空间,最核心的观念是“结构”,(私下地认为,一切东西都是有结构的,结构是一切事物内在的一个属性,正如数的概念也是具有结构的,它能分为有理数和无理数等等各个具有不同性质的部件组

2012-06-26 11:00:54

线性代数(一)--什么是线性代数(兼论向量空间及其性质)

引子:学习机器学习到一定程度,必然就会碰到数学瓶颈的问题,在这些数学瓶颈中,线性代数是其中一个重要障碍。如果能够较为深入地理解线性代数,会大大提高机器学习的理解和应用能力。因此,决定写一个线性代数的系列,来记录自己重读线性代数的过程,与同道中人共勉。既然我们谈到线性代数,那么什么是线性代数呢?一句话:线性代数是关于有限维向量空间中线性映射的学科。上面的定义有两个加黑的地方:有限维向

2012-06-19 12:57:19

看懂信息检索和网络数据挖掘领域论文的必备知识总结

信息检索和网络数据领域(WWW, SIGIR, CIKM, WSDM, ACL, EMNLP等)的论文中常用的模型和技术总结引子:对于这个领域的博士生来说,看懂论文是入行了解大家在做什么的研究基础,通常我们会去看一本书。看一本书固然是好,但是有一个很大的缺点:一本书本身自成体系,所以包含太多东西,很多内容看了,但是实际上却用不到。这虽然不能说是一种浪费,但是却没有把有限力气花在刀口上。

2012-06-15 17:02:41

Dirichlet distribution的两种理解方式

Dirichlet distribution,对于做主题模型(topic model)研究特别的重要,因为很多模型之中都需要它作为先验分布。本来这个分布Wikipedia和大多数的教科书已经讲得非常清楚,没有必要在这里多介绍,但是最近在理解Dirichlet process过程中,发现从另外一个角度来理解Dirichlet Distribution,对于理解Dirichlet Process有

2012-04-22 20:22:14

MAC电脑上安装latex和auctex之后,按c-c c-v之后出现"evince file",而不是“open file"的解决方法

MAC电脑上安装latex和auctex之后,按c-c c-v之后会出现"evince file",而不是“open file"的问题,这样就会导致不能正常地预览生成的pdf文件下面是解决方法:在.emacs文件中把下列一段注释掉:(setq TeX-view-program-list '(("^dvi$" "." "open %o")

2012-04-20 11:50:17

狄利克雷过程(dirichlet process )的五种理解

狄利克雷过程(dirichletprocess)是目前变参数学习(nonparameter)非常流行的一个理论,很多的工作都是基于这个理论来进行的,如HDP(hierarchicaldirichletprocess)。下面我们谈谈dirichletprocess的五种角度来理解它。第一种:原始定义:假设存在在度量空间\Theta上的分布H和一个参数\alpha,如果对于度量空间

2012-03-11 22:09:27

EM算法

我所知道的最简单的EM算法推导:预备知识: jessen不等式这里不详细讲解Jessen不等式,大家可以google,这里只大概讲解其意思,就是对于凹函数f(x)(即大肚子向上,口子向下,国外和国内的定义不同,特此注明),f(E(x)) >= E(f(x)); 若是凸函数,不等号的方向相反。等号成立的条件是x是常变量,即各个值相等推导:    假设X是已知变量,H是隐藏变量,\

2012-03-10 17:38:07

什么叫共轭先验或者共轭分布?

如果你读过贝叶斯学习方面的书或者论文,想必是知道共轭先验这个名词的。现在假设你闭上眼睛,你能准确地说出共轭分布是指哪个分布和哪个分布式共轭的吗?我之前就常常把这个关系弄错,现在记录如下,以加强印象。贝叶斯学派和频率学派的区别之一是特别重视先验信息对于inference的影响,而引入先验信息的手段有“贝叶斯原则“(即把先验信息当着均匀分布)等四大类其中有重要影响的一类是:共轭先验

2012-03-10 16:58:00

话题模型(topic model)的提出及发展历史

topic model 是一种应用十分广泛的产生式模型(generative model),在IR, NLP,ML都有广泛的应用,本文将对目前已有的topic model进行分类总结,然后选择几个代表性的topic model进行较为详细的介绍,从而理解topic model 的思想,以及怎么应用。topic model最经典的模型之一是LDA(latent dirichlet alloc

2011-12-16 10:03:55

Topic Model的分类和设计原则

topic model的介绍性文章已经很多,在此仅做粗略介绍,本文假设读者已经较为熟悉Topic Medel。Topic Model (LDA)认为一个离散数据集合(如文档集合,图片集合,为行文方便,本文统统以文档集合作为描述对象,其他的数据集合只需换掉对应的术语即可)是由隐含在数据集合背后的topic set 生成的,这个set中的每一个topic都是词的概率分布。对于文档中的每一篇文档,先

2011-12-13 17:12:14

测度论--长度是怎样炼成的[zz]

<br />这篇文章是我见过的写得比较好的关于测度论的文章,它深入浅出,特转载于此,供更多人参考/学习<br /> <br /><br />[测度论学习]长度是怎样炼成的 (1)<br />长度是怎样炼成的? <br />源于 http://www.blog.edu.cn/user2/tchzhang/archives/2006/1359252.shtml<br />应小乐之请写的一个东西,其目的是为了回答以下问题:<br />点没有长度和面积,为什么由点组成的线和面会具有长度和面积? <br />“长度”

2010-08-24 19:47:00

一. 图模型(graphical model, GM)的表示

<br />图模型(graphical model)是一类用图来表示概率分布的一类技术的总称。<br />它的主要优点是把概率分布中的条件独立用图的形式表达出来,从而可以把一个概率分布(特定的,和应用相关的)表示为很多因子的乘积,从而简化在边缘化一个概率分布的计算,这里的边缘化指的是给定n个变量的概率分布,求取其中m个变量的概率分布的计算(m<n)。<br />图模型主要有两大类,一类是贝叶斯网络(又称有向图模型);另外一类是马尔可夫网络(又称无向图模型)。<br />谈到一个图模型,主要有三个主要的关注点

2010-07-29 17:17:00

查看更多

勋章 我的勋章
    暂无奖章