8 ACdreamers

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 408

贝叶斯学习及共轭先验

今天的主要任务是来理解共轭先验。最近在研究主题模型,里面提到了这个,所以有必要学习和掌握。  Contents    1. 共轭先验的概念   2. Beta分布和伯努力分布   3. Dirichlet分布和多项式分布  1. 共轭先验的概念    在贝叶斯统计理论中,如果某个随机变量

2015-10-13 22:25:41

调度场算法与逆波兰表达式

本文的主要内容是如何求一个给定的表达式的值,具体思路就是先将普通算术的中缀表达式转化为后缀表达式,这一步用到的算法叫做调度场算法。然后对后缀表达式,也就是逆波兰表达式求值。题目:http://acm.hdu.edu.cn/showproblem.php?pid=3596代码:

2015-06-09 21:37:27

SlopOne推荐算法

在开源框架taste中有SlopOne的Java实现,效果不错。

2015-06-03 18:41:30

径向基(RBF)神经网络

RBF网络能够逼近任意非线性的函数。可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学习速度。当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致全局逼近网络的学习速度很慢,比如BP网络。如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局部逼近网络,

2015-06-02 16:51:56

三种重要哈希介绍

一致性哈希算法是在1997年由麻省理工学院提出,设计的目标是为了解决因特网的热点问题。一致性哈希算法解决了在P2P环境中最为关键的问题,即如何在动态的网络拓扑中分布存储和路由。接下来详细讲述其原理并实现。 Contents   1. 算法简单介绍  2. 算法原理描述  3. 算法具体实现

2015-06-02 13:08:50

L2正则化方法

在机器学习中,无论是分类还是回归,都可能存在由于特征过多而导致的过拟合问题。当然解决的办法有   (1)减少特征,留取最重要的特征。  (2)惩罚不重要的特征的权重。 但是通常情况下,我们不知道应该惩罚哪些特征的权重取值。通过正则化方法可以防止过拟合,提高泛化能力。 先来看看L2正则化方法。对于之前梯度下降讲到的损失函数来说,在代价函数后面加上一个正则化项,得到

2015-05-30 12:51:00

多项式回归模型(Office Prices)

题目:https://www.hackerrank.com/challenges/predicting-office-space-price 分析:还是上次的房价预测题目,指明要用多项式回归拟合。在多元多项式拟合时候,目标函数表示如下            对其目标函数求偏导得到            很容易写出代码。 代码:#coding:ut

2015-05-28 21:00:31

房价预测(HackerRank)

从今天开始要多做一些关于机器学习方面的竞赛题目,题目来源主要是Hackerrank和Kaggle。

2015-05-23 21:50:36

KKT条件

在求解最优化问题中,拉格朗日乘子法(Lagrange Multiplier)和KKT(Karush Kuhn Tucker)条件是两种最常用的方法。在有等式约束时使用拉格朗日乘子法,在有不等约束时使用KKT条件。关于拉格朗日乘子法之前介绍过,不再赘述。详见:http://blog.csdn.net/acdreamers/article/details/41413445  接下来主要介绍

2015-04-21 15:05:03

协方差与协方差矩阵

本文讲的主要内容是协方差以及协方差矩阵。 在统计学中,我们见过的最基本的三个概念是均值,方差,标准差。假定给定了n个样本的集合,那么公式如下        均值是描述样本的平均值,标准差描述的是样本集合的各个点到均值距离的平均,体现了样本的散步程度。而方差仅仅是标准差的平方。  实际上,上述的方差是针对一维数据的情况进行统计描述。考虑这样一种情况:假设我们需

2015-04-21 14:39:10

蒙特卡洛算法

今天开始研究SamplingMethods,接下来会分为四部分进行讲解。本文是开篇文章,先来讲讲蒙特卡洛算法。  Contents   1.蒙特卡洛介绍  2.蒙特卡洛的应用  3.蒙特卡洛积分   1.蒙特卡洛介绍   蒙特卡罗方法(MonteCarlomethod),也称统计模拟方法,是二十世纪四十年代中期由于科学技术的

2015-04-12 17:23:05

关于欧拉工程的一道递推题

今天来讲的是在欧拉工程上的一道递推题,题目描述如下链接。 题目:https://projecteuler.net/problem=492 当然,这道题在51Nod上有一个比较通用的版本,链接如下 题目:http://www.51nod.com/contest/problem.html#!problemId=1361 题意:给定,并且有,给定两个数和,求的值。其中

2015-04-11 20:26:53

协同过滤算法

今天要讲的主要内容是协同过滤,即Collaborative Filtering,简称CF。 Contents    1. 协同过滤的简介   2. 协同过滤的核心   3. 协同过滤的实现   4. 协同过滤的应用  1. 协同过滤的简介    关于协同过滤的一个最经典的例子就是看电影,有时候不知道哪一部电影是我们喜欢的或者评分比较高的,那

2015-03-30 00:13:37

L-BFGS算法

前面的文章中,讲述过BFGS算法,它是用来求解最优化问题的,在这个算法中,相对于普通的牛顿迭代法有很大的改进。链接:http://blog.csdn.net/acdreamers/article/details/44664941。在BFGS算法中,仍然有缺陷,比如当优化问题规模很大时,矩阵的存储和计算将变得不可行。为了解决这个问题,就有了L-BFGS算法。  Contents

2015-03-29 18:12:23

FaceBook机器学习开源DL模块

据GIGAOM报道,近日,Facebook人工智能研究院(FAIR)开源了一系列软件库,以帮助开发者建立更大、更快的深度学习模型。开放的软件库在Facebook被称作模块。用它们替代机器学习领域常用的开发环境Torch中的默认模块,可以在更短的时间内训练更大规模的神经网络模型。 如果想了解更多的内容,可以参考下面的一些文章。 1. Facebook开源深度学习软件库,帮助开

2015-03-27 02:03:17

BFGS算法

今天,我来讲一种在机器学习中常用到的优化算法,叫做BFGS算法。BFGS算法被认为是数值效果最好的拟牛顿法,并且具有全局收敛性和超线性收敛速度。那么接下来将会详细讲解。 Contents    1. 什么是拟牛顿法   2. 拟牛顿法原理   3. DFP算法原理   4. BFGS算法原理   5. BFGS算法的实现  1. 什么是拟牛顿法

2015-03-27 01:55:41

K-D树

K-D树,即K-Dimensional Tree,是一种高维索引树型数据结构。常用于大规模高维数据空间的最邻近或者K邻近查找,例如图像检索中高维图像特征向量的K邻近匹配,对KNN算法的优化等。 Contents    1. K-D树的基本原理   2. K-D树的改进(BBF算法)   3. K-D树的C++实现   4. K-D树的开源框架介绍  1.

2015-03-27 01:49:11

随机森林

前面介绍过决策树的三种实现:ID3算法,C4.5算法和CART算法。虽然这些决策树有很多优良的性质,比如训练时间复杂度较低,模型容易展示等等,但是同时单决策树有一些不好的地方,比如容易over-fitting,虽然剪枝可以减少这种现象的发生,但是还是不够的。为了减少决策树的不足,近年来又提出了许多模型组和+决策树的算法,这些算法都是生成N棵决策树,虽然这N棵树都很简单,但是它们综合起来

2015-03-27 01:45:12

决策树之C4.5算法

C4.5算法是机器学习中的一个重要的决策树算法,它是对ID3算法的改进,相对于ID3算法主要有以下几个改进   (1)用信息增益率来选择属性  (2)在决策树的构造过程中对树进行剪枝  (3)对非离散数据也能处理  (4)能够对不完整数据进行处理 接下来分别详细讲述这几点的改进方案 (1)用信息增益率来选择属性     在ID3算法中,我们知道是用信息增

2015-03-27 01:43:29

决策树之CART算法

在之前介绍过决策树的ID3算法实现,今天主要来介绍决策树的另一种实现,即CART算法。 Contents    1. CART算法的认识   2. CART算法的原理   3. CART算法的实现  1. CART算法的认识    Classification And Regression Tree,即分类回归树算法,简称CART算法,它是决策树的一种实

2015-03-27 01:38:05

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!