- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 共轭梯度法
1. 简介共轭梯度法是一种迭代方法。1.1 等价（a）线性方程Ax=b（b）优化问题（1.1），并有（1.2）从而（a）与（b）具有相同的解。如果令（1.3），则当x=x_k时，有（1.4）。2. 共轭梯度方法2.1 什么是共轭？给定一个对称正定矩阵A，存在一组非零向量,若满足下式（2.1），则称这些向量关于矩阵A共轭。（2.1）
2014-12-25 10:25:56
5058
原创 牛顿法
1. 定义用迭代点的梯度和二阶导数对目标函数进行二次逼近，把二次函数的极小点作为新的迭代点，不断重复此过程，直到找到最优点。2. 原理目标函数f(x)在x_k的泰勒展开式前三项为：（2.1）其中g_k是目标函数的一阶梯度，H_k是海森矩阵。x为极小值点的一阶必要条件是：（2.2）令下降方向p 为，则（2.3）将（2.3）式代入（2.1）式，可
2014-12-25 09:59:04
762
原创 最速下降法
1. 定义一阶最优化算法。以负梯度方向作为极小化方法的下降方向，即（1.1）2. 为什么负梯度方向是下降最快的方向？（1）将目标函数f(x)在x_k处泰勒级数展开，如下所示：（2.1）其中x_k表示第k次极值迭代点，是f(x)在x_k处的偏导，o(x_k)表示高阶无穷小。（2）将迭代公式（标准的line search公式，其中p是下降方向，一般有||
2014-12-16 09:39:49
7241
原创 Deep Fisher Networks for Large-Scale Image Classification（精读）
1. 文献名称和作者
2014-10-07 16:02:35
1454
转载 算法复杂度——时间复杂度和空间复杂度
1、时间复杂度 （1）时间频度 一个算法执行所耗费的时间，从理论上是不能算出来的，必须上机运行测试才能知道。但我们不可能也没有必要对每个算法都上机测试，只需知道哪个算法花费的时间多，哪个算法花费的时间少就可以了。并且一个算法花费的时间与算法中语句的执行次数成正比例，哪个算法中语句执行次数多，它花费时间就多。一个算法中的语句执行次数称为语句频度或时间频度。记为T(n)。 （2）时间复
2013-08-25 20:00:14
571
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人