sksssssss-CSDN博客

原创隐马尔科夫模型（Hidden Markov Model）（一）

##前言隐马尔科夫模型是一种重要的概率图模型，也是自然语言处理中一种最为快速最为有效的模型，成功的解决了语音识别，机器翻译问题，最近转自然语言处理，所以对一些相关模型进行总结，以便日后工作中可以灵活使用去解决各类自然语言问题。...

2019-04-10 15:43:50 380

原创 spark on yarn上使用nltk

在spark集群上使用nltk有一个小小的问题，ntlk不关是调用库就可以，还可能需要依整一些离线的文件并且需要放在指定的目录下面比如放在home/xxxx/目录下面，这样在调用库的时候它就可以在指定目录下面找到离线文件，但是在大的集群上面没有管理员帮忙维护的话，需要自己去添加一下这些目录到运行节点的目录下面，这个有点麻烦，总结一下个人解决办法：1、将nltk_data目录通过addFile上传...

2019-04-04 18:29:11 489

原创最优化算法(四)

OWL-QN算法上一篇介绍的L-BFGS只能解平滑问题，但是对于非平滑问题比如机器学习中常见的带L1正则的问题就解决不了，因此微软提出一种基于L-BFGS的优化算法OWL-QN算法，QWL-QN算法最大的特点是可以解非平滑问题，并且收敛速度比L-BFGS要快。算法思想与伪梯度算法具体的思想是，把目标函数投影到各个象限上，然后在各个象限上单独求解，并且限制象限，这样比如说L1正则项如果投影并且限制在某

2017-08-22 20:56:04 1940

原创最优化算法(三)

牛顿方法牛顿方法是现在用的比较广泛的最优化算法之一，其特点是收敛速度较快，上一节的梯度下降和随机梯度下降都是一阶收敛，而牛顿方法是二阶收敛。回忆高等数学里面介绍的二阶泰勒展开有Q(x)=f(x0)+∇f(x0)(x−x0)+(x−x0)22!∇2f(x0)Q(x)=f(x_0)+\nabla f(x_0)(x-x_0)+\frac{(x-x_0)^2}{2!}\nabla ^2f(x_0) 而

2017-08-08 21:53:14 912

原创最优化算法(二)

随机梯度下降算法上一篇有介绍梯度下降算法以及收敛性分析，但是梯度下降算法需要将全部的数据加载到内存，然后在全局数据上作迭代计算，数据量较大的情况下，占用较大的内存空间和计算时间，为了解决这个问题会引入另外的一个变种的算法，随机梯度下降算法。

2017-06-26 21:05:33 513

原创最优化算法(一)

前言最优化算法在机器学习中扮演着重要的角色，很多的机器学习算法最终都会归结为如下的最优化问题minfJ(x):=λΩ(f)+Remp(f)\min_f J(x):=\lambda\Omega(f)+R_{emp}(f)以上就是结构风险最小化，其中Remp(f)R_{emp}(f)是期望风险。Remp(f):=1m∑i=1ml(f(xi),yi)R_{emp}(f):=\frac{1}{m}\s

2017-06-12 19:56:37 4719

原创 petuum框架的ssp模型简介

SSP模型是利用机器学习算法的容错性构建的一种并行计算模型，机器学习的容错性是指在误差容许的范围内，算法迭代计算过程中可以存在一定的误差。例如随机梯度下降算法，可以在每一次迭代过程中容许存在一定的噪音梯度，而前提是不影响算法的收敛性。在SSP 模型中，给定了一个时间窗口，并保证了两个线程维持在这个时间窗口内，这样使得误差保持在一定的范围，并且有理论收敛性的保证。

2017-05-22 22:37:53 3373 2

原创 ADMM算法理论与应用

交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）是一种解决可分解凸优化问题的简单方法，尤其在解决大规模问题上卓有成效，利用ADMM算法可以将原问题的目标函数等价的分解成若干个可求解的子问题，然后并行求解每一个子问题，最后协调子问题的解得到原问题的全局解。

2017-05-20 23:11:11 34236 8

Mesip丶专栏