- 博客(60)
- 资源 (21)
- 收藏
- 关注
RSS订阅
原创 数值优化（Numerical Optimization）学习系列-目录
概述数值优化对于最优化问题提供了一种迭代算法思路，通过迭代逐渐接近最优解，分别对无约束最优化问题和带约束最优化问题进行求解。 该系列教程可以参考的资料有 1. 《Numerical Optimization 2nd》–Jorge Nocedal Stephen J. Wright 2. 《凸优化》–Stephen Boyd 3. 《非线性最优化基础》–Masao Fukushima
2015-12-27 19:07:11
34599
8
原创 深度学习（Deep Learning）读书思考八：循环神经网络三（RNN应用）
概述通过前两小节的介绍，可以清楚的了解RNN模型的网络结构以及LSTM。本小节主要介绍RNN其他变形以及应用，包括 1.GRU单元 2.序列到序列（Seq2Seq）模型 3.注意力（Attention）模型 4.RNN在NLP中的应用 5.总结GRU单元GRU通过引入重置门和遗忘门来解决长期依赖问题，相对于LSTM有更少参数并且在某些问题上，效果好于L
2016-11-20 11:30:18
7576
原创 深度学习（Deep Learning）读书思考六：循环神经网络一（RNN）
概述循环神经网络（RNN-Recurrent Neural Network）是神经网络家族中的一员，擅长于解决序列化相关问题。包括不限于序列化标注问题、NER、POS、语音识别等。RNN内容比较多，分成三个小节进行介绍，内容包括RNN基础以及求解算法、LSTM以及变种GRU、RNN相关应用。本节主要介绍 1.RNN基础知识介绍 2.RNN模型优化以及存在的问题 3.RNN模
2016-11-20 11:28:58
17049
3
原创 深度学习（Deep Learning）读书思考四：模型训练优化
概述机器学习应用包括模型构建、求解和评估，对于深度模型而言也是类似，根据之前的介绍可以构建自己的深度神经网络结构。相对于一般的优化问题，深度模型更难优化，本节主要介绍深度学习模型优化挑战、优化算法以及优化策略等。 深度学习模型优化挑战 深度学习优化算法 深度学习中的特殊策略 另外，关于更多数值优化技术可以参考。数值优化技术深度学习优化挑战机器学习
2016-11-20 11:27:29
10879
2
原创 深度学习（Deep Learning）读书思考三：正则化
概述正则化是机器学习中非常重要并且非常有效的减少泛华误差的技术，特别是在深度学习模型中，由于其模型参数非常多非常容易产生过拟合。因此研究者也提出很多有效的技术防止过拟合，比较常用的技术包括： 参数添加约束，例如L1、L2范数等 训练集合扩充，例如添加噪声、数据变换等 Dropout 该文主要介绍深度学习中比较常见几类正则化方法以及常用参数选择，并试图解释其原理。
2016-11-20 11:26:30
6401
原创 深度学习（Deep Learning）读书思考二：前向神经网络
概述 深度学习也是机器学习的一种，是由前向神经网络或者多层感知机算法演化而来，由于计算资源和可计算数据增加，神经网络的效果逐渐浮现出来，从而迎来了蓬勃发展。本节主要介绍深度学习中基础网络结构前向神经网络(Feedword Netural Network)FNN基本概念机器学习都是在学习一种变换，深度学习也不例外，即y=f(x)=ϕ(x;θ)y=f(x)=\phi(x;\the
2016-11-20 11:25:56
4257
原创 深度学习（Deep Learning）读书思考一：基本概念
概述 《Deep Learning》是大神Yoshua Bengio关于深度学习的一个全面概述，之前也出过很多综述类的文章。 该系列读书思考笔记主要记录深度学习中需要关注或者实际工业界使用的知识点或者技术，方便查阅和备忘。 本节可能会罗列很多技术点，后面慢慢补充。人工智能图谱机器学习的终极目标是人工智能（AI），目前AI的痛点在于人很容易理解的知识，机器很难去表示
2016-11-20 11:25:05
2216
原创 【每周一文】Sequence to Sequence Learning with Neural Networks（2014）
概述DNN已经被成功用于多种AI任务，并取得很多可喜的成绩，例如语音识别、图片分类等。然而它们都不能处理序列到序列的任务，该文提出了一个端到端的（End To End）模型处理序列到序列的任务。 本文主要介绍： 1.Seq2Seq任务描述 2.Seq2Seq模型介绍任务描述在自然语言处理中有很多任务都可以归约为序列到序列的任务，例如： 1.机器翻译问题 2.语音识
2016-11-20 11:24:03
3651
原创 【每周一文】Convolutional Neural Network for text/sentence classification（2016）
概述卷积神经网络（CNN）相比于基于词袋模型的DNN有以下优点： 1. 能够捕获局部的位置信息 2. 能够方便的将不定长的输入转换成定长输入接入到DNN网络中 3. 相比于RNN模型计算复杂度低，在很多任务中取得不错的效果。在自然语言处理（NLP）的分类任务中，文本分类或者句子分类也能表现比较好的效果，甚至达到state of art效果。另外如果借助于预训练的词向量、字向量或者
2016-11-20 11:23:01
6056
原创 【每周一文】Convolutional Neural Networks And Application for NLP
概述 卷积神经网络的提出主要是应用于图像识别，由于其效果比较显著逐渐扩展到语音识别和自然语言处理等领域。本文主要介绍 1. 卷积的概念 2. 卷积神经网络 3. 卷积神经网络在NLP中的应用 4. 总结卷积一维（1D）卷积根据维基百科上的定义，一维卷积定义如下：f(x)∗g(x)=∫∞−∞f(τ)g(x−τ)dτ f(x)*g(x)=\int_{-
2016-11-20 11:21:43
1471
原创 【每周一文】A Primer On Neural Network Models for NLP
概述 该文概要介绍了一些神经网络模型如何应用到NLP相关的任务上，对于想使用神经网络技术来解决NLP相关任务的初学者非常有帮助，可以当做一个综述文章来读。主要介绍以下几个主要知识点： 1. 神经网络问题建模和求解 2. NLP问题建模 3. NLP中应用的神经网络结构 4. 总结神经网络问题建模用机器学习模型解决实际问题时，需要解决三个主要问题输入输出
2016-11-20 11:20:18
1799
原创 【每周一文】Field-aware Factorization Machine（2014）
概述 FFM 近年来在各类比赛取得不俗的成绩，该文介绍了FFM的算法思路和求解过程。FFM模型线性模型由于其简单好优化在工业界广泛使用，特别是LR、SVM等表达能力比较强的线性模型。这些模型一个共同的问题是需要人工进行特征组合进行模型优化，沿着这个思路出现了几个模型。线性模型基础模型，表示为： Φ(w,x)=w0+∑i=1nwixi\Phi(w,x)=w_0+\sum_
2016-04-12 22:58:36
3788
1
原创 【每周一文】Ad Click Prediction: a View from the Trenches(2013)
概述该文是GoogleFTRL在点击率模型上的应用，从技术实现的角度介绍了在线学习算法FTRL的工程实现，并且给出一些内存优化、特征选择等工程细节。从此FTRL算法才大规模推广使用。 该笔记主要介绍一下几类在线学习算法的思路以及FTRL实现细节以及工程上技巧。问题点击率预估问题（CTR）是计算广告中非常重要的模块，预估一个用户对广告的点击概率，从而提升广告效果。 LR模型时CTR问
2016-04-12 22:57:58
7430
原创 【每周一文】Learning Classifiers from Only Positive and Unlabeled Data（2008）
概述本文也是用于求解PULearning问题，并且提出在样本满足一定分布情况下，根据正样本和未标记样本作为负样本训练出来的分类模型，预测出来的结果和该样本属于正样本的概率存在一个固定常数系数。 根据该假设提出两种模型训练思路，能够得到最好的效果。问题求解对于给定的样本数据引入第三个随机变量S表示该样本是否被标记过，则p(x,y,s)满足一定的概率分布。 变量含义x为样本特征数据
2016-04-12 22:56:35
3743
3
原创 【每周一文】Building Text Classifiers Using Positive and Unlabeled Examples(2003)
概述PULearning是一类机器学习算法，主要解决的问题是给定训练样本只有正样本和一批未标记的样本，学习一个分类器进行分类。这是一类比较难解决的问题，由于没有负样本其评估的方法不好确定；但是有很多的应用场景，例如蛋白质序列查找、噪声发现等。 常用的解决思路主要分为两步： 1. 识别出一批可靠的负样本集合。 2. 根据正负样本训练多个分类器从中选择一个最优的作为最终的分类器。 该文介绍
2016-04-12 22:55:55
2040
原创 【每周一文】Clustering Users in Twitter Based on Interests(2012)
概述用户聚类在个性化推荐、市场分析等领域都很重要，特别是对千万级用户群体分析，单个用户的行为通常都是稀疏的。该文介绍了针对Twitter或者微博上的用户进行聚类，结果对于10亿级别的用户群可以聚合成400个类。 该文主要提到的思路是： 1. 根据用户阅读内容特征和社交特征，计算用户的相似度，可以用于相似度计算的特征包括推文信息、标签、关注信息以及转发特征。 2. 根据用户相似度，通过传统
2016-03-15 23:51:13
773
原创 【每周一文】Googles News Personalization：Scalable Online Collaborative Filtering（2007）
概述最近因工作需要调研一下对大规模数据如何进行有效用户聚类，发现google之前论文做过相关事情。 该文从工程实现角度介绍了一种通用的在线推荐架构，可以适用于大规模数据和实时推荐。该文提到模型通过三种方式进行推荐1）MinHash 聚类2）PLSI 3）共现问题问题：根据用户对页面的点击历史进行个性化推荐。 和Netfix电影推荐的主要不同是 1）用户点击行为噪声比较多
2016-03-15 23:50:13
1476
1
原创 【每周一文】Factorization Meets the Neighborhood：a Multifaceted Collaborative Filtering Model
概述 在推荐系统中，协同过滤（CF：Collaborative Filtering）算法由于其领域无关性以及比较好的推荐效果被广泛使用； CF模型比较常用的包括最近邻方法和因子分解算法，由于这两种算法各有优缺点；该文提出了一种策略将这两种方法进行综合建模，并且可以适用于隐式反馈数据。已有模型最近邻方法CF常用的有user_based和item_based两个模型，后
2016-03-15 23:48:36
4392
原创 【每周一文】Collaborative Filtering for Implicit Feedback Datasets(2008)
概述 协同过滤(Collaborative Filtering)是推荐领域非常重要的算法策略，由于它的领域无关性，应用非常广泛。本文解决的一个问题是：在训练数据集合中，只有用户的隐式反馈，例如用户的浏览行为、收藏行为等，没有用户直接打分行为；即只有用户偏好行为，对于用户不喜欢的商品没有数据支持；基于以上数据本文提出一种隐式因子模型(Factor Model)解决该问题，并给出优化求解。
2016-03-15 23:46:43
4504
原创 【每周一文】Factorization Machines
概述 在使用线性模型，例如LR模型时，特征工程是很大一块工作，有时为了产生较好的效果需要人工进行一些特征的二维或者三维交叉。FM（Factorization machines）提供了一种思路可以自动进行特征交叉，同时能够处理非常稀疏数据，线性时间复杂度，计算简单。 由于FM实现简单效果非常好，而且应用范围非常广，FM是近期非常火的技术，在比赛或者大公司都非常常见。FMF
2016-02-16 23:48:45
2295
原创 【每周一文】Supervised Sequence Labelling with Recurrent Neural Networks
概述 序列化标注是NLP领域非常常见的问题，很多问题都可以归结为序列化标注问题，例如分类可以看做多对一的标注；词性标注属于一对一的标注；机器翻译属于多对多的标注。 深度学习在NLP上取得不错的效果，常用的模型有前向神经网络（FNN）、卷积神经网络（CNN）、循环神经网络（RNN、BIRNN）、LSTM、关注度模型（AM）等，对于特定任务还有相关变形 本文主要科普下各个模型的结构
2016-02-16 23:47:55
5814
原创 【每周一文】Natural Language Processing (almost) From Scratch
概述本文介绍了一个统一的神经网络架构用于解决自然语言处理各种的各种任务，主要是序列标注任务，包括词性标注（POS）、词语组块分析（Chunking）、命名实体识别（NER）以及语义角色标注（SRL）等。本文主要介绍如何构建这个统一的神经网络以及如何运用一些技巧去提高效果，结论是不需要特殊构建特征工程就可以得到State-of-art结果。统一标识为方面后续介绍，提前介绍各类标识。
2016-02-16 23:46:43
5835
1
原创 【每周一文】A Few Usefull Things to know about Machine Learning
概述机器学习被普遍认为任何一个IT民工必备的工具之一，和学习任何语言工具一样，简单的体验一下或许非常简单。但这并不代表你能真正驾驭它，如果想深入不是一年两年能搞得定事情，本文作者总结了对于刚入门机器学习者需要注意一些事项。什么是学习机器学习包括无监督、半监督、监督、强化学习等，但是对于很多初入门的MLer可能就是监督学习，即给定训练样本和标签，学习出某个模型进行新样本预测。学习
2016-02-16 23:45:27
634
原创 MAC 上配置 SecureCRT快捷键
概述 在Windows系统是经常使用SecureCRT进行远程服务连接，切换到mac上，虽然也破解版的SecureCRT，但是一些快捷键和windows系统差很多。本文主要介绍如何配置SecureCRT和之前使用方式相同。配置详情Mac上如何安装SecureCRT，可以自行搜索，网上一大堆。下面以如何配置切换tab（标签）保证和Windows系统下使用方式一样。打开SecureCRT，菜单栏
2016-02-15 23:29:05
6024
原创 数值优化（Numerical Optimization）学习系列-序列二次规划和内点法（SQP、Interior-Point）
概述 对于非线性约束最优化问题，序列二次规划和内点法是两类非常重要的算法，也是大规模问题的利器。序列二次规划方法将原始问题分解为一系列二次规划问题逐步求解；内点法将将约束添加到目标函数中转换为一系列无约束问题逐步求解。两类算法共同思想将原始问题转换为可求解问题。 1. 序列二次规划概述 2. 内点法概述 3.总结序列二次规划(SQP)概述序列二次规划(Seque
2015-12-27 18:57:33
47275
2
原创 数值优化（Numerical Optimization）学习系列-惩罚和增广拉格朗日方法（Augmented Lagrangian Methods）
概述 求解带约束的最优化问题，一类很重要的方法就是将约束添加到目标函数中，从而转换为一系列子问题进行求解，最终逼近最优解。关键问题是如何将约束进行转换。本节主要介绍 1. 二次惩罚方法 2. 非平滑惩罚方法 3. 增广拉格朗日方法二次惩罚方法动机带约束问题如果转换为目标函数加上一个对约束的惩罚项，则问题转换为一个无约束问题。 转换后的问题可以通过惩罚项的系
2015-12-27 18:56:54
23153
3
原创 数值优化（Numerical Optimization）学习系列-二次规划（Quadratic Programming）
概述 二次规划问题是目标函数是二次的，并且约束是线性的问题。在非线性约束最优化问题中非常重要，通常作为其他问题的子步骤存在。 1.二次规划问题 2.二次规划求解算法 3. 总结二次规划问题标准形式二次规划问题的标识形式如下minq(x)=12xTGx+xTcs.t.aTix=bi, i∈E aTix≥bi, i∈Imin q(x)=\frac 12x^TGx
2015-12-27 18:56:13
28109
1
原创 数值优化（Numerical Optimization）学习系列-非线性约束最优化（Nonlinear Constrained Optimization）
概述 在实际问题中不是所有的目标函数或者约束都是线性的，本节主要介绍对于非线性约束或者目标函数如何有效的求解。 1. 非线性约束问题概述 2. 求解非线性约束常用的思路 3. 总结非线性约束最优化问题基本形式表示为min f(x) s.t ci(x)=0,i∈Eci(x)≥0,i∈Imin\ f(x)\ \\ s.t\ \ c_i(x)=0, i \in
2015-12-27 18:55:43
12611
原创 数值优化（Numerical Optimization）学习系列-线性规划（Linear Programming）
概述 线性规划问题是指目标和约束函数都是线性的最简单的约束最优化问题，也是在实际中最长使用的模型之一。其求解算法也是相对成熟，各个代数软件中都会有求解该问题的工具，本节主要介绍： 1. 线性规划的基本形式已经对偶 2. 线性规划两类求解算法：单纯形和内点法 3. 总结线性规划问题标准形式线性规划的标准形式通常表示为min cTx,s.t Ax=b, x
2015-12-27 18:54:46
8667
原创 数值优化（Numerical Optimization）学习系列-带约束最优化（Constrained Optimization）
概述 带约束的最优化问题是区别于无约束最优化问题的，另外一大类最优化问题。在实际中也经常遇到，本节主要介绍了带约束最优化问题的相关理论以及最优解满足的必要条件。 1. 带约束最优化问题概述 2. 带约束最优化问题解的必要条件示例 3. 最优解满足的一阶和二阶必要条件 4. 对偶 5. 总结带约束最优化问题数学形式为min f(x)st. ci(x
2015-12-27 18:53:46
13354
4
原创 数值优化（Numerical Optimization）学习系列-非线性方程（Nonlinear Equation）
概述 实际中很多应用不是寻找最优解，而是寻找一个根满足给定的约束条件，如果有n个非线性等式约束，就是本节介绍的非线性方程问题，本节主要介绍 1. 非线性方程的问题形式 2. 非线性方程的求解算法 3. 总结非线性方程的问题形式问题形式，寻找满足n个非线性等式的根，即r(x)=0r(x) = 0 其中r(x)=[r1(x),...rn(x)]Tr(x)=[r
2015-12-27 18:52:46
4719
原创 数值优化（Numerical Optimization）学习系列-最小二乘问题（Least-Squares）
概述最小二乘问题在实际应用中非常广泛，也是无约束最优化问题的重要应用之一，但是对于该问题还有一些特殊的求解思路，供参考。该小结主要介绍： 问题定义 线性最小二乘问题以及求解 非线性最小二乘问题以及求解 总结 最小二乘问题描述最小二乘问题泛指具有如下形式的问题minf(x)=12∑j=1...mr2j(x)min f(x)=\frac12 \su
2015-12-27 18:52:09
13591
原创 数值优化（Numerical Optimization）学习系列-无梯度优化（Derivative-Free Optimization）
概述 在实际应用中，有些目标函数的梯度不容易计算，即使使用有限差分等近似算法，也会因为噪声的存在导致结果不精确。无梯度优化算法（DFO-Derivative-Free Optimization）可以在不计算梯度的情况下进行问题的最优化，主要有两类思路，一是根据目标函数的样本进行拟合，对拟合函数进行最优化；二是用一些启发式算法。 1. 有限差分和误差 2. 基于模型近似的方法
2015-12-27 18:51:19
12088
原创 数值优化（Numerical Optimization）学习系列-计算导数（Calculating Derivatives）
概述 最优化问题中很多算法，包括非线性最优化、非线性等式等都需要计算导数。简单函数可以直接进行人工计算或者编码实现，对于复杂的情况，需要寻找一些方法进行计算或者近似。本节主要内容包括 1. 常见导数求解方法 2. 有限差分方法 3. 自动微分方法 4. 总结常见导数求解方法有限差分方法（Finite Differencing）根据导数的定义，导数表
2015-12-27 18:50:22
4933
原创 数值优化（Numerical Optimization）学习系列-大规模无约束最优化（Large-Scale Unconstrained Optimization）
概述 当最优化问题参数个数增加，求解问题所需要的时间和空间复杂度会增加。计算时间和空间是一个权衡，只需要存储一阶梯度时，时间复杂度可能为超线性；如果利用Hessian矩阵可以达到二次收敛，但是需要o(n2)o(n^2)的空间复杂度。 另外对于拟牛顿算法所得到的Hessian矩阵式稠密的，不能利用到稀疏矩阵的一些性质。针对以上问题本小节给出求解大规模无约束最优化问题的一些思路，主要内容
2015-12-27 18:49:36
4713
2
原创 数值优化（Numerical Optimization）学习系列-拟牛顿方法（Quasi-Newton）
概述 拟牛顿方法类似于最速下降法，在每一步迭代过程中仅仅利用梯度信息，但是通过度量梯度之间的变化，能够产生超线性的收敛效果。本节主要学习一下知识点： 1. 拟牛顿方程推导 2. 几个常见的拟牛顿方法 3. 拟牛顿方法的收敛性拟牛顿方程拟牛顿方法既有线搜索的影子也有牛顿方法的思想，下面从两个角度分别介绍拟牛顿方程，即在拟牛顿方法中要遵循的一个原则。线搜索
2015-12-27 18:48:32
13203
2
原创 数值优化（Numerical Optimization）学习系列-共轭梯度方法（Conjugate Gradient）
概述 共轭梯度算法在最优化问题中备受关注，有两层用途，一是可以求解线性方程Ax=bAx = b；二是可以求解最优化问题。相对于最速下降法，它没有额外的矩阵存储并且比更快，一般N步内收敛。实际收敛效率依赖于系数矩阵特征值的分布。主要介绍一下内容： 1. 线性共轭梯度算法 2. 共轭方向算法 3. 共轭梯度算法 4. 收敛性 5. 非线性共轭梯度算法线性共轭梯度算法
2015-12-27 18:46:50
14852
4
Eclipse3.5，升级添加BPEL Designer插件l时需要的两个包
2010-06-29
BPEL学习实例，Apache-ODE，Eclipse-BPEL
2010-06-29
rabin-hash-function(rabin的随机多项式摘要算法)
2010-06-18
httpclient需要的jar包，合订版（httclient.jar,commons-codec,commons-logging）
2010-05-11
Heritrix，Mohr-et-al-2004.pdf，其作者谈其优劣
2010-03-31
HtmlAdaptorServer所需要的JAR包（com.sun.jdmk.comm.HtmlAdaptorServer）
2010-03-23
OA系统的毕业设计的毕业论文
2009-02-22
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人