- 博客(11)
- 收藏
- 关注
RSS订阅转载 从神经网络视角看均方误差与交叉熵作为损失函数时的共同点
缩写:NN: neural network, 神经网络MSE: Mean Squared Error, 均方误差CEE: Cross Entropy Error, 交叉熵误差.(此缩写不是一个conventional缩写)标记符号:netnet或netineti, 净输出值, net=wTxnet=wTxaa或aiai, 神经元的激活函数输出值: a=f(net)a
2016-11-28 20:58:06
1568
转载 最小二乘和最大似然
输入一组向量xx=[x1,x2,...,xd], 用线性模型预测输出变量y。y^=wwTxx(1)其中ww是权重, 是线性模型的参数。在这里，我们已经将输入向量扩增为增广向量xx=[x1,x2,...,xd,1], 最后的1所对应的权重为截距。这种做法方便后续处理。我们有一批样本(xx1,y1),(xx2,y2),...,(xxn,yn)。n个样本可以叠加起来，
2016-11-28 16:23:01
532
原创 局部加权线性回归
通常情况下的线性拟合不能很好地预测所有的值，因为它容易导致欠拟合（under fitting），比如数据集是一个钟形的曲线。而多项式拟合能拟合所有数据，但是在预测新样本的时候又会变得很糟糕，因为它导致数据的过拟合（overfitting），不符合数据真实的模型。 今天来讲一种非参数学习方法，叫做局部加权回归（LWR）。为什么局部加权回归叫做非参数学习方法呢？ 首
2016-11-26 16:06:16
893
原创 Java字符串拼接方式性能比较
由于String对象时不可变对象，因此在需要对字符串进行修改操作时（如字符串连接和替换），String对象总是会生成新的对象，所以其性能相对较差。String常量的累加操作：对于静态字符串的连接操作，Java在编译时会进行彻底的优化，将多个连接操作的字符串在编译时合成一个单独的长字符串。String变量的累加操作：底层使用了StringBuilder的功能。String
2016-11-03 13:49:03
535
转载 向量化与正则化
向量化VectorizationVectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。如上式，Σ(...)是一个求和的过程，显然需要一个for语句循环m次，所以根本没有完全的实现vectorization。下面介绍向量化的过程：约定训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同的特称取值：
2016-10-18 17:40:44
3238
转载 逻辑回归公式推导过程
1 逻辑回归模型 回归是一种极易理解的模型，就相当于y=f(x)，表明自变量x与因变量y的关系。最常见问题有如医生治病时的望、闻、问、切，之后判定病人是否生病或生了什么病，其中的望闻问切就是获取自变量x，即特征数据，判断是否生病就相当于获取因变量y，即预测分类。 最简单的回归是线性回归，在此借用Andrew NG的讲义，有如图1.a所示，X为数据点——肿瘤的大小，Y为观
2016-10-18 17:34:57
15063
转载 CRF参数求解过程
前言： 本次实验主要任务是学习CRF模型的参数，实验例子和PGM练习3中的一样，用CRF模型来预测多张图片所组成的单词，我们知道在graph model的推理中，使用较多的是factor，而在graph model参数的学习中，则使用较多的是指数线性模型，本实验的CRF使用的是log-linear模型，实验内容请参考 coursera课程：Probabilistic Graphica
2016-10-18 17:16:41
14091
转载 隐马尔科夫模型详解
隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。 考虑下面交通灯的
2016-10-18 16:16:36
3282
转载 word2Vec浅析
word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。一、理论概述（主要来源于http://licstar.net/archives/328这篇博客）1.词向量是什么自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。 NLP
2016-09-18 17:03:38
547
转载 tensorflow原理
要点 使用 TensorFlow, 你必须明白 TensorFlow:使用图 (graph) 来表示计算任务.在被称之为 会话 (Session) 的上下文 (context) 中执行图.使用 tensor 表示数据.通过 变量 (Variable) 维护状态.使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据.
2016-09-13 20:11:36
7362
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人