八月夏凉-CSDN博客

原创统计学习方法第五章笔记——决策树

本章主要介绍了三种决策树：ID3，C4.5，CART。并介绍了它们各自的剪枝方法。5.1 决策树模型与学习　　决策树模型是一个树模型，其内部节点代表一个特征，内部节点的子节点表示按这个特征将一条记录划分到不同子集中去。其叶子节点表示了一个类，即分类或回归的结果。样本输入决策树后按照根节点给出的划分方式划分到子节点中，再按子节点给出的划分方式划分到子节点的子节点中，直到到达叶子节点，并将叶子节点的分数

2017-03-18 14:04:49 728

原创 PRML读书笔记(2)——Probability Distribution

2 Probability Distributions\qquad本章主要介绍了机器学习中常用的一些分布，以及分布的性质，包括：二元变量分布、多元变量分布、高斯分布、指数族以及非参方法(核密度方法以及最近邻方法)。2.1 伯努利分布\qquad设二元变量x∈0,1x∈{0,1}服从伯努利分布，则有伯努利分布： Bern[x|u]=ux(1−u)1−xBern[x|u]=u^x(1-u)^{1-x}

2016-10-14 17:18:24 972 1

原创 PRML读书笔记(1)——introduction

\qquad1.1主要是简介机器学习与模式识别，1.2.1-1.2.4是概率论相关基础，不是本书重点，掌握即可，因此略过不总结。之后的章节主要内容有：线性回归的重新审视，模型选择，维度灾难，决策理论基础以及信息论基础。以下分别作出总结。1.1 线性回归的重新审视\qquad假设数据服从均值为y(x,w)y(x,w)，方差为ββ的高斯分布，那么我们可以写出如下的概率公式： p(t│w,x,β)=N(

2016-09-15 17:48:34 684

原创凸优化学习笔记(3)——优化问题

笔记是根据《Convex Optimization》写的，序号对应章。4 凸优化问题4.1 优化问题的基本形式 minimize　f0(x)subject　to　fi(x)≤0,　i=1,…,mhi(x)=0,　i=1,…,p\begin{eqnarray*}&&minimize　f_0 (x) \\&&subject　to　f_i (x)≤0,　i=1,…,m \\&&h_i (x)=0,

2016-07-14 10:17:21 4824

原创凸优化学习笔记(2)——凸函数

笔记是根据《Convex Optimization》写的，序号对应章。3 凸函数3.1 基本性质及例子　　满足如下条件的从n维映射到1维的函数称凸函数： f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)f(θx+(1-θ)y)≤θf(x)+(1-θ)f(y) 其中0≤θ≤10≤θ≤1。凸函数的一维导数有如下性质： f(y)≥f(x)+∇f(x)T(y−x)f(y)≥f(x)+∇f(

2016-07-11 10:55:19 8991 1

原创凸优化学习笔记(1)——凸集

2 凸集2.1 凸集(convex sets) 　　如果在集合CC中的任意两点满足： θx1+(1−θ)x2∈Cθx_1+(1-θ)x_2∈C 其中0≤θ≤10≤θ≤1，则集合CC为凸集 2.2 重要例子 1) 超平面与半空间(hyperplanes and halfspaces) 　　超平面定义为{x|aTx=b}\{x|a^T x=b\}，半空间被定义为{x|aTx≤b}\{x|a^

2016-07-09 15:49:03 6626 3

原创 coursera机器学习技法笔记(15)——Matrix Factorization

15 Matrix Factorization15.1 Linear Network Hypothesis　　将类别数据转换成向量数据，然后以每个样本的向量数据作为输入，评分数据作为输出，利用3层神经网络进行特征萃取。　　由于向量特征数据大量稀疏，因此中间层的tanhtanh函数并不会起什么作用，可以直接换成线性模型，即Linear Network。　　将第1/21/2层网络的权重设为VTV

2016-05-06 18:10:35 1668

原创 coursera机器学习技法笔记(13-14)——deep learning & RBFNetwork

13 Deep Learning13.1 Deep Neural Network　　将神经网络的层数增大，即称为深度学习。深度学习一般在输入数据为row data的时候使用，因为这些数据很难人为构造出合适的特征。深度学习一般面临如下挑战：　　(1)神经网络结构的决定：一般只能通过人的主观领域知识来决定神经网络结构，例如图像识别中的convolutional NNet，即认为相邻的像素才有必要连接

2016-05-06 18:07:13 1177

原创 coursera机器学习技法笔记(12)——Neural Network

12 Neural Network12.1 Motivation　　在神经网络的节点上使用感知机，那我们可以把神经网络看作是通过不同感知机以及常数的线性组合得到一个新的特征，将新的特征加上一个常数再进行线性组合得到结果。其原理和aggregation类似，但是在神经网络中进行了多层级的aggregation。　　从生物的角度来说神经网络模拟了人脑神经网络。12.2 Neural Network

2016-05-06 17:04:38 1093

原创 coursera机器学习技法笔记(9-11)——decision tree & Random forest & GBDT

9 Decision Tree9.1 Decision Tree Hypothesis　　本节主要讲述了决策树的两种解释，一种是决策树是由叶子节点和路径组成的，当选择叶子节点对应的路径时采用对应的叶子节点结果；另一种观点是由分叉的树递归组成，当选择某一分支时将采用分支对应的子树的演算法结果。　　决策树的优点在于可解释性强，高效。缺点是理论保证不足，并且算法多样。9.2 Decision Tree

2016-05-06 16:35:19 1445

原创 coursera机器学习技法笔记(7-8)——blending and bagging & Adaptive Boosting

7 Blending and Bagging7.1 Motivation of Affregation　　之前都是通过特征转换达到更好的分类目的，而有另一种思路就是将多个模型的分数线性组合起来以期得到更好的效果。它们的权重应为x的函数，这样能包含投票、取最大等多种情况。7.2 Uniform Blending　　本节从理论上探讨了blend的可行性： G(x)=1T∑Tt=1gt(x)G(x)=\

2016-05-06 16:11:52 1729 1

原创 coursera机器学习技法笔记(5-6)——将核方法应用于回归

5 Kernel Logistic Regression5.1 Soft-Margin SVM as Regularize Model　　本节主要从正则化模型的观点来讲解Soft-SVM。首先看一下Soft-SVM的模型： minw,b,ε12wTw+C∑Nn=1εnmin_{w,b,ε}\frac{1}{2} w^T w+C∑_{n=1}^Nε_n s.t.∀ynwTxn+b≤1−εns.t.∀

2016-04-16 19:19:30 877

原创 coursera机器学习技法笔记(1-4)——Support Vector Machine

1 Linear Support Vector Machine1.1 Coursera Introduction　　本门课程主要内容是围绕特征转换进行的，并包括三种主要的思想：　　(1)怎样使用数字的特征并控制其复杂度：该角度启发了SVM模型。　　(2)怎样构建并混合使用具有预测能力的特征：启发了adaboost模型。　　(3)发现并利用潜在的特征：启发了Deep Learning模型。

2016-04-03 17:05:52 1204 1

原创台大机器学习笔记(12-16)——Nonlinear Transformation&Tips

12 Nonlinear Transformation12.1 Quadratic Hypothesis　　本节介绍了在线性分类器的基础上构造非线性分类器。方法是将原特征的高次作为新的特征加入特征空间，例如原特征有x1x_1与x2x_2两个特征，则可以新加入x21x_1^2、x22x_2^2以及x1x2x_1 x_2作为新特征。以二维平面为例，其原理是在平面上构造一个多项式图形，图形的一边是正例，另

2016-03-31 20:53:19 532

原创台大机器学习笔记(10-11)——Linear Models for Classification&Stochastic Gradient Descent

11 Linear Models for Classification11.1 Linear Models for Binary Classification　　本节探讨了线性回归与对数回归解决分类问题的可能性。证明的方法是将PLA、线性回归与对数回归的损失函数作一些变化，使之能表现为yx为自变量的损失函数二维图像。其中，PLA的损失函数图像为yx小于0时值为1，大于0时值为0的折线；线性回归的平方

2016-03-30 18:56:37 450

原创台大机器学习笔记(9-10)——Linear Regression&Logistic Regression

9 Linear Regression　　本节的线性回归用的是最小二乘法直接求最优解而不是通过梯度下降求解。公式如下： L(w)=||wX−Y||2=||wTXTXw−2wTXTY−YY2||L(w)=||wX-Y||^2=||w^T X^T Xw-2w^T X^T Y-YY^2 || 　　对ww进行求导并使求导结果为0： XTXw−2XTY=0X^T Xw-2X^T Y=0w=(XTX)−1

2016-03-30 17:08:58 307

原创台大机器学习笔记(8)——Error Measure

8.1 Noise and Probabilistic Target　　当存在噪声数据时，由于所得到的结果未必是真实的结果，因此模型不再是确定性函数h(x)h(x)，而是概率分布p(y|x)p(y|x)，损失函数也变成了y p(y│x)y~p(y│x)下y≠f(x)y≠f(x)。可以认为p(y|x)p(y|x)给预测结果带来的不确定性是由噪声数据造成的。同时，过去的确定性函数h(x)h(x)可以看做

2016-03-30 17:03:22 681

原创台大机器学习笔记(7)——The VC Dimension

7.1 Definition of VC Dimension　　本节给之前的break point一个正式的名字。设假设集H的break point为kk，则VC Dimension为k−1k-1，即dvc=k−1d_{vc}=k-1。它代表的意义在于，mH(N)≤Ndvcm_H(N)≤N^{d_{vc}}，即在mH(N)m_H (N)难以得到的情况下，我们用NdvcN^{d_{vc}}来设置其上界

2016-03-27 09:24:59 490

原创台大机器学习笔记(3-6)——机器学习的类型及机器学习有效性证明

3 Types of Learning3.1 Learning with Different Output Space　　(1)二值分类问题：输入空间是一个特征向量，输出空间只有2个值。　　(2)多分类问题：输入空间是一个特征向量，输出空间是一个有限的离散的空间。　　(3)回归问题：输入是一个特征向量，输出空间是一个实数集。　　(4)结构学习：输出是一个结构，例如输入一个句子，标注词性。

2016-03-26 10:36:52 871

原创统计学习方法第四章笔记——朴素贝叶斯

4.1 模型介绍　　模型的输入空间为χ∈Rnχ∈R^n的nn维向量，输出空间为类标记集合y={c1,c2,…ck}y=\{c_1,c_2,…c_k\}，XX是定义在χχ上的随机变量，YY是定义在yy上的随机变量，P(X,Y)P(X,Y)是XX和YY的联合分布，训练数据集T={(x1,y1),(x2,y2),…(xn,yn)}T=\{(x_1,y_1 ),(x_2,y_2 ),…(x_n,y_n)\}

2016-02-29 23:40:35 1240

原创概率图模型笔记(9-10)——Inference-Belief Propagation

9 Inference-Belief Propagation part19.1 Belief Propagation9.1.1 聚类图(Cluster Graphs) 　　聚类图即这样的一个无向图：节点是团Ci⊆X1,…,XnC_i⊆{X_1,…,X_n}，其中XiX_i是第ii个变量；节点CiC_i和CjC_j之间的边代表子集S(i,j)⊆Ci∩CjS_{(i,j)}⊆C_i∩C_j范围内两节点

2016-02-25 00:13:45 2092

原创概率图模型笔记(8)——Inference Variable Elimination

8.1 Overview-Conditional Probability Queries8.1.1 Conditional Probability Queries 　　定义如下三个内容: 　　(1)证据：E=eE=e 　　(2)问题：变量集YY 　　(3)任务：计算P(Y|E=e)P(Y|E=e) 8.1.2 和-积　　除了问题变量所在的因子，在每个因子上轮流取不同的值并将各个因子做乘

2016-02-02 16:57:47 4195

原创统计学习方法第三章笔记——k近邻法

3.1 kk近邻算法　　K近邻算法即是对与每一个需要分类的新实例，找出数据集中与它最相似的k个实例，并选取占大多数的分类作为新实例的分类。3.2 kk邻近模型　　其模型主要由3个部分组成：距离的度量、kk值的选择以及分类决策规则的制定。kk邻近的模型可以对应于特征空间的划分。如果kk等于1，则该算法即最邻近算法。　　(1)距离度量：一般选择实例特征的范数。　　(2)kk值的选择：如果kk值小

2016-01-27 21:46:09 418

原创统计学习方法第二章笔记——感知机

2.1 感知机模型感知器就是一个二类分类的线性分类模型，输入空间是实数特征向量，输出参数是{-1,+1}的二元结果集，从输入空间到输出空间的函数如下： f(x)=sign(wTx+b)f(x)=sign(w^T x+b) sign是符号函数，如果输入为正返回1，输入为负返回-1。感知机的几何解释是该函数是空间中的一个将正例与负例分开的超平面。2.2 感知机学习策略假设数据集是线性可分的，则其学习

2016-01-26 20:51:34 589

原创概率图模型笔记(7)——Knowledge Engineering

7.1 建立模式时应注意到的区别　　(1)基于模板的VS特殊化的　　基于模板的(例如图像分割)会有较少的变量类型，并且其提取的特征对预测结果有非常大的影响。特殊化(医学识别)则会有较多的变量类型。另外，也有两者混合的模型，例如对于错误识别模型，一个模型内是特殊化类型，多个需要错误识别的主体可能会采用相同的识别模型(基于模板). 　　(2)有向的VS无向的　　(3)生成式VS判别式　　对

2016-01-25 23:39:06 619

原创概率图模型笔记(6)——Markov Network Fundamentals

6.1 Pairwise Markov Networks6.1.1 马尔科夫网络：一个节点之间的联系是无向边的网络，每一条边代表一个因子Φ(Xi,Xj)\Phi(X_i,X_j)。 6.1.2 联合分布　　如自然连接一样把两个有共同点的边按照共同点的统一属性对应的因子做乘积。 6.1.3 因子的边缘分布　　划掉其他因子，剩下因子综合起来即剩下因子的边缘分布。因子的边缘分布可能会被其他更强

2016-01-25 23:30:15 1466

原创概率图模型笔记(5)——structured CPDs

5.1 overview5.1.1 提出问题　　由于现实世界很多诸如变量太多、变量之间存在一些关系等情况，扁平化CPD表示方法行不通 5.1.2 解决模型　　有例如确定性CPDs、树结构CPDs、逻辑CPDs&一般化、含有OR/AND噪声、线性高斯&一般化5.2 Tree-Structured CPDs5.2.1 普通树形CPD 　　树形CPD指叶子节点是CPD，内部节点是变量，变量指向

2016-01-25 22:52:24 1039

原创概率图模型笔记(3)——Template Models

3.1 Overview of Template Models　　(1)在家族基因遗传中，每一个人的表现型都依赖于其基因型，而每一个人的基因型又依赖于其父母的基因型。　　(2)在图像分割中，每一个超级像素与其分类之间存在一种联系，同时与其周围的超级像素存在一种联系。　　(3)在学生示例中，对于每一个学生的课程成绩分别依赖于该学生的智力以及所选课程的难度。　　(4)动态机器人位置识别中，每

2016-01-25 22:44:32 1171 2

原创概率图模型笔记(2)——Bayesian Network Fundamentals

2.1 semantics & factorization2.1.1 CPD：conditional probability distribution.条件概率分布 2.1.2 贝叶斯网络　　一个非循环的有向图，在图中，点代表了随机变量X1,…,Xn。对于每个节点来说都是一个CPD：P(Xi|ParG(Xi)) 2.1.3 贝叶斯网络链式法则　　当我们希望得到某个概率P(D,I,G,S,L)时，只需将

2016-01-25 22:33:24 985

原创台大机器学习笔记(2)——Learning to Answer Yes/No

2.1 Perceptron Hypothesis Set　　感知机的假设空间：认为输入实例的特征向量上的每个分量都有一个权重，其加权和若高于阈值则判正例，否则判负例。该模型可变型为加权和减阈值取符号，若正判正例否则判负例，将阈值的负数作为0维权重，1作为0维特征分量，模型可写成h(x)=sign(wTx)。　　该函数的几何意义是n维空间上的超平面。特征分量越重要权值越高，否则越小或者为负。2.2 Per

2016-01-25 22:24:45 476

原创台大机器学习笔记(1)——The Learning Problem

1.2 What is Machine Learning1.2.1 什么是学习：通过观察获得一个方面的技巧或增强。机器学习即通过观察数据来得到某一方面的增强。 1.2.2 机器学习的三个关键　　(1)存在一个用以识别的模式　　(2)这个模式难以简单定义　　(3)存在数据用以学习1.3 Applications of Machine Learning　　(1)食：利用Twitter数据预测餐厅

2016-01-25 21:54:30 458

原创统计学习方法第一章笔记——统计学习方法概论

1 统计学习1.1 统计学习的基本假设假设同类数据具有一定的统计规律性，即数据具有某种共同性质。 1.2 统计学习的目的统计学习用于对数据进行预测与分析，特别是新数据的预测与分析。 1.3 统计学习的方法主要有监督学习，非监督学习，半监督学习，强化学习。本书主要讨论监督学习。 1.4 统计学习三要素：模型、策略和算法。2 监督学习2.1 基本概念在监督学习中，将输入与

2016-01-23 23:40:15 540

原创第1章统计学习方法概论

1.1 统计学习1.1.1 统计学习的基本假设假设同类数据具有一定的统计规律性，即数据具有某种共同性质。1.1.2 统计学习的目的统计学习用于对数据进行预测与分析，特别是新数据的预测与分析。1.1.3 统计学习的方法主要有监督学习，非监督学习，半监督学习，强化学习。本书主要讨论监督学习。1.1.4 统计学习三要素：模型、策略和算法。1.2 监督学习1.2.1 基本概念在监督学习中，将输入与输出

2016-01-23 23:06:10 131

翻译 An RFID-Based Tracing and Tracking System for the Fresh Vegetables Supply Chain

一、简介由于消费者对于农产品品质要求越来越高，对于公司来说有效追踪农产品的生产运输过程越来越重要。对于鲜切果蔬产品来说从农田到餐桌的监控需求就更为明显了。现在的产品从原来的注重质量转换为质量与安全并重，而追踪系统代表了捕捉、收集以及储存信息的能力，保证了公司老板以及消费者能无缝监控产品。同时，无缝追踪系统有如下好处： 1、快速准确地识别产品的污染警告

2015-09-18 22:28:02 119

原创一些检索网站

http://www.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2567518742937中国计算机协会顶级期刊会议http://scholar.wallpai.com/九尾搜学术http://citeseerx.ist.psu.eduCiteSeerXhttp://www.blyun.com/百链云

2015-09-17 20:39:47 155

转载 Random类（java.util）

Random类 (java.util) Random类中实现的随机算法是伪随机，也就是有规则的随机。在进行随机时，随机算法的起源数字称为种子数(seed)，在种子数的基础上进行一定的变换，从而产生需要的随机数字。相同种子数的Random对象，相同次数生成的随机数字是完全相同的。也就是说，两个种子数相同的Random对象，第一次生成的随机数字完全相同，第二次生成的随

2014-02-16 13:34:55 203