QQQiZZZ-CSDN博客

原创 MLAPP————第十四章核方法

第十四章核方法14.1 简介到目前为止，我们书上提到的各种方法，包括分类，聚类或者是其它的一些处理手段，我们的特征都是固定大小的一个向量，一般具有如下的形式，。然而，对于某些类型的对象，如何最好地将其表示为固定大小的特征向量尚不清楚。例如，我们如何表示长度可变的文本文档或蛋白质序列?或者分子结构，具有复杂的三维几何?或者是进化树，它的大小和形状都是可变的。解决这类问题的一种方法是为数...

2019-11-25 20:05:46 3366 3

原创 MLAPP————第十三章稀疏线性模型

第十三章稀疏线性模型13.1 简介关于特征选择这个话题，其实我们在3.5.4中曾提到过，在那个方法中，我们会选择输入变量和输出的互信息很高的那些变量。这种方法的问题在于目光短浅，每次只关注一个变量。但是如果我们的变量相互之间是有联系的就不行了，比如说，如果，无论是或者是都和结果的关系不是很大，但是异或的结果却和输出是一致的。在本章中，我们将着重于使用基于模型的方法一次性的选择一组变量...

2019-01-08 10:14:56 8555 4

原创 MLAPP————第十二章隐线性模型

第十二章隐线性模型12.1 要素分析（factor analysis）在我们之前提到的混合模型中，数据的生成都是由某个隐状态控制的，然后是那个隐状态控制的分布生成的，但是这样的模型在表示上还是具有一定的局限性，不够完整。一个可行的方法是引入实值的隐变量，最简单的先验就是使用高斯的（当然后面也会考虑其它的情况）：，如果我们观测到的数据也是连续的话，即：，那么我们可以假设似然为：...

2018-12-25 23:00:17 1686

原创 MLAPP————第十一章混合模型和EM算法

第十一章混合模型和EM算法11.1 隐变量模型在第十章中，我们展示了如何用一个概率图模型去表示一个高维的联合概率分布。基本思想是通过在图中添加两个变量之间的边来建立两个变量之间的依赖关系。另一种方法假设我们的观察到的变量是相关的，就是假设它们都受到某个隐藏的变量影响。这样的模型我们就叫做潜在变量模型(latent variable models, LVMs)，我觉得在这里要说明一下，...

2018-12-17 22:43:21 3969

原创 MLAPP————第十章有向图模型（贝叶斯网）

第十章有向图模型（贝叶斯网）10.1 简介我基本上知道用简单的方法处理复杂系统的两个原则:第一个是模块化原则，第二个是抽象原则。我是机器学习中计算概率的辩护者，因为我相信概率论以深刻而有趣的方式实现了这两个原则。在我看来，尽可能充分地利用这两种机制似乎是机器学习的前进方向。假设我们观察到很多相关的变量，比如一个文章中的单词，一幅图上的像素点或者是微阵列中的基因。那么我们怎么样才能简洁...

2018-11-27 11:57:07 5872

原创 MLAPP————第九章广义线性模型和指数家族

第九章广义线性模型和指数家族9.1 简介我们现在已经遇到了许多不同的概率分布，如：高斯分布，伯努利分布，学生t分布，均匀分布，gamma分布等。其实在这些分布里面，有很多的分布其实是属于一个分布家族，这个家族就叫做指数家族（exponential family）。在这一章节中，我们主要就是讨论指数家族分布的一些性质。9.2 指数家族在我们进行正式的定义指数家族之前，我们先说明一下...

2018-11-23 15:15:49 1692

原创 MLAPP————第六章频率派统计

第六章频率派统计6.1 简介在第五章我们讨论的贝叶斯统计的这套方法，在一些非统计学问题中，比如医疗诊断，垃圾邮件过滤，飞机追踪等问题上，大家都是用贝叶斯的这一套去做。但是在很多统计学问题上，却存在一些争议，主要有一部分认为不应该用随机变量来刻画统计模型里面的参数。那么统计学派的这些人，他们就希望能够找到一些统计的方法，而不是将参数设置为随机变量，用贝叶斯那一套去做。这样的方法被称作频...

2018-11-21 22:56:09 1738 1

原创 MLAPP————第八章 Logistic 回归

第八章 Logistic回归8.1 简介在这一章我们是介绍了用判别模型来进行分类问题的求解，而不是进行用生成模型。8.2 模型的描述正如我们在1.4.6讨论的，逻辑回归对应于以下的二分类模型：，下图给出了在2维情况下的对于不同的的这样的图：其实如果我们认定等于0，即等于0.5作为分类的界的话，那么分类的那条线就是与垂直的那条线。8.3 模型拟合在这一小节中，我么讨论...

2018-10-11 14:09:10 2103

原创 MLAPP————第七章线性回归

第七章线性回归模型7.1 简介线性回归模型可以说是统计和监督学习里面非常重要的一块内容了。并且当我们考虑到核方法或者说是我们改变基函数的形式（拓展），该模型也可以用来拟合非线性的关系。并且虽然在线性回归模型中我们输出的是连续的变量，但是我们可以通过一些限制条件变成能够进行分类的。下面我们就来详细的学习线性回归模型。7.2 模型设定如在1.4.5中提到二点那样，线性回归模型具...

2018-08-31 13:08:16 1314 1

原创 MLAPP————第五章贝叶斯统计

第五章贝叶斯统计5.1 简介前面我们已经介绍了很多不同的概率分布，以及如果将这些概率分布与我们的数据进行结合。我们考虑了各种各样的先验，我们学习了MAP去估计参数，从而去判别新的样本，我们学会了用后验的概率分布去进行估计。使用后验分布去总结未知变量是贝叶斯统计的核心，我们这一章将讨论更多的细节。下一章我们将分析频率派统计或者叫经典统计。5.2 后验分布的总结对于一个变量来说，如果...

2018-08-22 16:26:03 3565 1

原创 MLAPP————第四章高斯模型

第四章高斯模型4.1 介绍本章主要开始介绍多变量的高斯模型或者叫做多变量的正态模型(MVN)，在整本书中，可以说这个模型是非常常见的。这一章的数学的要求是比较高的，涉及到很多的线性代数和矩阵运算。我会尽量把我会的一些计算过程详细的写出来，因为书中有些计算过程可能作者看上去比较的简单，但是我们看的时候还是会比较吃力。4.1.1 符号符号这里就不翻译了。都是很常规的，与平时见到...

2018-08-11 22:32:49 2612 4

原创 MLAPP————第三章离散数据的生成模型

第三章离散数据的生成模型3.1 介绍在2.2.3.2中，讨论了通过生成分类器对特征进行分类，利用如下公式：，利用这个模型的关键就是对于每个类别指定一个合适的条件概率密度函数，这一章我们主要考虑的数据是具有离散的特征，同时我们也会考虑如何去推断模型的参数。3.2 贝叶斯概念学习概念学习，举个例子，一个小孩是如何学习狗这个概念的呢，一般在遇到狗时，家长会对小孩说，这是狗，所以都是从正...

2018-07-30 11:10:16 2866 3

原创 MLAPP————第二章概率论基础

说明这篇博客主要是介绍概率论还有信息论的一些预备知识。主要以翻译为主，很多地方的结论也都是根据书上直接得到的，没有给出具体的求解过程。第二章概率2.1 介绍在进行更加技术性的内容之前，先不妨想一下什么是“概率”？我们经常会说：丢一枚硬币，正面朝上的概率是0.5。这句话的意思是什么。有两种不同的观点，一个是频率派的观点，他们认为概率就是你重复做一件事N次，如果事件发生了m次，那么概...

2018-07-26 10:57:20 5283 1

原创 MLAPP————第一章简介

个人说明：本人是机器学习方向的小白一个，虽然多次暗下决心想要认真看完例如PRML，MLAPP这两本书，却都坚持不下去，往往都是看完前几章就顿感力不从心，每次遇到问题解决不了就会搁置。至今在机器学习方面都是零零散散的学，西瓜书，李航的统计学习方法，也都并没有看完。所以主要想通过此博客来勉励促进自己，希望自己能够一步一个脚印坚持走下去，不想半途而废。当然如果该博客能够给他人带来哪怕一丝丝的帮...

2018-07-18 23:08:50 10606 2

marmove的博客