- 博客(81)
- 收藏
- 关注
RSS订阅
原创 书单：算法工程师的入门书籍推荐
目录0. 写在前面1. 工程实用类2. 进一步的机器学习算法类3. 更细方向计算机视觉推荐系统 / 自然语言处理4. 计算机素养5. 数学知识补充0. 写在前面本文适合于想要自学机器学习、深度学习、计算机视觉等相关基础知识的人阅读。（这一年半来，我用了大部分时间读书，这里也算给自己写个总结）关于学习，方法有两种：一种是实践先行，按需补充理论，这种方法有利于短期上手。另一种是理论先行，掌握一个牢固的理论基础框架后，再把重心移到实践。本文推荐的书籍更适合于后者的学习方式。先声明，读书不
2021-03-09 22:45:25
1890
4
原创 《深入理解计算机系统》CSAPP第3版术语索引表
读点轻松的，换本书换个脑子……《深入理解计算机系统》第三版的英文原版是有index表的，中文没有。这里刷中文书的同时，随手记一下。不用字典序，用页码序。方便自己进行记录和知识回顾。不解释概念，忘了就翻书或search online我刷CSAPP没怎么做题，算是不认真的，不要学我目录第1章 计算机系统漫游第2章 信息的表示和处理第3章 程序的机器级表示第4章 处理器体系结构第5章 优化程序性能第6章 存储器层次结构第1章 计算机系统漫游1.0计算机系统11.1 计
2021-01-27 14:11:52
797
2
原创 ESL第二章Overview of Supervised Learning knn有效参数、统计决策理论/贝叶斯分类器/贝叶斯阶、维度灾难、可加误差模型、三次光滑样条/核方法/基函数/字典方法
（开始读ESL，写点笔记，不会像PRML那样抄书，只列不熟悉的内容，尤其是偏频率派的。具体的内容翻书）前言和第一章写了一些思想性的和导论性的东西，可以翻一翻目录2.3 Two Simple Approaches to Prediction: Least Squares and Nearest Neighbors2.3.3 Nearest-Neighbor Methods2.3 Two Simple Approaches to Prediction: Least Squares and Nearest
2020-11-10 17:41:52
396
原创 总结机器学习中的线性代数和矩阵论基础
目录线性变换线性空间Ax=b的解空间不构成线性子空间矩阵[向量]空间子空间的加和交4个基本子空间A=CR分解，行秩等于列秩几个性质子空间投影最小二乘问题分析角度看最小二乘问题应用：线性回归（摘自PRML P143）几何解释多重共线性缺陷行列式和逆最基本的性质行列式表示矩阵组成的体积行列式算法逆矩阵克拉默法则正交矩阵旋转矩阵与正交变换反射矩阵A=QR与Gram-schmitt正交化应用：信号处理中的变换特征值与特征向量特征值分解实对称矩阵的特征值分解谱定理Spectral Theorem主轴定理实对称矩阵的谱
2020-06-20 21:03:32
2717
原创 小波变换——公式整理和简单介绍
目录写在前面基于矩阵的变换（Matrix-based Transforms）正交变换二维情况小波变换的基本原理尺度函数（Father Scaling Function）基本概念哈尔尺度函数尺度函数的要求其他性质小波函数（Mother Wavelet Function）基本概念哈尔小波函数小波级数展开（Wavelet Series Expansion）一维离散小波变换（1-D Discrete Wa...
2020-01-14 00:32:15
50594
9
原创 PRML第一章读书笔记——Introduction 拟合、条件概率、概率变换、高维度、决策理论/闵科夫斯基损失函数、信息论/微分熵
又好久没写博客，没做出什么有成果的东西。加之最近遇到了一些感情问题，情绪低迷。遂放飞自我，决定新开一坑，开始啃这本书了（直接读的原版的，看不懂的就去翻一下手边那本中文版，说起来这本中文版的还是我的一个学霸同学WBL送我的，要好好珍惜）。希望自己能读下来吧，就算读不下来，也至少要读某个章再停下，不要章中间断掉。不对原书内容做总结了，只简要记录下自己读过后刷新的知识点，这些多是原先不会的，含糊的。...
2019-09-02 00:07:07
351
原创 书评&学习笔记《自动驾驶汽车环境感知》
对自动驾驶感知有一个框架式的介绍。优点：- 专门介绍感知的书很少，这本书填补了这一块空白。做到了对感知有一个全方位的介绍。追求更详细的感觉可以直接看论文。- 而且编排结构合理。- 成书稍晚，选材也新一些。......
2022-08-31 00:55:04
1313
1
原创 书评《算法导论》
《算法导论》确实不适合初学者，尤其是不适合实践派。对于实践派，《数据结构与算法分析——C语言描述》、邓俊辉老师的《数据结构》，《算法》红皮书无疑都是很好的上手教程。我读《算法导论》，是把它当作一本数学书来读的，其中很多篇幅关注于算法设计、正确性证明、算法分析。...
2022-05-05 11:25:53
5614
原创 书评与摘抄《经济学原理》
两本书分开谈吧。这也是一个拖了一年之久的坑了。微观分册整体的结构非常明确，讲清楚了很多符合实践的道理，对生活中的决策很有帮助，这些道理藏在书中的细枝末节。这一篇博客也是希望把有用的内容提取出来。本书的缺点在于假设太强，把现实抽象得像童话世界，但是这可能也是无法避免的。宏观分册的感觉是内容比较散，没有微观分册那么易懂，可能是由于宏观经济学还是一门极为原始的科学，很多内容存在争论。但是看完感觉收获很大，想清楚了为什么以前公选课的老师说“你们要先有经济学的基础，再去看新闻，免得被忽悠了”。
2022-04-30 15:23:21
453
原创 书评与摘抄《白鹿原》
书评《白鹿原》描写了渭河平原上20世纪上半叶的农民生活，故事也在各种性格的人物中展开。小说从小人物们的视角去观看世界，那是一个政局动荡多变的年代，历史的变迁深刻影响着这片原。那也是一个靠天吃饭的年代，大家的生活也是在这种自然浮沉和世事变迁中蜿蜒曲折地进行下去。至于小说的语言，一方面包含了部分方言，再结合一些难写的口语化词汇，让整个文字气氛具有乡土特色，读来十分亲切真实。另一方面小说的文字冷冰而直接，作者绝不多费笔墨，而是把很多情节不加渲染的告诉读者。书中的各种苦难情节，让我体会到民国时期劳动大众的生活.
2022-01-18 19:28:58
735
原创 【Leetcode算法题选编】二分（持续更新）
这一篇主要记录一些不易想到的二分技巧目录Leetcode 4 Median of Two Sorted Arrays 寻找两个正序数组的中位数题目意义随想复杂度代码Leetcode 33 Search in Rotated Sorted Array 搜索旋转排序数组题目意义随想复杂度代码Leetcode 4 Median of Two Sorted Arrays 寻找两个正序数组的中位数题目意义二分、写法随想这个题其实并不复杂，也能想清楚，但容易写不好难在写法上。因为中位数有奇数和偶数
2021-03-29 14:32:46
158
原创 【Leetcode算法题选编】写法、模板类（持续更新）
这一篇主要记录一些固定招式。难度不在于算法的思考，而在于写对。目录模板堆：Leetcode 23 Merge k Sorted Lists 合并K个升序链表题目意义随想复杂度代码并查集：Leetcode 200 Number of Islands 岛屿数量题目意义随想复杂度代码链表、哈希：Leetcode 146 LRU Cache LRU缓存机制题目意义随想复杂度代码写法使用成员变量：Leetcode 236 Lowest Common Ancestor of a Binary Tree 二叉树的最近公
2021-03-29 14:29:05
198
原创 书评与摘抄《爱的艺术》
这本书的分类，这本书在谈什么我觉得这本书应当算作社会科学——心理学的书，同时连带有一些实用型。爱情是一门艺术，是积极的，是“给”不是“得”，是人类生存问题的回答。当代西方社会阻碍爱情的发展，应当把爱情当作合理的信仰。这本书细说了什么第一章 爱是一门艺术吗？要求人们有这方面的知识并付出努力。爱不是一种偶然产生的令人心荡神怡的感受。许多人认同后者的原因在于：关注“被爱”关注“对象”关注falling in love，而不是being in love爱情是一门艺术，同其他艺术一样。这一目.
2021-03-16 21:14:10
248
1
原创 相机基础知识和佳能相机DPP
目录第0章：相机基础Exposure曝光Circle of Confusion和Depth of Field景深第1章 RAW图像基础概念第0章：相机基础FoV: Field of View视场Focal Length焦距Exposure曝光Exposure=time×irradianceExposure = time \times irradianceExposure=time×irradiance曝光控制：aperture size光圈大小: 调整f-stop (F-Number)
2021-03-15 15:27:01
719
原创 书评与摘抄《如何阅读一本书》
目录书评这本书在谈什么这本书细说了什么这本书说得有道理吗这本书跟我有什么关系摘抄第一章 阅读的活力与艺术第二章 阅读的层次第四章 阅读的第二个层次：检视阅读第五章 如何做一个自我要求的读者第六章 一本书的分类第七章 透视一本书第八章 与作者找出共通的词义第九章 判断作者的主旨第十章 公正地评断一本书第十一章 赞同或反对作者第十二章 辅助阅读第十三章 如何阅读实用型的书第十四章 如何阅读想象文学第十六章 如何阅读历史书第十八章 如何阅读哲学书第二十章 阅读的第四个层次：主题阅读第二十一章 阅读与心智成长书
2021-03-10 15:02:32
427
2
原创 ESL第十八章 高维问题 对角LDA/最近收缩重心、RDA/对偶优化/L2带核、函数型数据/Fused Lasso/字符串核/距离矩阵、有监督PCA/生存分析/偏最小二乘/预处理、多重检验/FDR
（最后一章了，加油！）目录18.1 当ppp远大于NNN18.2 对角线性判别分析Diagonal Linear Discriminant Analysis和最近收缩重心Nearest Shrunken Centroids18.3 二次正则Quadratic Regularization的线性分类器18.3.1 正则化判别分析Regularized Discriminant Analysis18.3.2 二次正则的逻辑回归18.3.3 支持向量分类器18.3.4 特征选择18.3.5 当p≫Np\gg N
2021-01-12 14:46:51
668
原创 ESL第十七章 无向图模型 学习/推断/成对马尔可夫独立/全局马尔可夫性、协方差图/高斯图/修改回归算法/图结构估计/图lasso、【受限】玻尔兹曼机/泊松对数线性建模/迭代比例过滤/对比散度
目录17.1 导言17.2 马尔可夫图及其性质17.3 连续变量的无向图模型17.1 导言P625 graphical lasso procedureP626 图模型的主要挑战是图结构选择、根据数据来估计边的参数，和从联合分布中计算边缘顶点的概率和期望．后两个任务在计算机科学中有时被称作学习learning和推断inference17.2 马尔可夫图及其性质P628 成对马尔可夫独立pairwise Markov independencies全局马尔可夫性global Markov pr
2021-01-08 16:10:01
637
1
原创 ESL第十六章 集成学习 汉明码、前向分段线性回归/前向逐步回归/Bet on Sparsity原则/噪信比/正则化路径/标准化L1间隔、学习集成/数值积分/集成生成/重要性采样/规则集成
目录16.1 导言16.2 提升和正则路径16.2.1 带惩罚的回归Penalized Regression16.1 导言P605 集成学习ensemble learning的思想是通过结合一系列简单基础模型的优点来建立一个预测模型．包括：bagging、boosting、stacking、非参回归的贝叶斯方法。事实上，可以将任何字典方法dictionary method看成集成学习，其中基函数充当弱学习器weak learners，比如回归样条（这句是指把特征变换这个操作当作弱学习器，然后带权重地集
2021-01-06 15:55:30
2417
原创 ESL第十五章 随机森林 委员会、McNemar检验/Wilcoxon检验、集外样本/相对重要性/排列重要性/邻近图、去相关性/条件方差/偏差/自适应最近邻
目录15.1 导言15.2 随机森林的定义15.3 随机森林的细节15.3.1 集外样本Out of Bag Samples15.3.2 变量重要性15.3.3 邻近图Proximity Plots15.1 导言P587 委员会committee，只关注票数，平均并不重要。用于分类P587 随机森林random forest是对bagging的修改，建立一个去相关性de-correlated树的集合。在许多问题上，与boosting表现相似，而且训练和调参更简单15.2 随机森林的定义P58
2021-01-04 15:01:07
510
2
原创 ESL第十四章 无监督学习 广义关联规则、向量量化/K中心点/Gap/谱系图、SOM、Pro问题/主曲线/谱聚类/【核/稀疏】主成分、非负矩阵分解/原型分析、独立成分分析/探索投影追踪、局部多维缩放
（ESL中最长的一章，也是非常重要的一块内容）目录14.1 导言14.2 关联规则14.1 导言P486 无监督学习中，直接推断P(X)P(X)P(X)的性质。XXX的维度有时比监督学习中高很多，我们关心的性质经常比简单的位置估计μ(x)\mu (x)μ(x)复杂得多．不过因素在某种程度上被缓解，原因在于我们不需要在其它变量的值改变的情况下推断P(X)P(X)P(X)的性质怎么改变．（这里应该是说YYY对XXX分布的影响P486 降维：主成分、多维缩放、自组织映射、主曲线等尝试识别具有高数据密度的
2021-01-03 14:09:29
700
原创 ESL第十三章 原型方法和最近邻 免模型方法、原型方法/k均值聚类/学习向量量化/高斯混合、kNN/不变流形/不变度量/正切距离/形状平均、自适应最近邻方法/判别自适应最邻近/全局降维、编辑/压缩
目录13.1 导言13.2 原型方法13.2.1 K均值聚类13.2.2 学习向量量化Learning Vector Quantization, LVQ13.2.3 高斯混合13.3 k近邻分类器13.3.1 例子：比较研究13.3.2 例子：k近邻和图像场景分类13.3.3 不变度量invariant metrics和正切距离tangent distance13.4 自适应最近邻分类器13.4.1 例子13.4.2 最近邻的全局降维13.5 计算考虑13.1 导言P459 本章介绍免模型方法mode
2020-12-25 19:58:52
383
原创 ESL第十二章 SVM和灵活判别方法 核函数/平方合页损失/Huber损失/RKHS/加性光滑样条/路径算法/结构风险最小化、最优得分/灵活判别分析/典型向量/典型相关、惩罚判别分析、混合判别分析
目录12.1 导言12.2 支持向量分类器12.2.1 计算支持向量分类器12.2.2 混合例子12.3 支持向量机和核12.3.1 用于分类的SVM12.3.2 SVM作为惩罚方法12.3.3 函数估计和再生核12.3.4 SVM和维度灾难12.1 导言P417 两类方法：SVM的非线性边界；LDA扩展成柔性判别分析flexible discriminant analysis。此外还有惩罚判别分析penalized discriminant analysis，用于处理含大量相关特征的信号和图像数据分
2020-12-23 19:53:39
1002
原创 ESL第十一章 神经网络 投影追踪回归/岭函数/通用近似、径向基函数网络、随机近似/共轭梯度/变量度量、权重消去、信噪比计算、贝叶斯神经网络/贝叶斯推断/混合蒙特卡罗洛/哈密顿动力学/自动相关确定
目录11.1 导言11.2 投影追踪回归Projection Pursuit Regression11.3 神经网络11.4 拟合神经网络11.5 训练神经网络中的一些问题11.5.1 初始值11.5.2 权重衰减11.5.3 输入的缩放11.5.4 隐层单元数和层数11.5.5 多极小值11.6 例子：模拟数据11.7 例子：邮编数字11.8 讨论11.9 贝叶斯神经网络和NIPS2003挑战11.9.1 贝叶斯、提升和bagging11.1 导言P389 投影追踪模型projection purs
2020-12-20 16:17:23
515
2
原创 ESL第十章 提升和加性树 AdaBoost、向前分段【加性模型】、指数损失合理性、边缘/鲁棒性/平方合页损失/M回归、长尾偏度/现成方法、GBDT、方差分析、随机梯度提升、相对重要性/偏相依图
目录10.1 Boosting方法10.2 Boosting拟合加性模型10.3 前向逐渐加性模型10.4 指数损失和AdaBoost10.5 为什么是指数损失10.6 损失函数和鲁棒性10.7 数据挖掘的现成（Off-the-Shelf）过程10.810.1 Boosting方法P337 Boosting和Bagging的联系是表面上的，boosting在根本上存在不同P339 AdaBoost.M1，也称为Discrete AdaBoost，如果基分类器返回实值预测，如映射到[-1, 1]的的概
2020-12-18 16:46:18
458
原创 ESL第九章 加性模型、树和相关方法 backfitting/加性逻辑回归、成本复杂度剪枝/基尼系数/各种问题扩展/ROC、PRIM、MARS/反射对/R方、层次混合专家、缺失数据/【完全】随机缺失
目录9.1 广义加性模型9.1.1 拟合可加模型9.1.2 例子：加性逻辑回归9.1.3 总结9.2 基于树的方法9.2.1 背景9.2.2 回归树9.2.3 分类树9.2.4 其他问题9.1 广义加性模型P296 和第五章基的扩张不同的是，这里采用散点图光滑器scatterplot smoother（三次光滑样条、核光滑器等）进行，并提供同时估计所以ppp个函数的方法P296 链接函数link function，通过链接函数让条件均值和可加函数相关联。书上列举了一些链接函数P297 广义线性模型
2020-12-13 17:02:26
1769
3
原创 ESL第八章 模型推断和平均 【参数】自助法/得分函数/信息矩阵/观测信息/费舍尔信息量、贝叶斯方法/无信息先验、高斯混合/GEM/MM算法、吉布斯、Bagging、委员会、Stacking、随机搜索
目录8.2 自助法核最大似然方法8.2.1 平滑例子8.2 自助法核最大似然方法8.2.1 平滑例子P264 非参自助法nonparametric bootstrap，这个方法与模型无关，使用原始数据来得到新数据集，而不是一个特定含参数模型。参数自助法parametric bootstrap参考文献：[1] ESL CN...
2020-12-10 16:22:47
986
原创 ESL第七章 模型评估及选择 【期望】测试误差、模型偏差估计偏差、【平均】乐观、AIC、参数有效数、BIC、最小描述长度、VC/结构风险最小化、一标准误差准则/广义交叉验证、【留一】自助/.632估计
目录7.2 偏差、方差和模型复杂度7.3 偏差-方差分解7.3.1 方差-偏差权衡7.2 偏差、方差和模型复杂度P220 测试误差test error就是泛化误差generalization error（也就是期望风险）；对其的训练集求期望，得到期望预测误差expected prediction error或称期望测试误差expected test errorP221 −2×log-likelihood-2\times \text{log-likelihood}−2×log-likelihood有时
2020-12-07 15:05:35
1867
原创 ESL第六章 核光滑方法 度量窗口/近邻窗口、局部线性【或多项式】回归、高维局部回归、局部逻辑回归、核密度估计/核密度分类/朴素贝叶斯、径向基函数【网络】/重标准化/N-W核回归估计、高斯混合【分类】
目录6.0 导言6.1 一维核光滑器6.1.1 局部线性回归6.1.2 局部多项式回归6.2 选择核宽度6.3 Rp\mathbb R^pRp中的局部回归6.0 导言P192 本章的方法都是memory-based，很少或不需要训练。模型就是整个训练集（PRML中高斯过程似乎也是这样）P191 本章中的“核”大多作为局部化工具，其技巧不要与其他“核方法”相混淆6.1 一维核光滑器P192 Nearest-Neighbor核不连续，很容易的改进是Epanechnikov (quadratic)
2020-12-04 11:02:32
935
原创 ESL第五章 基扩张和正则化 【自然】三次样条/似然比检验/自然正则化、自由度/光滑矩阵/收缩光滑/局部拟合/等价核、非参逻辑回归、多维张量积/加性样条、RKHS/径向基、小波光滑/自适应滤波、B样条
目录5.1 导言5.2 分段多项式和样条5.2.1 自然三次样条Natural Cubic Splines5.2.2 例子：南非心脏病5.2.3 例子：音素识别附录 样条计算B样条光滑样条计算5.1 导言P140 高阶项其实是泰勒展开的高次项P140 三种方法控制模型复杂度：（这一块感觉和2.8节有关联）限制方法，限制函数类别，例如加性模型选择方法，选择基的字典中对拟合显著的基. 像 CART，MARS 和 boosting 这些逐步贪婪的方式也划为这一类．正则化方法，例如ridge re
2020-12-02 11:24:39
1489
原创 ESL第四章 分类的线性方法 指示矩阵线性回归/LDA和线性回归区别联系/QDA/RDA/低秩LDA与PCA&线性回归联系/IRLS/Wald和Rao score检验/L1逻辑回归、感知机/SVM
目录4.2 指示矩阵(Indicator Matrix)线性回归4.2 指示矩阵(Indicator Matrix)线性回归P104 用回归做K分类，Y∈RN×K\bm Y \in \mathbb R^{N\times K}Y∈RN×K，其中每一行只有一个位置为1. 可以证明如果有偏置项，对任意输入xxx，这KKK个值求和为1，不过可能会出现负数...
2020-11-27 18:15:59
1156
原创 ESL第三章 回归的线性方法 系数近似置信集/高斯-马尔可夫定理/正交化、最优子集/向前向后逐步选择/向前分段回归、参数有效数量/最小角回归、主成分/偏最小二乘、多输出收缩、其他L1和路径相关算法
目录3.2 线性回归模型的最小二乘法3.2 线性回归模型的最小二乘法P47 参数服从高斯分布，残差之和/噪声方差服从卡方分布P48 关于参数的t分布假设检验
2020-11-25 20:27:57
892
原创 PRML第十四章读书笔记——Combining Models 贝叶斯模型平均、委员会bagging、提升方法/AdaBoost、决策树、条件混合模型/混合线性回归/混合逻辑回归/【层次】混合专家模型
（终于读到最后一章了，吼吼！激动呀。我总感觉combining models已经有点频率派方法的味道了。所以接下来要读ESL？）目录14.1 Bayesian Model Averaging14.2 Committees14.3 BoostingP659 最小化指数误差P661 boosting的误差函数14.4 Tree-based Models14.5 Conditional Mixture Models委员会committe：训LLL个不同的模型，然后取平均做预测提升方法boosting：co
2020-11-07 11:44:36
841
原创 PRML第十三章读书笔记——Sequential Data 状态空间模型、自回归模型/从左到右HMM/前向后向BW算法/和积算法/缩放因子/维特比算法、线性动态系统/卡尔曼滤波-平滑/粒子滤波
（这一章就是讲序列）目录13.1 Markov Models13.2 Hidden Markov ModelsP613 left-to-right HMMP615 HMM的最大似然P618 前向-后向算法P625 HMM中的和积算法P627 缩放因子P629 维特比算法 the viterbi algorithmP631 HMM的各种扩展13.3 Linear Dynamical Systems区分静态和非静态序列分布：静态情况中，分布保持一致；非静态情况中，分不会随时间变换。这里只关注静态情况马尔
2020-11-05 20:22:24
651
原创 PRML第十二章读书笔记——Continuous Latent Variables 高维PCA、概率PCA与EM/贝叶斯PCA/因子分析、核PCA、独立成分分析/独立因子分析/自关联网络/非线性流形
目录12.1 Principal Component AnalysisP565 应用P569 高维数据PCA12.2 Probabilistic PCAP574 最大似然PCAP577 概率PCA的EM算法P580 贝叶斯PCAP583 因子分析12.3 Kernel PCA12.4 Nonlinear Latent Variable ModelsP591 独立成分分析 independent component analysisP592 自关联网络 autoassociative neural netwo
2020-11-01 23:47:54
1128
原创 PRML第十一章读书笔记——Sampling Methods 拒绝采样/重要性采样/采样重要性重采样/数据增广IP算法、Metropolis算法/MH算法/吉布斯、切片采样、混合MC、估计配分函数
（终于把第十章读完了，这一章应该相对轻松。但这两天状态有待调整，所以没咋认真读）目录11.1 Basic Sampling AlgorithmsP526 标准概率分布P528 拒绝采样P530 可调节的拒绝采样Adaptive rejection samplingP532 重要性采样P534 采样-重要性-重采样 Sampling-importance-resamplingP536 采样和EM算法P537 数据增广算法 data augmentation algorithm11.2 Markov Chai
2020-10-27 19:49:39
897
原创 PRML第十章读书笔记——Approximate Inference 泛函导数、平均场理论/α族散度/模型比较、变分高斯混合、变分线性回归、变分指数族/变分信息传播、局部变分、变分逻辑回归、期望传播
（长、难啃且重要的一章）目录10.1 Variational Inference（也叫variational Bayes）P464 分解概率分布factorized distrubutions概率图里推p(Z∣X)p(\bm Z|\bm X)p(Z∣X)是一个重要的问题。但如果该分布复杂，则很难求，也很难在该后验分布下其他内容的期望，总之精确计算复杂的一批。所以需要近似技术。两种方法，（1）下一章介绍的随机近似stochastic approximations；（2）本章的确定近似determinist
2020-10-20 15:00:02
726
原创 PRML第九章读书笔记——Mixture Models and EM K均值/K中心点、高斯混合奇异性、EM观点下的高斯混合/K-means/混合伯努利分布/贝叶斯线性回归、推广EM算法
目录K-means ClusteringP429 K中心点算法K-medoids隐变量的引入使得复对于观测变量的复杂概率表示由简单分量组成K-means Clustering经典聚类算法了，目标函数为失真度量distortion measure其中rnk∈{0,1}r_{nk} \in \{0, 1\}rnk∈{0,1}，表示是否nnn属于类kkk最小化这个东西，导致K-means一定收敛K-means的初始化很重要。实践中一种好的初始化方法为随机选K个点的集合。K-means算法也用于
2020-10-12 15:42:03
710
原创 PRML第八章读书笔记——Graphical Models 生成式模型/超先验/层次贝叶斯模型、d-分离/朴素贝叶斯、有向分解/马尔可夫毯、D图I图完美图、马尔科夫链/因子图/和积算法/最大和算法
（终于读到概率图了，从这一章开始应该算是PRML的精华内容了。过于基础的东西就不写了，主要写自己不会的）目录8.1 Bayesian NetworksP365 祖先采样法ancestral samplingP365 生成式模型generative modelsP366 离散变量P370 线性高斯模型P372 超先验hyperprior与层次贝叶斯模型hierarchical Bayesian model8.2 Conditional IndependenceP378 d-分离 d-seperationP3
2020-10-07 22:17:09
518
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人