浊酒南街-CSDN博客

原创吴恩达机器学习笔记：第 8 周-14降维(Dimensionality Reduction) 14.1-14.2

有时可能有几个不同的工程团队，也许一个工程队给你二百个特征，第二工程队给你另外三百个的特征，第三工程队给你五百个特征，一千多个特征都在一起，它实际上会变得非常困难，去跟踪你知道的那些特征，你从那些工程队得到的。将数据从二维降至一维：假使我们要采用两种不同的仪器来测量一些东西的尺寸，其中一个仪器测量结果的单位是英寸，另一个仪器测量的结果是厘米，我们希望将测量的结果作为我们机器学习的特征。过程是与上面类似的，我们将三维向量投射到一个二维的平面上，强迫使得所有的数据都在同一个平面上，降至二维的特征向量。

2024-04-26 17:23:39 146

原创吴恩达深度学习笔记：深度学习的实践层面 (Practical aspects of Deep Learning)1.6-1.8

假设你在训练上图这样的神经网络，它存在过拟合，这就是 dropout 所要处理的，我们复制这个神经网络，dropout 会遍历网络的每一层，并设置消除神经网络中节点的概率。假设网络中的每一层，每个节点都以抛硬币的方式设置概率，每个节点得以保留和消除的概率都是 0.5，设置完节点概率，我们会消除一些节点，然后删除掉从该节点进出的连线，最后得到一个节点更少，规模更小的网络，然后用 backprop 方法进行训练。中的对应值为 1 的概率都是 0.8，对应为 0 的概率是 0.2，随机数字小于 0.8。

2024-04-23 20:27:18 757

原创吴恩达机器学习笔记：第 8 周-13 聚类(Clustering)13.3-13.5

迭代的过程一定会是每一次迭代都在减小代价函数，不然便是出现了错误。回顾刚才给出的: K-均值迭代算法，我们知道，第一个循环是用于减小。我们的的优化目标便是找出使得代价函数最小的。引起的代价，而第二个循环则是用于减小。

2024-04-23 15:17:41 1013

原创吴恩达机器学习笔记：第 8 周-13 聚类(Clustering)13.1-13.2

在这个视频中，我将开始介绍聚类算法。这将是一个激动人心的时刻，因为这是我们学习的第一个非监督学习算法。我们将要让计算机学习无标签数据，而不是此前的标签数据。那么，什么是非监督学习呢？在课程的一开始，我曾简单地介绍过非监督学习，然而，我们还是有必要将其与监督学习做一下比较。在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。

2024-04-18 14:40:22 629

原创吴恩达深度学习笔记：深度学习的实践层面 (Practical aspects of Deep Learning)1.4-1.5

我们来看最后一个细节，𝜆是正则化参数，我们通常使用验证集或交叉验证集来配置这个参数，尝试各种各样的数据，寻找最好的参数，我们要考虑训练集之间的权衡，把参数设置为较小值，这样可以避免过拟合，所以 λ 是另外一个需要调整的超级参数，顺便说一下，为了方便写代码，在 Python 编程语言中，𝜆是一个保留字段，编写代码时，我们写成𝑙𝑎𝑚𝑏𝑑，以免与 Python 中的保留字段冲突，这就是在逻辑回归函数中实现𝐿2正则化的过程，如何在神经网络中实现𝐿2正则化呢？

2024-04-18 11:06:35 1185

原创吴恩达机器学习笔记：第 7 周-12支持向量机(Support Vector Machines)12.4-12.6

因此ℎ𝜃(𝑥) = θ_0 + θ_1f_1 + θ_2f_2 +θ_3f_3 > 0，因此预测𝑦 = 1。同理可以求出，对于离l^{(2)}$较近的绿色点，也预测𝑦 = 1，但是对于蓝绿色的点，因为其离三个地标都较远，预测𝑦 = 0。这样，图中红色的封闭曲线所表示的范围，便是我们依据一个单一的训练实例和我们选取的地标所得出的判定边界，在预测时，我们采用的特征不是训练实例本身的特征，而是通过核函数计算出的新特征。

2024-04-15 15:58:40 1041

原创吴恩达深度学习笔记：深度学习的实践层面 (Practical aspects of Deep Learning)1.1-1.3

目前为止，我觉得，对于很多应用系统，即使是经验丰富的深度学习行家也不太可能一开始就预设出最匹配的超级参数，所以说，应用深度学习是一个典型的迭代过程，需要多次循环往复，才能为应用程序找到一个称心的神经网络，因此循环该过程的效率是决定项目进展速度的一个关键因素，而创建高质量的训练数据集，验证集和测试集也有助于提高循环效率。总结一下，在机器学习中，我们通常将样本分成训练集，验证集和测试集三部分，数据集规模相对较小，适用传统的划分比例，数据集规模较大的，验证集和测试集要小于数据总量的 20%或 10%。

2024-04-15 11:00:41 708

原创 python中的正则表达式

正则表达式是指专门用于描述或刻画字符串内在规律的表达式。

2024-04-10 11:13:28 398

原创吴恩达机器学习笔记：第 7 周-12支持向量机(Support Vector Machines)12.1-12.3

你知道，就是第一项和第二项我们依照惯例使用一个不同的参数称为𝐶，同时改为优化目标，𝐶 × 𝐴 + 𝐵因此，在逻辑回归中，如果给定𝜆，一个非常大的值，意味着给予 B 更大的权重。首先，我们要除去1/𝑚这一项，当然，这仅仅是由于人们使用支持向量机时，对比于逻辑回归而言，不同的习惯所致，但这里我所说的意思是：你知道，我将要做的是仅仅除去1/𝑚这一项，但是，这也会得出同样的 𝜃 最优值，好的，因为1/𝑚 仅是个常量，因此，你知道在这个最小化问题中，无论前面是否有1/𝑚 这一项

2024-04-08 19:54:51 792

原创吴恩达深度学习笔记：深层神经网络(Deep Neural Networks)4.5-4.8

比如当你想要建一个语音识别系统的时候，需要解决的就是如何可视化语音，比如你输入一个音频片段，那么神经网络的第一层可能就会去先开始试着探测比较低层次的音频波形的一些特征，比如音调是变高了还是低了，分辨白噪音，咝咝咝的声音，或者音调，可以选择这些相对程度比较低的波形特征，然后把这些波形组合在一起就能去探测声音的基本单元。面部探测器就会针对于大一些的区域，但是主要的概念是，一般你会从比较小的细节入手，比如边缘，然后再一步步到更大更复杂的区域，比如一只眼睛或是一个鼻子，再把眼睛鼻子装一块组成更复杂的部分。

2024-04-08 16:51:18 1058

原创吴恩达深度学习笔记：深层神经网络(Deep Neural Networks)4.1-4.4

尽管对于任何给定的问题很难去提前预测到底需要多深的神经网络，所以先去尝试逻辑回归，尝试一层然后两层隐含层，然后把隐含层的数量看做是另一个可以自由选择大小的超参数，然后再保留交叉验证数据上评估，或者用你的开发集来评估。我们可以看到，第一层（即左边数过去第二层，因为输入层是第 0 层）有 5 个神经元数目，第二层 5 个，第三层 3 个。,这层是第 0 层，这层左边的隐藏层是第 1 层，由此类推。注意，神经网络的层数是这么定义的：从左到右，由 0 开始定义，比如上边右图，是等于这个神经网络所预测的输出结果。

2024-04-02 19:16:06 1163

原创吴恩达机器学习笔记：第 6 周-11机器学习系统的设计(Machine Learning System Design)11.1-11.5

因此，不要担心你的算法太简单，或者太不完美，而是尽可能快地实现你的算法。另一件事是：假设你有了一个快速而不完美的算法实现，又有一个数值的评估数据，这会帮助你尝试新的想法，快速地发现你尝试的这些想法是否能够提高算法的表现，从而你会更快地做出决定，在算法中放弃什么，吸收什么误差分析可以帮助我们系统化地选择该做什么。因此，当你在构造学习算法的时候，你总是会去尝试很多新的想法，实现出很多版本的学习算法，如果每一次你实践新想法的时候，你都要手动地检测这些例子，去看看是表现差还是表现好，那么这很难让你做出决定。

2024-04-02 14:27:29 938

原创吴恩达机器学习笔记：第 6 周-10 应用机器学习的建议 (Advice for Applying Machine Learning)10.4-10.7

当你运行一个学习算法时，如果这个算法的表现不理想，那么多半是出现两种情况：要么是偏差比较大，要么是方差比较大。在这段视频中，我想更深入地探讨一下有关偏差和方差的问题，希望你能对它们有一个更深入的理解，并且也能弄清楚怎样评价一个学习算法，能够判断一个算法是偏差还是方差有问题，因为这个问题对于弄清如何改进学习算法的效果非常重要，高偏差和高方差的问题基本上来说是欠拟合和过拟合的问题。但是随着 𝑑 的增长，误差呈现先减小后增大的趋势，转折点是我们的模型开始过拟合训练数据集的时候。

2024-03-29 16:05:07 440

原创吴恩达深度学习笔记：浅层神经网络(Shallow neural networks)3.9-3.11

以上就是正向传播的 4 个方程和反向传播的 6 个方程，这里我是直接给出的，在下个视频中，我会讲如何导出反向传播的这 6 个式子的。目前为止，我们计算的都和 Logistic 回归十分相似，但当你开始计算反向传播时，你需要计算，是隐藏层函数的导数，输出在使用 sigmoid 函数进行二元分类。在这个视频中，我会给你实现反向传播或者说梯度下降算法的方程组，在下一个视频我们会介绍为什么这几个特定的方程是针对你的神经网络实现梯度下降的正确方程。这些参数，还有个𝑛𝑥表示输入特征的个数，，就是一个的列向量。

2024-03-29 14:50:17 1123

原创吴恩达机器学习笔记：第 6 周-10 应用机器学习的建议 (Advice for Applying Machine Learning)10.1-10.3

幸运的是，有一系列简单的方法能让你事半功倍，排除掉单子上的至少一半的方法，留下那些确实有前途的方法，同时也有一种很简单的方法，只要你使用，就能很轻松地排除掉很多选择，从而为你节省大量不必要花费的时间。在这一系列的视频中我们将介绍具体的诊断法，但我要提前说明一点的是，这些诊断法的执行和实现，是需要花些时间的，有时候确实需要花很多时间来理解和实现，但这样做的确是把时间用在了刀刃上，因为这些方法让你在开发学习算法时，节省了几个月的时间，因此，在接下来几节课中，我将先来介绍如何评价你的学习算法。

2024-03-27 18:25:35 547

原创数据结构与算法之美学习笔记：《数据结构与算法之美》学习指导手册

本节课程思维导图：在设计专栏内容的时候，为了兼顾不同基础的同学，我在内容上做到了难易结合，既有简单的数组、链表、栈、队列这些基础内容，也有红黑树、BM、KMP 这些难度较大的算法。但是，对于初学者来说，一下子面对这么多知识，可能还是比较懵。我觉得，对于初学者来说，先把最简单、最基础、最重要的知识点掌握好，再去研究难度较高、更加高级的知识点，这样由易到难、循序渐进的学习路径，无疑是最合理的。基于这个路径，我对专栏内容，重新做了一次梳理，希望给你一份具体、明确、有效的学习指导。

2024-03-26 11:38:50 897

原创吴恩达深度学习笔记：浅层神经网络(Shallow neural networks)3.6-3.8

当使用𝑧的导数时，𝑧=0 的导数是没有定义的。但是当编程实现的时候，𝑧的取值刚好等于 0.00000001，这个值相当小，所以，在实践中，不需要担心这个值，𝑧是等于 0 的时候，假设一个导数是 1 或者 0 效果都可以。第一，在𝑧的区间变动很大的情况下，激活函数的导数或者激活函数的斜率都会远大于0，在程序实现就是一个 if-else 语句，而 sigmoid 函数需要进行浮点四则运算，在实践中，使用 ReLu 激活函数神经网络通常会比使用 sigmoid 或者 tanh 激活函数学习的更快。

2024-03-26 11:12:30 1131

原创吴恩达深度学习笔记：深度学习引言1.1-1.5

如果你听说过端对端深度学习，你也会在第三门课中了解到更多，进而了解到你是否需要使用它，第三课的资料是相对比较独特的，我将和你分享。在第一门课中（神经网络和深度学习），你将学习神经网络的基础，你将学习神经网络和深度学习，这门课将持续四周，专项课程中的每门课将持续 2 至 4 周。因此，通过这些课程，你将学习深度学习的这些工具，你将能够去使用它们去做一些神奇的事情，并借此来提升你的职业生涯。举个例子：你分割数据的方式，分割成训练集、比较集或改变的验证集，以及测试集合，改变了深度学习的错误。

2024-03-25 10:42:41 1472

原创吴恩达深度学习笔记：神经网络的编程基础2.1-2.4

同样的道理，为了能更加容易地实现一个神经网络，将标签𝑦放在列中将会使得后续计算非常方便，所以我们定义大写的𝑌等于𝑦(1), 𝑦(𝑚), . . . , 𝑦(𝑚)，所以在这里是一个规模为 1 乘以𝑚的矩阵，同样地使用 Python 将表示为 Y.shape 等于(1, 𝑚)，表示这是一个规模为 1 乘以𝑚的矩阵。𝑋 = [𝑥(1), 𝑥(2), . . . , 𝑥(𝑚)]：表示所有的训练数据集的输入值，放在一个 𝑛𝑥 × 𝑚的矩阵中，其中𝑚表示样本数目；

2024-03-25 10:40:25 1400

原创吴恩达深度学习笔记：神经网络的编程基础2.5-2.8

请看绿色高亮部分的这个小三角形，如果向右移动 0.001，那么𝑓(𝑎)增加 0.003，𝑓(𝑎)的值增加 3 倍于右移的𝑎，因此我们说函数𝑓(𝑎)在𝑎 = 2，.是这个导数的斜率，或者说，当𝑎 = 2时，斜率是 3。导数的一个特性是：这个函数任何地方的斜率总是等于3，不管𝑎 = 2或 𝑎 = 5，这个函数的斜率总等于 3，也就是说不管𝑎的值如何变化，如果你增加 0.001，𝑓(𝑎)的值就增加 3 倍。即在𝑎 = 5 时，

2024-03-25 10:38:40 1197

原创吴恩达深度学习笔记：神经网络的编程基础2.9-2.14

因此，为了使得逻辑回归中最小化代价函数𝐿(𝑎, 𝑦)，我们需要做的仅仅是修改参数𝑤和𝑏的值。因为我们想要计算出的代价函数𝐿(𝑎, 𝑦)的导数，首先我们需要反向计算出代价函数𝐿(𝑎, 𝑦)关于𝑎的导数，在编写代码时，你只需要用𝑑𝑎 来表示。那么如果你非常熟悉微积分，我们鼓励你主动推导前面介绍的代价函数的求导公式，使用微积分直接求出𝐿(𝑎, 𝑦)关于变量𝑎的导数。假设样本只有两个特征𝑥1和𝑥2，为了计算𝑧，

2024-03-25 10:38:33 1512

原创吴恩达深度学习笔记：神经网络的编程基础2.15-2.17

用一个 2 × 3的矩阵和一个 1 × 3 的矩阵相加，其泛化形式是 𝑚 × 𝑛 的矩阵和 1 × 𝑛的矩阵相加。这是一个不同食物(每 100g)中不同营养成分的卡路里含量表格，表格为 3 行 4 列，列表示不同的食物种类，从左至右依次为苹果，牛肉，鸡蛋，土豆。首先，按列求和，计算每种食物中（100g）三种营养成分总和，然后分别用不用营养成分的卡路里数量除以总和，计算百分比。axis 用来指明将要进行的运算是沿着哪个轴执行，在 numpy 中，0 轴是垂直的，也就是列，而 1 轴是水平的，也就是行。

2024-03-25 10:37:00 648

原创吴恩达深度学习笔记：浅层神经网络(Shallow neural networks)3.1-3.5

本周你将学习如何实现一个神经网络。在我们深入学习具体技术之前，我希望快速的带你预览一下本周你将会学到的东西。如果这个视频中的某些细节你没有看懂你也不用担心，我们将在后面的几个视频中深入讨论技术细节。现在我们开始快速浏览一下如何实现神经网络。上周我们讨论了逻辑回归，我们了解了这个模型(见图 3.1.1)如何与下面公式 3.1 建立联系。接下来使用𝑧就可以计算出𝑎。我们将的符号换为表示输出𝑦^ ⟹ 𝑎 = 𝜎(𝑧),然后可以计算出 loss function 𝐿(𝑎, 𝑦)。

2024-03-25 10:34:03 1384

原创数据结构与算法之美学习笔记：总结课 | 在实际开发中，如何权衡选择使用哪种数据结构和算法？

本节课程思维导图：今天是一篇总结课。我们学了这么多数据结构和算法，在实际开发中，究竟该如何权衡选择使用哪种数据结构和算法呢？今天我们就来聊一聊这个问题，希望能帮你把学习带回实践中。我一直强调，学习数据结构和算法，不要停留在学院派的思维中，只把算法当作应付面试、考试或者竞赛的花拳绣腿。作为软件开发工程师，我们要把数据结构和算法，应用到软件开发中，解决实际的开发问题。不过，要想在实际的开发中，灵活、恰到好处地应用数据结构和算法，需要非常深厚的实战经验积累。

2024-03-22 16:44:10 760

原创数据结构与算法之美学习笔记：不定期福利第三期 | 刘超：我是怎么学习《数据结构与算法之美》的？

本节课程思维导图：你好，我是刘超，是隔壁《趣谈网络协议》专栏的作者。今天来“串个门儿”，讲讲我学习《数据结构与算法之美》这个专栏的一些体会和感受。《数据结构与算法之美》是目前“极客时间”订阅量最多的专栏，我也是其中最早购买的一员。我之所以一看就心动了，源于王争老师在开篇词里面说的那段话：基础知识就像是一座大楼的地基，它决定了我们的技术高度。那技术人究竟都需要修炼哪些“内功”呢？我觉得，无外乎就是大学里的那些基础课程，操作系统、计算机网络、编译原理等等，当然还有数据结构和算法。

2024-03-14 10:54:24 874

原创数据结构与算法之美学习笔记：不定期福利第二期 | 王争：羁绊前行的，不是肆虐的狂风，而是内心的迷茫

本节课程思维导图：专栏更新过半，我发现有些小伙伴已经掉队，虽然有人掉队也挺正常，但是我还是想尽量拉一把。于是，周末的时间，我就在想，究竟是什么原因让有些小伙伴掉队了？是内容本身太难了吗？是我讲得不够清楚吗？还是小伙伴本身基础太差、不够努力、没有掌握学习方法？我觉得都不是，让你掉队的原因，从根儿上讲，是你内心的迷茫。如果我们不那么确信能不能看懂、能不能学会的时候，当面对困难的时候，很容易就会否定自己，也就很容易半途而废。

2024-03-11 17:19:05 911

原创数据结构与算法之美学习笔记：不定期福利第一期 | 数据结构与算法学习书单

本节课程思维导图：欢迎来到不定期更新的周末福利时间。专栏已经上线两周了，看到这么多人在留言区写下自己的疑惑或者观点，我特别开心。在留言里，很多同学让我推荐一些学习数据结构与算法的书籍。因此我特意跟编辑商量了，给你一个周末福利。所以这一期呢，我们就来聊一聊数据结构和算法学习过程中有哪些必读书籍。有的同学还在读大学，代码还没写过几行；有的同学已经工作数十年，这之间的差别还是挺大的。而不同基础的人，适宜看的书是完全不一样的。因此，针对不同层次、不同语言的同学，我分别推荐了不同的书。

2024-03-07 11:46:00 934

原创 hive中split函数相关总结

split 函数一直再用，居然发现没有总结，遂补充一下；

2024-03-06 15:59:11 697

原创深度学习相关概念及术语总结

CV通常指的是“Computer Vision”（计算机视觉）。然而，传统的RNN模型存在梯度消失和梯度爆炸等问题，为了克服这些问题，后来出现了许多改进的RNN变体，如长短时记忆网络（LSTM）和门控循环单元（GRU）等。在学术和工业界，计算机视觉一直是一个活跃的研究领域，并且随着深度学习和大数据的发展，计算机视觉技术取得了显著的进步，为图像和视频分析提供了更准确和高效的解决方案。总的来说，LSTM的设计使其能够更好地处理和记忆序列数据中的长期依赖关系，因此在处理具有长期依赖的序列数据时具有很强的表现力。

2024-03-05 17:13:43 1051

代码.zip

空空如也