- 博客(16)
- 收藏
- 关注
RSS订阅原创 算法：十大排序算法及python实现
十大排序算法概述-Python代码文章目录 十大排序算法概述-Python代码一、时间复杂度O(n2)O(n^2)O(n2)的算法1.冒泡排序 (最慢，稳定)算法思想算法分析Python 代码2.选择排序 (不稳定)算法思想算法分析代码实现3. 插入排序算法思想算法分析代码实现二、改进后的排序算法3.希尔排序算法思想算法分析代码实现4.归并排序算法思想算法分析代码实现5.快速排序算法思想算法分析代码实现6.堆排序算法思想堆定义动画演示算法分析代码实现三、基于计数的排序8.计数排序算法思想算法分析代码实现.
2021-11-21 14:10:27
1153
原创 集成学习（三）Bagging
集成学习（三）Bagging投票法的原理分析 投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。 投票法在回归模型与分类模型上均可使用：回归投票法：预测结果是所有模型预测结果的平均值。分类投票法：预测结果是所有模型种出现最多的预测结果。 分类投票法又可以被划分为硬投票与软投票：硬投票：预测结果是所有投票结果最多出现的类。软投票：预测结果是所有投票结果中概率加和最大的..
2021-08-26 10:03:17
370
原创 集成学习（二）机器学习基础
集成学习（二）机器学习基础文章目录集成学习（二）机器学习基础1 机器学习简介2. 使用sklearn构建完整的机器学习项目流程(1) 收集数据集并选择合适的特征(2) 选择度量模型性能的指标(3) 选择具体的模型并进行训线性回归模型(a) 最小二乘估计(b) 几何解释(c）概率视角线性回归的推广(a) 多项式回归(b) 广义可加模型(GAM)GAM模型的优点与不足回归树树模型的优缺点支持向量机回归(SVR)(4) 优化基础模型(a) 训练均方误差与测试均方误差(b) 偏差-方差的权衡( c) 特征提取训
2021-08-18 19:41:50
219
原创 集成学习（一）：数学基础（高数）
集成学习（一）：数学基础（高数）在机器学习的有监督学习算法中，我们的目标是学习出一个稳定的且在各个方面表现都较好的模型，但实际情况往往不这么理想，有时我们只能得到多个有偏好的模型（弱监督模型，在某些方面表现的比较好）。集成学习就是组合这里的多个弱监督模型以期得到一个更好更全面的强监督模型，集成学习潜在的思想是即便某一个弱分类器得到了错误的预测，其他的弱分类器也可以将错误纠正回来。本次学习将介绍集成学习的相关知识，从零开始逐步递进。首先是关于数学基础部分的知识介绍，用到的数学基础主要包括高等数学，线性
2021-08-17 11:56:43
274
原创 深度学习（七）：阶段小结
深度学习（七）：阶段小结深度系列第一阶段的入门部分学习介绍先告一段落，本次内容主要来自于李宏毅老师的入门视频教程的笔记以及内容的理解，从基本概念入手，并结合数学推导进一步的对梯度进行更深入的介绍。最后结合CNN在图像中的重要应用简要介绍CNN，内容相对比较简单。同时也要致谢DataWhale成员的督促和支持，当然学习不会停止，接下来会进行更深入的学习，学习介绍深度学习框架，GNN以及强化学习等一些内容，前期的神经网络和深度学习的介绍是为了后期的强化学习进行进一步的准备。后期会对深度学习，强化学习在解决
2021-07-25 19:24:33
86
原创 深度学习（六）：CNN介绍
深度学习（六）：CNN介绍CNN架构 首先input一张image以后，这张image会通过convolution layer，接下里做max pooling这件事，然后在做convolution，再做max pooling这件事。这个process可以反复无数次，反复的次数你觉得够多之后，(但是反复多少次你是要事先决定的，它就是network的架构(就像你的neural有几层一样)，你要做几层的convol
2021-07-23 16:53:58
5454
原创 深度学习（五）：神经网络训练不起来怎么办
深度学习（五）：神经网络训练不起来怎么办梯度很小的时候无法判断是local minimalocal\ minimalocal minima还是saddle pointsaddle\ pointsaddle point，以下是判断的一个方法的数学推导Tayler Series ApproximationTayler\ Series\ ApproximationTayler Series Approximation：首先，L
2021-07-20 23:47:32
562
1
原创 深度学习（四）：深度学习介绍和反向传播机制
深度学习（四）：深度学习介绍和反向传播机制深度学习的三个步骤我们都知道机器学习有三个step，对于deep learning其实也是3个步骤：Step1：神经网络（Neural network）Step2：模型评估（Goodness of function）Step3：选择最优函数（Pick best function）那对于深度学习的Step1就是神经网络（Neural Network）Step1：神经网络神经网络（Neural network）里面的节点，类似我们的神经元。神经
2021-07-18 21:22:38
418
原创 深度学习（三）:误差来源和梯度下降方法介绍
深度学习（三）:误差来源和梯度下降方法介绍Error的来源 误差包括biasbiasbias 和 variancevariancevariance ，其具体含义可以参考 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？估测变量x的偏差和方差我们先理解一下偏差和方差是怎样计算的呢？ 偏差(Bias)和方差(Variance)——机器学习中的模型选择评估x的偏差
2021-07-16 23:55:41
383
原创 深度学习（二）：回归的定义及其建模过程
深度学习笔记（二）回归的定义及其建模过程 Regression 就是找到一个函数 functionfunctionfunction ，通过输入特征 xxx，输出一个数值 ScalarScalarScalar。模型步骤step1：模型假设，选择模型框架（线性模型）step2：模型评估，如何判断众多模型的好坏（损失函数）step3：模型优化，如何筛选最优的模型（梯度下降）Step 1：模型假设 - 线性模型一元线性模型（单个特征）以一个特征 x
2021-07-14 22:35:16
649
原创 深度学习（一）:入门
深度学习篇（一） 本文主要介绍深度学习的一些基本知识点，此后一系列的文章会持续更新关于深度学习的深层次内容。 机器学习的相关技术可分为监督学习，半监督学习，迁移学习，无监督学习，半监督学习中的结构化学习以及强化学习等方面。相关的表示关系如下图所示：...
2021-07-12 23:29:37
121
1
原创 GNN系列（四）：数据完全存于内存的数据集类
数据完全存于内存的数据集类InMemoryDataset基类简介在PyG中，通过继承InMemoryDataset类来自定义一个数据可全部存储到内存的数据集类。class InMemoryDataset(root: Optional[str] = None, transform: Optional[Callable] = None, pre_transform: Optional[Callable] = None, pre_filter: Optional[Callable] = None)InM
2021-06-27 23:11:10
224
原创 GNN系列（三）：基于图神经网络的节点表征学习
基于图神经网络的节点表征学习通过节点分类任务来比较MLP和GCN, GAT（两个知名度很高的图神经网络）三者的节点表征学习能力。本部分学习包括：做一些准备工作，即获取并分析数据集、构建一个方法用于分析节点表征的分布。考察MLP用于节点分类的表现，并分析基于MLP学习到的节点表征的分布。逐一介绍GCN, GAT这两个图神经网络的理论、他们在节点分类任务中的表现以及它们学习到的节点表征的分布。比较三者在节点表征学习能力上的差异。准备工作获取并分析数据集from torch_geometric
2021-06-23 22:40:52
853
1
原创 GNN系列（二）：消息传递图神经网络
消息传递图神经网络消息传递范式是一种聚合邻接节点信息来更新中心节点信息的范式，它将卷积算子推广到了不规则数据领域，实现了图与神经网络的连接。此范式包含三个步骤：(1)邻接节点信息变换、(2)邻接节点信息聚合到中心节点、(3)聚合信息变换。下方图片展示了基于消息传递范式的生成节点表征的过程：在图的最右侧，B节点的邻接节点（A,C）的信息传递给了B，经过信息变换得到了B的嵌入，C、D节点同。在图的中右侧，A节点的邻接节点（B,C,D）的之前得到的节点嵌入传递给了节点A；在图的中左侧，聚合得到的信息经过
2021-06-19 23:40:17
795
原创 GNN系列（一）：简单图论&环境配置&PyG库
从零开始GNN—简单图论&环境配置&PyG库 图卷积神经网络（GCN）是近年兴起的基于图结构的广义神经网络结构，图论中抽象意义上的图可以来表示非欧几里得机构化数据。本小节从三个部分开始图神经网络的学习和介绍：图论概念引入所需环境搭建PyG相关库的学习一、图论部分 该部分主要介绍图的基本概念和基本的定义定理，这也是图与网络的基础。定义1：图（Graph） 一集元素及它们之间的某种关系。具体地说，图是一个二元组G={V,E}\mathcal{G}=\{\mathcal{
2021-06-15 00:12:05
395
3
原创 GNN系列（零）：系列概述
从零开始入门GNN（一）task00：了解学习目标与熟悉规则学习目标本次学习只要包含以下几个方面：图论与程序中图的操作：通过简单的图论知识了解常规图预测任务，基于PyG包的图数据表示与使用实现图神经网络的通用范式，学习PyG中消息传递基类的属性，方法和运行流程节点表征学习与节点预测和边预测：学习基于图神经网络的节点表征学习的一般过程。超大图上节点表征学习，通过实践学习超大图节点的预测任务。图表征学习与图预测：包括基于图神经网络的图表征学习的一般过程，样本按需获取的数据集构造方法以及基于图表
2021-06-13 10:50:05
87
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人