- 博客(34)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 DATAWHALE打卡Task5-零基础入门金融风控之贷款违约预测挑战赛
DATAWHALE打卡-零基础入门金融风控之贷款违约预测挑战赛主要内容：stacking和blending的差异参考：相关学习资料主要内容：模型融合一般用于A榜比赛的尾声和B榜比赛的全程主要包括以下基础方法：平均：简单平均法加权平均法投票：简单投票法加权投票法综合：排序融合log融合stacking:构建多层模型，并利用预测结果再拟合预测。blending：选取部分数据预测训练得到预测结果作为新特征，带入剩下的数据中预测。boosting/
2020-09-27 20:08:04
252
原创 DATAWHALE打卡Task4-零基础入门金融风控之贷款违约预测挑战赛
DATAWHALE打卡4-零基础入门金融风控之贷款违约预测挑战赛主要内容基本模型的优劣比较1、逻辑回归模型2、决策树模型集成模型思想模型调参1、贪心调参2、 网格搜索3、 贝叶斯调参 （pip install bayesian-optimization）参考：相关学习资料主要内容基本模型的优劣比较1、逻辑回归模型优点训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；适合二分类问题，不需要缩放输入特征；
2020-09-24 20:19:31
196
原创 DATAWHALE打卡Task3-零基础入门金融风控之贷款违约预测挑战赛
DATAWHALE打卡3-零基础入门金融风控之贷款违约预测挑战赛主要内容数据预处理异常检测数据分桶特征选择常见的基本处操作参考：相关学习资料主要内容数据预处理缺失填充：1 把所有缺失值替换为指定的值0data_train = data_train.fillna(0)2 向用缺失值上面的值替换缺失值data_train = data_train.fillna(axis=0,method=‘ffill’)3 纵向用缺失值下面的值替换缺失值,且设置最多只填充两个连续的缺失值data_tra
2020-09-21 23:19:20
165
原创 DATAWHALE打卡Task2-零基础入门金融风控之贷款违约预测挑战赛(EDA）
DATAWHALE打卡-零基础入门金融风控之贷款违约预测挑战赛1 数据总体了解1.1 读取数据1.2 查看数据集的样本个数和原始特征维度2 查看数据集中特征缺失值，唯一值等3 深入数据-查看数据类型3.1 数值类型和类别类型3.2 数值类型详细分析3.2.1 划分数值型变量中的连续变量和离散型变量3.2.2 数值类别型变量分析3.2.3 数值连续型变量分析3.2.4 非数值类别型变量分析4 数据间相关关系4.1 单一变量分布可视化4.2 根据y值不同可视化x某个特征的分布4.3 时间格式数据处理及
2020-09-18 23:15:50
238
原创 DATAWHALE打卡Task1-零基础入门金融风控之贷款违约预测挑战赛
DATAWHALE打卡-零基础入门金融风控之贷款违约预测挑战赛主要内容数据概况评价指标解答思路评分卡相关参考：task1相关学习资料主要内容数据概况数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。train.csvid 为贷款清单分配的唯一信用证标识l
2020-09-15 20:38:14
265
原创 Datawhale 数据挖掘入门：模型融合 笔记
TASK5:模型融合摘自 ML67 在Datawhale 数据挖掘入门：模型融合部分的讲义1、主要内容简单加权融合:回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；分类：投票（Voting)综合：排序融合(Rank averaging)，log融合stacking/blending:构建多层模型，并利用...
2020-04-04 14:18:40
189
原创 Datawhale 数据挖掘入门：建模调参 笔记（3）
TASK4:建模调参摘自 小雨姑娘 在Datawhale 数据挖掘入门：建模调参部分的讲义1 线性回归假设已经有了数据train_X，和trian_y模型的建立from sklearn.linear_model import LinearRegressionmodel = LinearRegression(normalize=True)model = model.fit(train_...
2020-04-01 18:52:26
262
原创 Datawhale 数据挖掘入门：特征工程 笔记（2）
TASK3:特征工程摘自 Datawhale 数据挖掘入门：特征工程部分的讲义1 特征工程目标对于特征进行进一步分析，并对于数据进行处理2 内容介绍常见的特征工程包括：异常处理：通过箱线图（或 3-Sigma）分析删除异常值；BOX-COX 转换（处理有偏分布）；长尾截断；特征归一化/标准化：标准化（转换为标准正态分布）；归一化（抓换到 [0,1] 区间）；针对...
2020-03-28 21:28:31
445
1
原创 Datawhale 数据挖掘入门：数据分析 笔记
TASK2:数据分析摘自 AI蜗牛车 在Datawhale 数据挖掘入门：数据分析部分的讲义赛题：零基础入门数据挖掘 - 二手车交易价格预测地址：https://tianchi.aliyun.com/competition/entrance/231784/introduction?spm=5176.12281957.1004.1.38b02448ausjSX1 主要的内容载入各种数据...
2020-03-22 14:32:11
1087
原创 动手学深度学习： 图像分类案例2，GAN，DCGAN
动手学深度学习： 图像分类案例2，GAN,DCGAN内容摘自伯禹人工智能AI公益课程图像分类案例2关于整理数据集后得到的train、valid、train_valid和test数据集：找到一组合适的超参数后，用train_valid重新训练网络可以利用train数据集训练模型，通过观察在valid数据集上的损失与准确率来调整超参数可以利用train数据集训练模型，通过观察在valid数...
2020-02-25 14:02:23
1181
原创 动手学深度学习：目标检测基础，图像风格迁移，图像分类案例1
动手学深度学习：目标检测基础，图像风格迁移，图像分类案例内容摘自伯禹人工智能AI公益课程目标检测基础目标检测算法通常会在输入图像中采样大量的区域，然后判断这些区域中是否包含我们感兴趣的目标，并调整区域边缘从而更准确地预测目标的真实边界框（ground-truth bounding box）。不同的模型使用的区域采样方法可能不同。这里介绍的方法：它以每个像素为中心生成多个大小和宽高比（asp...
2020-02-25 13:33:33
821
原创 动手学深度学习：批量归一化和残差网络；凸优化；梯度下降
动手学深度学习：批量归一化和残差网络；凸优化；梯度下降内容摘自伯禹人工智能AI公益课程批量归一化和残差网络对输入的标准化（浅层模型）处理后的任意一个特征在数据集中所有样本上的均值为0、标准差为1。标准化处理输入数据使各个特征的分布相近批量归一化（深度模型）利用小批量上的均值和标准差，不断调整神经网络中间输出，从而使整个神经网络在各层的中间输出的数值更稳定。1.对全连接层做批量归一化...
2020-02-25 12:55:09
354
原创 动手学深度学习：卷积神经网络，LeNet，卷积神经网络进阶
卷积神经网络基础内容摘自伯禹人工智能AI公益课程目录：1、卷积神经网络的基础概念2、卷积层和池化层3、填充、步幅、输入通道和输出通道1、卷积神经网络的基础概念最常见的二维卷积层，常用于处理图像数据。二维互相关运算二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组通常称为卷积核或过滤器（fi...
2020-02-18 13:25:59
375
原创 动手学深度学习：机器翻译及相关技术，注意力机制与seq2seq模型，Transformer
动手学深度学习：机器翻译及相关技术，注意力机制与seq2seq模型，Transformer内容摘自伯禹人工智能AI公益课程初次学习机器翻译相关，把课程的概念题都记录一下。目录：1、机器翻译及相关技术2、注意力机制与seq2seq模型3、Transformer1、机器翻译以及相关技术1、关于Sequence to Sequence模型说法错误的是：A 训练时decoder每个单元输...
2020-02-18 13:25:43
1609
原创 动手学深度学习：梯度消失、梯度爆炸
动手学深度学习：梯度消失、梯度爆炸内容摘自伯禹人工智能AI公益课程目录：梯度消失和梯度爆炸的基本概念考虑到环境因素的其他问题Kaggle房价预测# 梯度消失、梯度爆炸以及Kaggle房价预测1、梯度消失和梯度爆炸的基本概念1.1 梯度消失和梯度爆炸深度模型有关数值稳定性的典型问题是消失（vanishing）和爆炸（explosion）。当神经网络的层数较多时，模型的数值稳定性容...
2020-02-16 14:31:33
412
原创 动手学深度学习：过拟合、欠拟合及其解决方案
动手学深度学习：过拟合、欠拟合及其解决方案内容摘自伯禹人工智能AI公益课程目录：相关的基本概念权重衰减代码实现丢弃法代码实现1、相关的基本概念训练误差：模型在训练数据集上表现出的误差。泛化误差：模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。欠拟合（underfitting）：模型无法得到较低的训练误差。过拟合（overfitt...
2020-02-16 14:07:22
546
原创 动手学深度学习：线性回归和softmax回归
内容摘自伯禹人工智能AI公益课程线性回归的基本要素1、模型线性回归假设输出与各个输入之间是线性关系，例如：price=warea⋅area+wage⋅age+b\mathrm{price} = w_{\mathrm{area}} \cdot \mathrm{area} + w_{\mathrm{age}} \cdot \mathrm{age} + bprice=warea⋅area+...
2020-02-13 19:41:27
197
原创 数据结构——散列表（2）
王争数据结构19笔记1、一个工业级的散列表具有的特点： 1）支持快速的查询、插入、删除操作； 2）内存占用合理，不能浪费过多的内存空间； 3）性能稳定，极端情况下，散列表的性能也不会退化到无法接受的情况。2、设计一个散列表主要的思路包括： 1）设计一个合适的散列函数 2）定义装载因子阈值，并且设计动态扩容策略 3）选择合适的...
2019-01-31 20:08:53
143
原创 初识Docker
两小时入门docker笔记1、docker将应用程序与程序的依赖，打包在一个文件里面。运行这个文件就会生成一个虚拟容器。有了docker就不会担心环境问题了。2、docker：镜像image,容器container,仓库repository。3、列出本机所有的image文件：docker image ls4、删除image文件：docker image rm [imageName]...
2019-01-30 20:56:20
153
原创 数据结构——散列表（1）
王争数据结构笔记（18）1、散列表，也叫做哈希表。主要利用数组支持下标随机访问数据的特性演化而来。2、散列表两个核心：散列函数设计以及散列冲突问题的解决。散列函数设计的好坏决定了散列冲突的概率。解决散列冲突的办法有开放寻址法和链表法。3、所有的散列函数无法避免散列冲突。4、开放寻址冲突解决中包含：线性探测、二次探测和双重散列。线性探测的每次探测步长为1，探测的下标序列时hash(k...
2019-01-30 15:19:38
180
原创 数据结构——跳表
王争数据结构17——笔记1、为了使以链表存储的数据仍然能够使用二分查找，将链表进行改造形成跳表。2、跳表是一个动态数据结构，支持快速的插入、删除、查找，具有替代红黑树的能力。3、跳表就是链表增加多级索引的结构。通常跳表的时间复杂度为O（3logn）,即O(logn)。查找的时间复杂度和二分查找相同。4、跳表是典型的空间换时间。原始链表大小为n,每隔两个节点抽1个，总结点数目为...
2019-01-30 14:32:45
221
原创 数据结构——二分查找（2）
王争数据结构笔记-161、常见的二分查找变形问题：1）查找第一个值等于给定值的元素；2）查找最后一个值等于给定值的元素；3）查找第一个大于等于给定值的元素；4）查找最后一个小于等于给定值的元素。2、查找第一个值等于给定值的元素public int bsearch(int [] a,int n,int value){ int low=0; int high=n-1;...
2019-01-29 20:50:32
158
原创 数据结构——二分查找（1）
王争数据结构笔记（15）1、二分查找也陈伟折半查找算法，是一种非常简单易懂的快速查找算法。二分查找的时间复杂度为O(logn)。对数时间复杂度是一种极其高效的时间复杂度，比时间复杂度为O(1)的算法还要高效。2、二分查找的非递归实现。public int bsearch(int[] a,int n,int value){ int low=0; int high=n...
2019-01-04 16:39:22
183
原创 数据结构：线性排序
王争数据结构笔记（13）&（14）1、桶排序 、计数排序、基数排序均是时间复杂度为O(n)2、桶排序比较适合在外部排序中使用。桶排序对排序数据的要求比较苛刻：要排序的数据需要容易划分为m个桶，并且桶与桶之间有着天然的大小顺序。其次数据在各个桶之间的分布比较均匀。在极端情况下，如果数据都被划分到一个桶中，其时间复杂度为O（nlogn）。3、计数排序只能在数据范围不大的场合，如果数...
2018-12-31 17:01:02
301
原创 数据结构：排序2
王争数据结构（12）笔记1、归并排序与快速排序都是复杂度为O(nlogn)2、归并排序把要排序的数组分为前后两个部分，分别进行排序之后再合并。归并排序使用分治思想。通常归并排序可以用递归来进行实现。3、归并排序是稳定的排序算法。归并排序的执行效率与要排序的原始数组的有序程度无关，其时间复杂度为O(nlogn)。归并排序的空间复杂度为O(n)。4、快排算法同样使用分治的思想。其主要思...
2018-12-31 15:33:28
135
原创 数据结构：排序（1）
王争数据结构11笔记1、冒泡排序、插入排序、选择排序是基于比较的排序。时间复杂度为。2、快排，归并排序也是基于比较的排序。时间复杂度为3、桶排序、计数排序、基数排序不是基于比较的排序，其时间复杂度为4、冒泡排序BS:一次冒泡会让至少一个元素移动它应该在的位置，重复n次之后就完成了n个数据的排序工作。 每次冒泡就是把从左至右的数据中第一个相邻关系发生异常的数据摆放到正确的位...
2018-10-25 15:23:09
1349
原创 数据结构：递归
王争数据结构（10）笔记1、数据结构中动态规划和递归较难理解的知识点2、去的过程称为“递”，而回的过程叫做“归”。所有的递归可以用递推公式描述。用栈的数据结构加上逻辑算法实现业务功能。3、递归需要满足的三个条件：1）一个问题可为几个子问题的解；2）分解后的子问题和原问题求解思路相同；3）存在递归终止条件4、写递归代码的关键是写出递推公式，找到终止条件。5、例子：假如有n个台阶，...
2018-10-16 19:24:16
768
原创 数据结构：队列
王争数据结构（09）笔记1、队列（queue）:先进先出，不允许插队。如同栈操作中的入栈push()和出栈pop()。队列的基本操作是入队enqueue()和出队dequeue()。入队就是放一个数据到队列尾部。出队就是从队列头部取一个元素。2、用链表实现的队列叫链式队列，用数组实现的队列叫做顺序队列。3、数组实现的非循环队列中，队满的判断条件是tail==n,对空的判断条件是head...
2018-10-10 09:40:55
150
原创 数据结构：栈
王争据结构笔记（08）1、栈结构：后进者显出，先进者后出。栈是一种操作受限的线性表，只允许在一端插入和删除数据2、栈主要包含的操作：入栈和出栈。3、用数组实现的栈叫做顺序栈，用链表实现的栈叫做链式栈。4、无论是链式栈还是顺序栈，入栈和出栈空间复杂度都是O(1),时间复杂度也是O(1)。 动态扩容的顺序栈出栈时间复杂度为O(1)。当栈中存在空闲空间的时候，入栈操作的时间复...
2018-10-09 18:44:05
272
原创 数据结构-链表(2)
王争数据结构课程笔记（07）写好链表的技巧：1、用好指针与引用 关于指针的理解：将某个变量赋值给指针，就是把变量的地址赋值给指针。指针中存储了这个变量的地址，指向这个变量，通过这个指针能够找到这个变量。Eg:p->next=q：p结点中的next指针存储了q结点的内存地址。Eg2:p->next=p->next->next,p结点的next指针存...
2018-10-06 13:04:10
146
原创 数据结构：链表(1)
王争数据结构笔记（06）1、三种常见的缓存淘汰策略:先进先出策略FIFO,最少使用策略(Least Frequently Used,LFU),最近最少使用策略(Least Recently Used,LRU).2、数组利用连续的内存空间进行存储，对内存的要求较高。链表则是通过指针零散的内存块串接起来。如图1所示。图片来源：王争数据结构第六课3、三种常见的链表：单链表，双向链表和...
2018-10-03 11:23:58
149
原创 数据结构：数组——最简单最基础的数据结构
王争数据结构笔记（05）1）线性表： A)链表，队列，栈，数都是线性表 B)每个线性表的数据只有前后两个方向2）非线性表： A)二叉树，堆，图都是非线性表 B)数据之间不是前后关系3）数组支持随机访问，根据下标随机访问的时间复杂度是O(1)4）插入与删除 A) 向有序数组中插入元素的平均时间复杂度（1+2+……+n)/n=O(n) B...
2018-10-01 21:49:40
469
MATLAB的雷达数字信号处理.rar
2019-08-18
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人