2 清平の乐

尚未进行身份认证

博主先后在国企和金融公司负责大数据开发和数据挖掘工作,目前在公司担任高级分析师岗位,主要负责大数据分析和金融反欺诈,欢迎大家一起探讨技术问题,一起为这个社会和时代做一点贡献!

等级
TA的排名 1w+

数据开发面试题

一、数仓相关1.简述一个完整的数仓项目流程2.详细描述数据抽取到ODS层的数据处理过程(银行数仓)?3.描述DWD事实表的建表规则和逻辑。实体表,一般是指一个现实存在的业务对象,比如用户,商品,商家,销售员等等。事务型事实表,一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。一般比如,交易流水,操作日志,出库入库记录等等。周期型事实表,一般指随着业务发生不断产生的数据。与事...

2020-01-19 14:38:40

优秀的程序员!=爱写博客的程序员

前几天我面试一个程序员,连续几个专业问题他都没答上来。尴尬之余,我问他:「你没有什么理想吗?你现在最渴望的事情是什么?」他转悠着大眼睛,不假思索道:「回去写篇博客,记录下这次面试的经验!」真没想到在面试中居然还有这种操作。我问为什么这能成为现阶段最渴望的事情,他反问「你就真的不想记录下自己的经历吗?你难道不想把自己的经验分享给别人吗?」好有道理我竟无法反驳。这么认真的程序员,一定是个不...

2020-01-19 13:33:15

Hadoop原理之_Azkaban任务调度

一、任务调度概述1. 为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等。2)各任务单元之间存在时间先后及前后依赖关系。3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。  例如,我们可能有这样一个需求,某个业务系统每天产生 20G 原始数据,我们每天都要...

2020-01-18 14:56:14

CentOS各版本区别(DVD/Everything/Minimal等)

在CentOS官网下载CentOS系统镜像时,会有三个镜像版本可供选择,分别是CentOS ISO,Everything ISO,Minimal ISO,除了这三个版本,还有其他几个版本,他们的区别如下:CentOS ISO:DVD是标准安装盘,一般下载这个就可以了,里面包含大量的常用软件,大部分情况下安装时无需再在线下载,体积为4G;Minimal ISO:精简版本,包含核心组件,体积才6...

2020-01-18 10:44:22

数据倾斜及解决办法

一、什么是数据倾斜简单来说数据倾斜就是数据的key 的分化严重不均,造成一部分数据很多,一部分数据很少的局面。举例说明:举个 word count 的入门例子: 它的map 阶段就是形成 (“aaa”,1)的形式,然后在reduce 阶段进行 value 相加,得出 “aaa” 出现的次数。若进行 word count 的文本有100G,其中 80G 全部是 “aaa” 剩下 20G 是其...

2020-01-17 15:18:45

Hive优化的十大方法

Hive用的好,才能从数据中挖掘出更多的信息来。用过hive的朋友,我想或多或少都有类似的经历:一天下来,没跑几次hive,就到下班时间了。Hive在极大数据或者数据不平衡等情况下,表现往往一般,因此也出现了presto、spark-sql等替代品。这里重点讲解hive的优化方式,例如优化分组:set hive.auto.convert.join=true;优化表关联内存运行:/*+MAPJ...

2020-01-17 15:07:12

机器学习算法之_GBDT和随机森林的区别

对于GBDT的概念和相关知识博主在上一篇中已做论述《机器学习算法之_GBDT》什么是随机森林随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。在建...

2020-01-17 10:53:49

机器学习算法之_GBDT

一、GDBC简介GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 直观理解:每一轮预测和实际值有残差,下一轮根据残差再进行预测,最后将所有预测相加,就是结果。GBDT用来做回归预测,调整后也可以用于分类(设定阈值,大于阈值为正例,反之为负例),可以发现多种有区分性的特征以及特征组合。GBDT是把所有树的结论累加起来做最终结论的,GBD...

2020-01-17 10:48:06

机器学习案例之_金融反欺诈预测

项目本项目通过利用信用卡的历史交易数据,进行机器学习,构建信用卡反欺诈预测模型,提前发现客户信用卡被盗刷的事件。项目背景数据集包含由欧洲持卡人于2013年9月使用信用卡进行交的数据。此数据集显示两天内发生的交易,其中284,807笔交易中有492笔被盗刷。数据集非常不平衡, 积极的类(被盗刷)占所有交易的0.172%。它只包含作为PCA转换结果的数字输入变量。不幸的是,由于保密问题,我们无...

2020-01-16 18:01:14

机器学习之_TensorFlow

TensorFlow 是一个用于数值计算的Python 库, 可以描述一幅数据计算的数据流图(data flow graph)。TensorFlow 最初由Google大脑小组(隶属于Google机器智能研究机构)的研究员和工程师们开发出来,用于机器学习和深度神经网络方面的研究,但这个系统的通用性使其也可广泛用于其他计算领域。详情可参考TensorFlow中文社区会话 (Session):T...

2020-01-16 11:43:02

机器学习算法之_支持向量机(SVM)

【关键词:支持向量,最大几何间隔,拉格朗日乘子法】SVM主要针对小样本数据进行学习、分类和预测(有时也叫回归)的一种方法,能解决神经网络不能解决的过学习问题,而且有很好的泛化能力。一、原理:支持向量机,其含义是通过支持向量运算的分类器。其中“机”的意思是机器,可以理解为分类器。 那么什么是支持向量呢?在求解的过程中,会发现只根据部分数据就可以确定分类器,这些数据称为支持向量。 见下图,在一个...

2020-01-16 11:18:01

机器学习算法之_K-均值聚类(K-means)

【关键词】K个种子,均值一、原理聚类的概念:一种无监督的学习,事先不知道类别,自动将相似的对象归到同一个簇中。K-Means算法是一种聚类分析(cluster analysis)的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。K-Means算法主要解决的问题如下图所示。我们可以看到,在图的左边有一些点,我们用肉眼可以看出来有四个点群,但是我们怎么通过计算机程序找...

2020-01-15 10:30:56

机器学习算法之_决策树(DecisionTree)

【DecisionTree】【关键词】树,信息增益一、原理1.20个问题的游戏游戏的规则很简单:参与游戏的一方在脑海里想某个事物,其他参与者向他提问题,只允许提20个问题,问题的答案也只能用对或错回答。问问题的人通过推断分解,逐步缩小待猜测事物的范围。决策树的工作原理与20个问题类似,用户输人一系列数据 ,然后给出游戏的答案。我们经常使用决策树处理分类问题。近来的调查表明决策树也是最...

2020-01-15 10:17:25

机器学习算法之_朴素贝叶斯(Bayes)

【关键词】朴素:独立性假设贝叶斯公式一、基本概念1.原理朴素贝叶斯算法是一个典型的统计学习方法,主要理论基础就是一个贝叶斯公式,贝叶斯公式的基本定义如下:这个公式虽然看上去简单,但它却能总结历史,预知未来:公式的右边是总结历史公式的左边是预知未来如果把Y看成类别,X看成特征,P(Yk|X)就是在已知特征X的情况下求Yk类别的概率,而对P(Yk|X)的计算又全部转化到类别Yk的特...

2020-01-14 17:05:12

机器学习算法之_逻辑斯蒂回归(Logistics)

逻辑斯蒂回归虽然名字叫回归,但是其实分类, 而且这个分类很强大(以后工作是必须要用的(分类问题))【关键词】Logistics函数,最大似然估计,梯度下降法一.原理利用Logistics回归进行分类的主要思想是:根据现有数据对分类边界线建立回归公式,以此进行分类。这里的“回归” 一词源于最佳拟合,表示要找到最佳拟合参数集。训练分类器时的做法就是寻找最佳拟合参数,使用的是最优化算法。接下来介绍...

2020-01-14 16:21:52

机器学习算法之_梯度下降法(Gradient Descent)

在求解机器学习算法的模型参数,即无约束优化问题时,梯度下降(Gradient Descent)是最常采用的方法之一,另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。一. 梯度在微积分里面,对多元函数的参数求∂偏导数,把求得的各个参数的偏导数以向量的形式写出来,就是梯度。比如函数f(x,y), 分别对x,y求偏导数,求得的梯度向量就是(∂f/∂x, ∂f/∂y)T,简称grad...

2020-01-14 14:15:49

机器学习算法之_线性回归(LinearRegression)

一、普通线性回归关键词;最小二乘法,线性1.原理线性回归就是在求方程,线性方程:y = kx + b分类的目标变量是标称型数据,而回归将会对连续型的数据做出预测。应当怎样从一大堆数据里求出回归方程呢?假定输人数据存放在矩阵X中,而回归系数存放在向量W中。那么对于给定的数据X1, 预测结果将会通过Y=X*W给出。现在的问题是,手里有一些X和对应的Y,怎样才能找到W呢?一个常用的方法就...

2020-01-14 11:35:11

机器学习算法之_K-近邻(K Nearest Neighbour)

一.原理K-近邻算法采用测量不同特征值之间的距离方法进行分类。存在一个样本数据集合,也称作训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后,将新数据的每个特征与样本集中数据对应的 特征进行比较,然后算法提取样本集中特征最相似数据(最近邻)的分类标签。一般来说,我们 只选择样本数据集中前K个最相似的数据,这就是K-近邻算法中K的出...

2020-01-14 11:07:38

机器学习算法之_几个名词约定

一、几个约定x,y是原始的数据集。X_train,y_train 是原始数据集划分出来作为训练模型的,fit模型的时候用。X_test,y_test 这部分的数据不参与模型的训练,而是用于评价训练出来的模型好坏,score评分的时候用。test_size=0.2 测试集的划分比例。如果为浮点型,则在0.0-1.0之间,代表测试集的比例;如果为整数型,则为测试集样本的绝对数量;...

2020-01-14 10:58:17

数据分析13_matplotlib绘图和可视化

一、简介​ 信息可视化(也叫绘图)是数据分析中最重要的工作之一。它可能是探索过程的一部分,例如,帮助我们找出异常值、必要的数据转换、得出有关模型的idea等。另外,做一个可交互的数据可视化也许是工作的最终目标。​ matplotlib是一个用于创建出版质量量图表的桌面绘图包(主要是2D方面)。matplotlib支持各种操作系统上许多不不同的GUI后端,⽽而且还能将图片导出为各种常见的矢...

2020-01-12 14:52:26

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条Blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周上午根据用户上周周三的博文发布情况由系统自动颁发。