1 lightupworld

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 13w+

Hive面试/经典练习题

Hive面试/经典练习题一、N日留存1.思路分析二、连续登陆1.数据准备2.思路分析三、 Top N一、N日留存1.思路分析按天留存率计算 就是指用户在首日新增后,在接下来的后推第N天活跃情况,用后推第N天活跃的用户 / 首日新增用户。就得到后推第N天的新增用户留存率。 留存率计算案例 1月1日,新增用户200人; 次日留存:第2天,1月2日,这200人里面有100人活跃,则次日留存率为: 100 / 200 = 50% 2日留存:第3天,1月3日;这200名新

2020-09-14 18:49:11

Hive窗口分析函数(案例详细讲解)

Hive窗口分析函数一、语法结构二、窗口函数三、Over从句四、分析函数五、COUNT、SUM、MIN、MAX、AVG详解1.数据准备参考资料一、语法结构分析函数 over(partition by 列名 order by 列名 rows between 开始位置 and 结束位置)over()函数中包括三个函数:包括分区partition by 列名、排序order by 列名、指定窗口范围rows between 开始位置 and 结束位置。我们在使用over()窗口函数时,over()函数中

2020-09-10 20:07:03

数仓建设流程

数仓建设流程一、数仓概览二、流程详解1.梳理业务流程2.垂直切分,划分主题域3.梳理指标体系4.表实体关系调研5.维度梳理4.数仓分层7.物理模型建立三、tipis注:本文转至 如何搭建一个数据仓库,仅用于个人学习,侵权删。一、数仓概览整体建设建设过程数仓建模的过程分为业务建模、领域建模、逻辑建模和物理建模,但是这 些步骤比较抽象。为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分(划分主题域)、指标体系梳理、表实体关系调研、维度梳理、数仓分层以及物理模型建立。每

2020-09-10 15:26:35

数据仓库与数据集市建模

数据仓库与数据集市建模一、前言二、数据仓库(data warehouse)1. 操作型数据库(OLTP) VS 分析型数据库(OLAP)2.数据仓库定义三、数据集市(data mart)四、维度建模的基本概念五、 维度建模的三种模式(模型)1.星型模式(模型)2.雪花模式(模型)3.星座模式(模型)4.三种模式对比六、更多可能的事实属性七、经典星座模型1.共享维度2. 细节/聚集事实表八、缓慢变化维度问题九、规范化数据仓库十、独立数据集市十一、两种数据仓库建模体系对比注:本文转自数据仓库与数据集市建模,仅

2020-09-10 12:16:18

Apache Atlas数据治理和元数据框架

概述场景架构原理使用安装

2020-09-10 11:02:11

Spark指南——第六章:Spark性能调优——高级篇(2)

Spark性能调优——高级篇(2)一、前言二、数据倾斜1.数据倾斜发生时的现象2.数据倾斜发生的原理3. 如何定位导致数据倾斜的代码①某个task执行特别慢的现象②某个task莫名其妙内存溢出的现象4.查看导致数据倾斜的key三、数据倾斜的解决方案1.解决方案一:使用Hive ETL预处理数据2.解决方案二:过滤少数导致倾斜的key3.解决方案三:提高shuffle操作的并行度4.解决方案四:两阶段聚合(局部聚合+全局聚合)5.解决方案五:将reduce join转为map join6.解决方案六:采样倾斜

2020-09-09 19:55:37

Spark指南——第六章:Spark性能调优——基础篇(1)

Spark性能调优——基础篇一、前言二、调优概述三、开发调优1.原则一:避免创建重复的RDD2.原则二:尽可能复用同一个RDD3.原则三:对多次使用的RDD进行持久化4. 原则四:尽量避免使用shuffle类算子5.原则五:使用map-side预聚合的shuffle操作(算子)6.使用高性能的算子7.原则七:广播大变量8.原则八:使用Kryo优化序列化性能原则九:优化数据结构四、资源调优1.num-executors2.executor-memory3.executor-cores4.driver-memo

2020-09-09 16:41:52

Spark指南——第五章:Spark内核解析(2)

第五章:Spark内核解密(2)一、Spark Shuffle二、内存管理一、Spark Shuffletodo二、内存管理

2020-09-07 19:23:51

Spark指南——第五章:Spark内核解析(1)

第六章:Spark内核解密todo

2020-09-07 15:43:01

Spark指南——第四章:SparkStreaming编程

SparkStreaming编程todo

2020-09-07 15:38:33

Spark指南——第三章:SparkSQL编程——DataSet(3)

SparkSQL编程——DataSet(3)一、DataSet一、DataSettodo

2020-09-04 18:44:30

Spark指南——第三章:SparkSQL编程—— DataFrame(2)

SparkSQL编程(1)一、SparkSession二、DataFrame1.创建DataFrame①通过数据源创建DataFrame②从RDD转换创建DataFrame1.方式一:Case Class方式2.方式二:createDataFrame方式③从Hive Table查询创建2.使用SQL风格编程① 对DataFrame创建一个临时表② 对创建的people表进行SQL查询3.使用DSL(Domain Specific Language)风格编程① 查看Schema② 指定列查询③ 限制条件查询④

2020-09-04 10:47:40

Spark指南——第三章:SparkSQL概述(1)

SparkSQL概述(1)一、SparkSQL概述二、DataFrame三、Dataset:类型安全的结构化API四、DataFrame与 Dataset的比较一、SparkSQL概述我们知道Hive,它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduc的程序的复杂性,但是由于Hive基于MapReduce进行处理,在该过程中大量的中间磁盘落地过程消耗了大量的I/O,这大大降低了运行效率。所有Spark SQL的应运而生,它是将Spark SQL转换成R

2020-09-03 12:59:46

Spark指南——第二章:SparkCore——RDD编程(2)

SparkCore——RDD编程(2)一、编程模型二、RDD编程三、创建RDD①并行集合创建RDD②外部存储创建RDD四、转换操作(transform)1.Vaule类型的转换操作① distinct② filter(func)③ map(func)④ flatMap(func)⑤ mapPartitions(func)⑥ mapPartitionsWithIndex(func)⑦ groupBy(func)⑧ coalesce、repartition⑨ sortBy(func,[ascending], [

2020-09-02 17:18:07

Spark指南——第二章:SparkCore——RDD概述(1)

SparkCore——RDD概述(上)一、RDD概述二、RDD的属性1.RDD分区(Partitions)2.RDD分区计算函数3.RDD依赖关系(Dependencise)4.RDD 分区函数Partitioner5. RDD优先位置(Preferred Locations)三、RDD特点四、RDD的使用说明1.优先使用结构化API2.何时使用RDD五、RDD的弹性解读(扩展)1.自动进行内存和磁盘数据存储的切换2. 基于Lineage 血统 的高效容错机制3. Task如果失败,会自动进行特定次数的重试

2020-08-31 19:11:16

Spark指南——第一章:Spark简介

Spark简介一、What is Spark二、Why Spark1.运行速度快2.易用性好3.通用性强4.随处运行三、Spark与MR比较注:Spark系列文章参考《Spark权威指南》、《图解Spark核心技术与案例实战》、《Spark大数据商业实战三部曲》,仅用于记录个人学习,侵权删。一、What is SparkSpark是加州大学伯克利分校AMP实验室(Algorithms、 Machines and People Lab)开发的 通用大数据处理框架。Spark生态系统也称为BDAS,是伯

2020-08-31 16:19:27

Scala编程——第12章:隐式转换和隐式参数

隐式转换和隐式参数一、隐式转换1.基本概念①应用案例②源码分析③细节问题2.隐式转换丰富类库功能3.引入隐式转换4.隐式转换规则二、隐式参数三、隐式类四、总结本章学习隐式转换和隐式参数,隐式转换和隐式参数是Scala两个功能强大的工具,在幕后处理那些很好有价值的工作。属于Scala高级阶段知识,初学者只需了解其用法即可,不用太过深入。一、隐式转换1.基本概念隐式转换指的是那种以implicit关键字声明的带有单个参数的函数。这样的函数将被自动应用,将一种类型转为另一种类型。①应用案例首先看一个简

2020-08-28 17:34:31

Scala编程——第11章:模式匹配和样例类(下)

样例类一、样例类1.基本介绍本节学习样例类的相关知识。有关模式匹配的知识点击链接:一、样例类1.基本介绍样例类是一种特殊的类,主要用于优化模式匹配。样例类仍然是类样例类用case关键字进行声明。样例类是为模式匹配而优化的类。构造器中的每一个参数都成为val——除非它被显式地声明为var(不建议这样做)。在样例类对应的伴生对象中提供apply方法,让你不用new关键字就能构造出相应的对象。提供unapply方法让模式匹配可以工作。将自动生成toString、equals、hashCod

2020-08-26 17:48:38

Scala编程——第11章:模式匹配和样例类(上)

模式匹配和样例类一、模式匹配1.基础案例2.模式守卫二、模式种类1.通配模式2.常量模式3.变量模式4.构造方法模式5.序列模式6.元组模式7.带类型的模式8.变量绑定本节学习Scala中十分强大的模式匹配机制,同时Scala提供了样例类,对模式匹配进行了优化。一、模式匹配Scala中的模式匹配类似于Java中的switch语法,但是更加强大。模式匹配语法中,采用match关键字声明,每个分支采用case关键字进行声明。当需要匹配时,按照从上到下顺序匹配。会从第一个case分支开始,如果匹配成功,

2020-08-25 17:45:30

Scala编程——第10章:Scala集合——映射Map(6)

第10章:Scala集合——映射(6)一、映射Map简介二、不可变映射1.创建不可变映射Map2.获取映射中值3.更新映射值4.迭代映射三、可变映射Map1.创建可变映射Map2.更新映射中的值四、排序的映射五、操作汇总1.常用可变/不可变映射操作2.不可变Map包含的操作一、映射Map简介映射Map是键/值对偶集合。映射分为不可变映射Map和可变映射Map。继关系如下图所示:不可变映射Map可变映射Map二、不可变映射1.创建不可变映射MapScala默认使用不可变M

2020-08-24 17:14:18

查看更多

勋章 我的勋章
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。