- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark SQL学习笔记
Spark SQL学习笔记特点Spark SQL数据抽象DataFrame、DataSetRDD、DataFrame、DataSetSpark SQL使用pom依赖RDD创建DataFrame/DataSet集合生成Dataset/DataFrame从CSV文件创建DataFrameAction操作Transformation 操作与RDD类似操作存储相关select相关where相关groupBy相关orderBy相关join相关集合相关窗口函数SQL语句UDFUDAF操作Hive文章学习笔记内容来源：
2020-11-18 10:48:23
196
原创 Spark RDD算子学习笔记
spark rdd学习笔记什么是RDD文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。记录一下sprk rdd学习笔记,使用的spark2.4.5，scala什么是RDDRDD是spark的基石，是实现spark数据处理核心抽象。RDD是一个抽象类，它代表一个不可变、可分区、里面的元素可并行计算的集合，具有如下特征。一个分区的列表一个计算函数compute,对每个分区进行计算对其他RDDs的依赖（宽依赖、窄依赖）列表对key-value RDDs来说，存在一个分区器(Pariti
2020-11-18 10:47:56
333
原创 Redis学习笔记
离线数据仓库项目上缓存问题缓存的读写模式Cache Aside PatternRead/Write Through PatternWrite Behind Caching Pattern缓存过期和淘汰策略缓存穿透缓存雪崩缓存击穿数据不一致问题Hot KeyBig Key分布式锁分布式锁特性watchsetnxRedisson分布式锁的使用文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。记录整理一下Redis的一些经典问题的学习笔记缓存问题缓存的读写模式Cache Aside Pattern
2020-09-22 11:33:20
232
原创 数据仓库拉链表
拉链表缓慢变化维保留原始值直接覆盖增加新的属性列快照表拉链表拉链表应用测试数据拉链表实现拉链表数据回滚周期性事拉链表测试数据周期性事实拉链表实现文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。记录一下数据仓库学习笔记，第一次接触数据仓库，这里记录一下拉链表，下面实现基于Hadoop、Hive。缓慢变化维观察的维度事实表数据随时间变化变化缓慢。处理维度表的历史变化信息的问题称为处理缓慢变化维的问题，简称SCD问题保留原始值数据的维度属性值不做更改，保留原始值如商品在商场上架售卖的时
2020-09-22 11:32:50
288
原创 数据仓库理论
离线数据仓库项目上数据仓库理论数据仓库什么是数据仓库数据仓库四大特征数据仓库作用数据仓库与数据库的区别数据集市数据模型数据仓库分层数据仓库模型元数据数据仓库命名规范实践 用户活跃度分析需求分析日志数据采集ODS层数据加载DWD层数据加载活跃用户加载DWS层数据加载ADS层数据新增用户加载DWS层数据加载ADS层数据留存数据加载DWS层数据加载ADS层数据文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。数据仓库理论数据仓库什么是数据仓库数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化
2020-09-22 11:32:12
178
原创 离线数据仓库之用户活跃度分析
离线数据仓库项目:用户活跃度分析需求分析日志数据采集用户活跃表总体情况ODS层数据加载DWD层数据加载活跃用户加载DWS层数据加载ADS层数据[日、周、月]加载ADS层数据[最近7天连续活跃3天]新增用户加载DWS层数据加载ADS层数据留存数据加载DWS层数据加载ADS层数据文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。记录一下数据仓库学习笔记，第一次接触数据仓库，重点不在于数据仓库项目实现，而是要理解明白怎么一步步构建数据仓库从需求分析、数据采集、建立表、数据分层、数据一层层转换得到最终所需要
2020-09-22 11:31:00
597
原创 Zookeeper学习笔记
Zookeeper学习笔记Zookeeper组成Zookeeper 特点LeaderFollowerObserverZookeeper集群搭建Zookeeper数据结构与监听机制ZNode 的类型ZNode 的状态信息Watcher 机制Zookeeper内部原理Leader选举ZAB一致性协议Zookeeper应用实践zk实现分布式锁文章学习笔记内容来源：拉勾教育大数据开发高薪训练营。记录整理一下Zookeeper的一些的学习笔记以方便后续复习。Zookeeper组成Zookeeper 特点
2020-09-22 11:30:17
348
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人