- 博客(1089)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 数据仓库思维导图
一、数据仓库 1.1、什么是数据仓库 1.1.1、简介 1.1.2、四个特性 1.1.2.1、面向主题 1.1.2.2、集成化的 1.1.2.3、稳定性 1.1.2.4、随着时间变化的 1.2、数据仓库发展 1.3、数据库与数据仓库的区别 1.4、数据仓库架构分层 1.5、元数据介绍 1.6、数据仓库建模 1.6.1、事实表 与 维度表 1.6.2、雪花模型 1.6.3、星型模型 1.6.4、星座模型 1.7、 1.x、 1.
2021-08-25 21:16:15
1372
5
原创 impala目录导图
一、Impala介绍二、Impala架构及组件三、安装（这个忽略，使用的CDH，傻瓜式安装v3.1.0-cdh6.1.1）四、Impala-shell五、SQL语法
2020-12-29 06:53:53
282
原创 kafka目录导读（入门到进阶）
一、部署1.1、安装部署二、概念及理论2.1、2.2、kafka文件存储三、整合3.1、kafka+flume3.2、flume+kafka+stormflume之kafkaSinkstrom之KafkaSpout测试问题
2020-05-06 15:48:58
458
原创 大数据开发 岗位需要的知识
一、大数据的三个发展方向平台搭建/优化/运维/监控大数据开发/设计/架构数据分析/挖掘。二、大数据的4V特征：数据量大，TB->PB数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据...
2020-04-22 17:54:33
787
原创 ES入门与进阶
ES 类比 MySqlMySqlESdatabase(数据库)index(索引库)table(表)type(类型)row(行)document(文档)column(列)field(字段)
2019-02-07 14:22:48
1192
1
原创 Hive目录导图
一、hive基础篇1.1、介绍1.2、安装1.3、命令1.4、数据模型1.5、表结构1.6、函数1.7、hive的jdbc模式
2018-08-06 09:46:38
827
2
原创 【SQL】Spark SQL 比较上下两条数据，多个字段多个条件，赋值一个结果字段成一个array，
比较上下两条数据，多个字段多个条件，赋值一个结果字段成一个array，
2023-10-10 10:03:51
281
原创 nvcc not found
报错：nvcc fatal : Value ‘compute_30’ is not defined for option ‘gpu-architecture’检查cuda 安装成功。cuda 目录下没有。
2023-08-14 21:41:36
545
原创 [docker] Error response from daemon: reference does not exist
docker 删除镜像报错
2023-05-14 21:29:28
3638
原创 UTC时间、GMT时间、CST时间（北京时间）、时间戳
Greenwich Mean Time，格林尼治平时，又称格林尼治平均时间或格林尼治标准时间。是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间。GMT存在较大误差，因此现在已不再被作为标准时间使用。现在的标准时间，是由原子钟报时的协调世界时（UTC）：Universal Time Coordinated，中文名称：世界标准时间或世界协调时。UTC时间可以理解为。它实际上反映了一种约定，即为全世界所认可的一个统一时间，而不是某特定地区的时间。中国人常用的。
2023-04-22 12:25:19
19085
原创 Hudi集成Flink-写入方式
参考： https://chbxw.blog.csdn.net/article/details/119841434。CDC(change data capture) 保证了完整数据变更，目前主要有两种方式。1、kafak 作为 源表，flinksql 消费kafka。1、使用 mysql-cdc 监听 binlog。3、将 kafka 中数据 写入 hudi。2、kafka 作为 sink表。接下来我们主要介绍 第二种方式。2、创建hudi目标表。3、写入sink 表。
2023-04-14 00:08:25
1546
原创 hudi 与 Flink 整合
只编译 packaging/hudi-flink-bundle 及其依赖的模块。修改pom.xml 中 flink 的版本。
2023-04-09 15:09:31
433
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人