- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink 知识体系（二）Flink 部署及启动
Flink 支持多种安装模式:local（本地）——单机模式，一般不使用；standalone——独立模式，Flink 自带集群，开发测试环境使用；yarn——计算资源统一由 Hadoop YARN 管理，生产环境使用。 Flink 集群的安装不属于本文档的范畴，如安装 Flink，可自行搜索资料进行安 装。本节重点在 Flink 的 Yarn 部署模式。在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多 种类型的 Workload，可以使用 YARN 来管理所有计算资源。
2021-12-09 19:30:18
2369
1
原创 Flink知识体系 (一)flink简介
1. Flink 发展这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、 Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内 存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或 多或少的掩盖了其他分布式计算的系统身影。就像 Flink，也就在这个时候默默 的发展着。在国外一些社区，有很多人将大数据的计算引擎分成了 4 代，当然，也有很多 人不会认同。我们先姑且这么认为和讨论。首先第一代的计算引擎，无疑就是 Had
2021-12-09 19:05:42
1188
原创 HiveSQL 开发指南
目录第一部分：…3Hive 查询语句… 5 本文整体分为两部分，第一部分是简写，如果能看懂会用，就直接从此部分查，方 便快捷，如果不是很理解此 SQL 的用法，则查看第二部分，是详细说明，当然第二 部分语句也会更全一些！ 第一部分： hive 模糊搜索表：show tables like ‘name’;查看表结构信息：desc table_name;查看分区信息：show partitions table_name;加载本地文件：load data local inpath
2021-11-30 16:07:35
2615
原创 数据模型架构原则
数据模型架构原则1 数仓分层原则 1 数据源层:ODS(Operational Data Store) 2数据仓库层:DW(Data Warehouse) 1) 数据明细层：DWD (Data Warehouse Detail) 2) 数据中间层： DWM (DataWareHouse Middle) 3) 数据服务层： DWS (Data WareHouse Servce) 3 数据应用层:APP (Application)
2021-11-29 16:56:24
3043
原创 指标体系（一）
指标体系（一）本标准规定了指标标准的主要内容，包括指标项及其相关属性、公共维度、公共计算规则及名词术语。本标准按指标分类对指标项进行了规范化定义和管理，以满足公司业务管理、统计分析、系统建设、数据交换，及对外报送的需求。一.指标及指标体系定义1.度量，对公司业务的规模、程度、比例或结构等的衡量方式。根据度量个数可分为单一度量和组合度量。示例1：金额是单一度量、数量是单一度量。示例2：业务量是组合度量，含笔数和金额两个度量。2.维度 ，对公司在业务经营过程中所涉及对象的属性进行划分的方式。常用维度
2021-02-23 19:59:01
4652
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人