4 w1992wishes

尚未进行身份认证

我要认证

走走看看,停停想想。

等级
TA的排名 2w+

【Flink】Flink cep

文章目录一、概念二、核心--Pattern API2.1、个体模式2.1.1、量词2.1.2、条件2.2、组合模式2.2.1、循环模式中的连续性2.2.2、模式操作2.3、模式的检测2.4、匹配事件的提取2.5、处理超时部分模式三、demo四、来源一、概念什么是 CEP:复合事件处理(Complex Event Processing,CEP)Flink cep 是在 flink 中实现的一个复杂事件处理库一个或多个简单事件构成的事件流通过一定的规则匹配,然后输出用户得到的数据–满足规则的复杂事件

2020-07-28 16:50:45

【Flink】Flink 状态管理

文章目录一、前言二、状态类型2.1、Keyed State2.2、Operator State三、状态横向扩展四、检查点机制4.1、开启检查点4.2、保存点机制五、状态后端5.1、状态管理器分类MemoryStateBackendFsStateBackendRocksDBStateBackend5.2、配置方式六、状态一致性6.1、端到端(end-to-end)6.2、Flink+Kafka 实现端到端的 exactly-once语义七、链接文档一、前言有状态的计算是流处理框架要实现的重要功能,因为稍复

2020-07-21 16:56:16

【Flink】Flink Watermark 机制浅析

文章目录一、前言二、Time三、乱序事件场景和 watermark四、watermark 的分配4.1、With Periodic Watermarks4.2、With Punctuated Watermarks五、Watermark 案例实战六、迟到事件6.1、举例6.2、实战七、并行流中的 Watermark八、总结一、前言Flink 为实时计算提供了三种时间,即事件时间(event time)、摄入时间(ingestion time)和处理时间(processing time)。在进行 windo

2020-07-17 16:51:11

Alluxio 简单使用

文章目录一、 Alluxio HA二、HDFS 集成 Alluxio2.1、Configuring core-site.xml2.2、Configuring HADOOP_CLASSPATH三、Spark 集成 Alluxio3.1、配置3.2、Spark SQL 读取 Alluxio四、Hive 集成 Alluxio4.1、配置4.2、Hive 内部表关联 Alluxio4.3、调整原有 hdfs 上的表读取 alluxio一、 Alluxio HA下载 tar 包,这里选择了 2.0 版本,下载

2020-05-26 16:50:49

【Hadoop】Hadoop 2.9.2 HA安装

文章目录一、准备二、修改配置三、分发四、启动环境:Ubuntu 16.04Hadoop 版本:2.9.2一、准备1.1、所有节点修改 /etc/hosts192.168.11.72 master192.168.11.73 node1192.168.11.74 node2192.168.11.75 node3192.168.11.76 node41.2、所有的节点安装 JDK1.下载对应的 jdk 版本2.解压到 /usr/local/lib 下, tar -zxvf jdk-xxx

2020-05-19 10:38:44

hbase 总结

一、HBase Get 流程1.1、客户端流程解析客户端首先会根据配置文件中zookeeper地址连接zookeeper,并读取//meta-region-server节点信息,该节点信息存储HBase元数据(hbase:meta)表所在的RegionServer地址以及访问端口等信息。用户可以通过zookeeper命令(get //meta-region-server)查看该节点信息。...

2020-04-22 11:25:40

【Hadoop】Hadoop Snappy 安装 (Ubuntu 16.04)

文章目录一、hadoop checknative二、所需组件三、安装依赖包四、安装 Snappy五、安装 protobuf六、hadoop-src-2.9.2 编译源码七、hadoop 添加 snappy八、hbase 添加 snappy一、hadoop checknative首先检查下 hadoop 是否已经集成 snappy:hadoop checknative -aNative l...

2020-04-16 14:38:36

【Hive】Hive 优化小结

文章目录一、简述二、表设计层面优化2.1、利用分区表优化2.2、利用桶表优化2.3、选择合适的文件存储格式2.4、选择合适的压缩方式三、分阶段优化3.1、map 阶段优化3.2、reduce 阶段优化四、 SQL 语法优化4.1、列裁剪4.2、分区裁剪4.3、Join优化4.3.1、使用相同的连接键4.3.2、小表 join 大表原则4.3.3、启用 mapjoin4.3.4、桶表 mapjoin...

2019-12-19 18:48:14

【Java 并发】Java 并发包基石-AQS详解

文章目录一、AQS 介绍二、AQS 使用2.1、使用方式2.2、使用实例2.3、使用测试三、AQS 实现3.1、Node 结点3.2、独占式获取同步状态--acquire()3.3、独占式释放同步状态--release()3.4、共享式获取同步状态--acquireShared3.5、共享式释放同步状态--releaseShared四、总结一、AQS 介绍队列同步器 AbstractQueue...

2019-08-23 14:44:45

【HBase】HBase phoenix 安装使用

文章目录一、Hbase 集成 Phoneix1.1、下载1.2、解压1.3、拷贝 jar 包至所有节点1.4、开启 schema 与 namespace 的对应关系1.5、重启 HBase1.6、启动 phoneix二、Phoneix 集成 Hbase 创建二级索引2.1、配置2.2、命令行工具 psql 使用2.3、二级索引测试1、正常查询2、创建全局索引3、创建本地索引2.4、二级索引总结1、...

2019-12-07 10:50:07

【Spark】Spark On Yarn 安装

文章目录一、下载和解压二、配置2.1、配置 spark-default.conf,按需调整2.2、配置 spark-env.sh2.3、配置 slaves2.4、创建目录2.5、拷贝到其他节点2.6、配置环境变量三、启动与测试3.1、启动 Standalone 模式3.2、 启动 spark 的 history-server3.3、测试 Yarn 模式一、下载和解压https://archiv...

2019-11-14 14:38:41

【Hive】Hive 整合映射 HBase

文章目录## 一、前言二、适用场景三、依赖条件四、具体使用4.1、Hive 表映射到 Hbase 中4.2、HBase 表映射到 Hive 表中4.3、Hive Map 类型在 HBase 中的映射4.4、 使用 Hive 集成 HBase 表的需注意五、来源## 一、前言HBase 只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询,对于数据分析来说,不太友好。hive ...

2019-11-13 15:04:58

【Hive】Hive 建表语句详解

文章目录一、hql 建表语法格式二、参数说明三、创建表的三种方式3.1、 使用 create 命令3.2、 create table ...as select..(CTAS)3.3、 使用 like 创建相同结构的表一、hql 建表语法格式hql不区分大小写,[]里的属性是可选属性。 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name ...

2019-11-08 14:48:48

【Hive】Hive 2.3.4 安装

文章目录一、前期工作二、下载安装2.1、下载2.2、安装2.3、设置环境变量三、 创建 hive 所要的 hdfs 目录四、修改 hive 所需配置4.1、配置文件 hive.site.xml4.2、创建及配置 Mysql4.2.1、创建 Hive 数据库4.2.2、配置 Hive 数据库4.2.3、拷贝 JDBC 驱动包4.2.4、初始化 Hive 数据库4.3、 配置文件 hive-env.s...

2019-11-07 17:44:05

【HBase】HBase 架构

一、简单介绍HBase 存储是基于 Hadoop 的,采用的是 Key/Value 的存储方式,这意味着,随着数据量增大,也几乎不会导致查询的性能下降。HBase 又是一个列式数据库(对比于传统的行式数据库而言),当表字段很多的时候,甚至可以把其中几个字段放在集群的一部分机器上,而另外几个字段放到另外一部分机器上,充分分散了负载压力。数据分析是 HBase 的弱项,因为对于 HBase 乃至整...

2019-10-30 19:35:09

【Hadoop】MapReduce shuffle 过程详解

非原创,转载自: https://blog.csdn.net/u014374284/article/details/49205885文章目录一、MapReduce计算模型二、Map shuffle2.1、Partition2.2、Collector2.3、Sort2.4、Spill2.5、Merge三、Reduce shuffle3.1、Copy3.2、Merge Sort四、参考一、MapR...

2019-10-17 14:37:04

【ES】ElasticSearch 深入分片

文章目录一、分片介绍1.1、主分片1.2、复制分片二、分片的存储2.1、写索引过程2.2、存储原理2.2.1、索引的不可变性2.2.2、段的引入2.2.3、延迟写策略--近实时搜索--fresh2.2.4、持久化--flush2.2.5、合并段三、来源资料一、分片介绍分片是 Elasticsearch 在集群中分发数据的关键。把分片想象成数据的容器。文档存储在分片中,然后分片分配到集群中的节...

2019-10-14 20:01:46

【ES】ElasticSearch analyzer 和 analyze API

文章目录一、分词二、分析器 analyzer2.1、简介2.2、中文分析器2.2.1、离线安装2.2.2、在线安装(推荐)2.2.3、 ik_max_word 和 ik_smart 区别2.3、自定义分析器三、analyze api3.1、写时分词3.2、读时分词一、分词搜索引擎的核心是倒排索引,而倒排索引的基础就是分词。所谓分词可以简单理解为将一个完整的句子切割为一个个单词的过程。在 es ...

2019-10-12 16:51:59

【ES】ElasticSearch 结构化查询和过滤

文章目录@[toc]一、DSL1.1、叶子查询语句1.2、复合查询语句二、Query DSL 和 Filter DSL2.1、Query DSL2.2、Filter DSL2.3、比较三、重要的查询过滤语句3.1、match3.2、multi_match3.3、match_phrase3.4、match_all3.5、term3.6、terms3.7、range3.8、exists3.9、bool...

2019-10-09 20:29:44

【ES】ElasticSearch 映射(mapping)

文章目录一、定义1.1、动态映射 (dynamic mapping)1.2、显式映射(explicit mappings)二、数据类型及支持属性2.1、核心类型(Core datatype)2.2、复合类型(Complex datatypes)2.2.1、对象2.2.2、数组2.2.3、嵌套数据2.3、地理位置类型(Geo datatypes)2.4、特定类型(Specialised dataty...

2019-10-08 20:26:49

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取