水哥哥的-CSDN博客

原创 Flink Stanalon HA

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...

2019-09-15 18:50:28 183

原创用Flink对Operator State 状态的代码进行hdfs的CheckpointedFunction恢复

依赖 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version&gt...

2019-09-01 17:00:37 302

原创用Flink对keyed state 状态的代码进行设置TTL(过期时间)和hdfs的checkpoints恢复和配置Flink-conf.yaml

依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-core</artifactId> <version>1.8.1</version>...

2019-09-01 16:47:23 2450

原创用Flink将kafka的数据存到redis中

依赖<dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version></dependency>代码/...

2019-08-27 20:08:15 1164

原创用Flink将kafka的数据存到kafka中

依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.11</artifactId> <version>1.8.1</version></dependency&g...

2019-08-27 20:06:15 557

原创 Flink搭建和测试

环境搭建Flink 安装部署前提条件HDFS正常启动 (SSH免密码认证)JDK1.8+上传并解压flink[root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr/配置flink-conf.yaml配置文件[root@CentOS ~]# cd /usr/flink-1.8.1/[root@...

2019-08-26 21:41:56 339

原创 Spark Stanalone HA集群搭建

Standalone集群构建基础环境准备物理资源：CentOSA/B/C-6.10 64bit 内存2GB主机名IPCentOSA192.168.221.136CentOSB192.168.221.137CentOSC192.168.221.138[外链图片转存失败(img-l9lPb4wS-1566826494200)(assets/156...

2019-08-26 21:36:41 461

原创用structuredStreaming将kafka数据存到kafka中（jar包形式运行）

依赖 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <versio...

2019-08-25 14:35:47 566

原创用spark将kafka的数据存到kafka中（方案二）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...

2019-08-20 19:12:14 166

原创用spark将kafka的数据存到kafka里（方案一）

依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version> ...

2019-08-20 19:10:21 646

原创用mapreduce将hdfs的数据存到mysql中（虚拟机的mysql）

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9.2</versio...

2019-08-18 17:25:47 466 1

原创用mapreduce将hdfs的数据存入到hbase中

依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.6.0</version> ...

2019-08-18 10:16:49 299

原创用spark将hdfs数据存到hbase中

第一步依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.3</version>...

2019-08-16 20:00:18 368

原创用spark Streamming 将kafka的数据展示到控制台

第一步依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.4.3</version></dep...

2019-08-16 19:56:53 654

原创用spark Streamming 将mysql的数据展示到控制台