arwenlin-CSDN博客

原创 FLINK 1.12.2 读取KAFKA写入HIVE的完整示例

本文只提供FLINK 1.12.2 读取KAFKA写入HIVE的完整示例，具体说明可以参考《FLINK 1.12.2 流式写入HDFS（hive）的几种方式》和《FLINK 1.12.2 读取KAFKA的2种方式》。目录1依赖2代码3发布集群3.1打包后上传到集群执行3.2IDE远程发布集群执行1依赖<dependencies><dependency><groupId>com.fasterxml.jackson.core</

2021-05-21 16:24:19 3563 12

原创 FLINK 1.12.2 流式写入HDFS（hive）的几种方式

Flink 1.12.2 写入hdfs有3种方式，依照api出现的先后依次介绍，重点介绍Flink SQL on Hive的方式。目录1 streaming file sink2 FileSink3 Flink SQL on Hive3.1添加依赖3.2 配置Hive Catalog及使用Flink终端访问Hive3.3 代码调用Flink SQL写入Hive4 总结1 streaming file sink1.7版Flink开始支持通过StreamingFileSi

2021-05-21 15:18:44 14081 16

原创 FLINK 1.12.2 读取KAFKA的2种方式

目录1.引入Kafka相关依赖2.使用DataStream方式读取Kafka1.创建Flink执行环境2.创建kafka数据源并添加到执行环境中3.执行3.使用FlinkSQL方式读取Kafka1.创建执行环境2.创建kafka源表3.打印4.一点说明1.引入Kafka相关依赖无论哪种kafka读取方式，首先pom中要引入Flink的依赖<dependency><groupId>org.apache.flink</.

2021-05-20 13:59:17 3703 3

原创 FLINK 1.12.2 jdbc实现oracle或sqlserver连接器

Flink SQL Connector JDBC目前只支持Mysql，Derby和Postgres，但是oracle和sqlserver可以通过JDBC connector自己扩展。目前只能修改重编FLINK源码实现扩展，社区正在积极对此进行抽象和改造，未来应该会有更好的接口扩展方式。目录1.编译FLINK源码2.SQLSERVER JDBC扩展示例2.1 Flink JDBC源码简介2.2 Flink JDBC扩展思路2.3 Flink JDBC SQLServer connect

2021-05-18 14:17:12 6223 7

原创 FLINK 1.12.2 jdbc读写mysql

FLINK读写MySQL的方式有三种，一种是直接使用flink自带的JDBCInputFormat和JDBCOutputFormat，另一种是自定义source和sink，第三种是通过DDL连接MySQL进行读写。第二种针对每个源表都要写自定义的source和sink类，不够灵活；第一种是通过DataSet API实现的；考虑到官网一直强调Table API的流批统一性，以及代码的简易程度，这里选择第三种方式DDL链接jdbc来读写mysql。1.添加依赖参照官网需要添加如下两个jar包mysql-

2021-05-14 11:36:55 3621 3

原创 FLINK1.12.2 使用问题记录（持续更新）

问题记录清单1.使用StreamExecutionEnvironment创建StreamTableEnvironment写hive报错2.在IDE中无法写入hive3.flink使用catalog写入hive报错没有权限（相同问题在sparksql写入hive时也有）1.使用StreamExecutionEnvironment创建StreamTableEnvironment写hive报错问题描述：job在flink web界面中状态一直显示为restarting，检查job的exc.

2021-05-13 15:07:46 4011 2

转载 FLINK 1.12.2 中的TableEnvironment

声明：本节参考文章为阿里云开发者社区《Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个？》TableEnvironment 是用来创建 Table & SQL 程序的上下文执行环境，也是 Table & SQL 程序的入口，Table & SQL 程序的所有功能都是围绕 TableEnvironment 这个核心类展开的。TableEnvironment 的主要职能包括：对接外部系统，表及元数据的注册和检索，执行SQL语句，提供更详细的配置选项

2021-05-13 11:12:55 2497

arwenlin的博客