一杯咖啡半杯糖-CSDN博客

原创 Flink】FlinkSQL读取hive数据并使用hive原生函数

Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取并使用hive原生的函数做操作，方便后续的操作，本次例子为Flink1.13.6版本

2024-02-21 22:45:00 144

原创【Flink】FlinkSQL实现数据从Hive到MySQL

未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习FlinkSQL势在必行。本博客在sql-client（Flink自带的sql执行器）中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Hive传输到MySQL具体操作，本例子Flink版本1.13.6，具体操作如下：

2024-02-21 21:00:00 476 1

原创【Flink】NoResourceAvailableException: Could not acquire the minimum required resources.

[ERROR] Could not execute SQL statement. Reason:org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Could not acquire the minimum required resources.

2024-02-20 20:45:00 194

原创【Flink】FlinkSQL读取hive数据（批量）

Hive在整个数仓中扮演了非常重要的一环，我们可以使用FlinkSQL实现对hive数据的读取，方便后续的操作，本次例子为Flink1.13.6版本

2024-02-20 20:00:00 624

原创【Flink】IllegalArgumentException: Embedded metastore is not allowed. Make sure you have set a valid

[ERROR] Could not execute SQL statement. Reason:java.lang.IllegalArgumentException: Embedded metastore is not allowed. Make sure you have set a valid value for hive.metastore.uris

2024-02-19 20:00:00 213

原创【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration或者ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo都可解决

2024-02-19 19:45:00 393

原创【Flink】FlinkSQL实现数据从Kafka到MySQL

未来Flink通用化，代码可能就会转换为sql进行执行，大数据开发工程师研发Flink会基于各个公司的大数据平台或者通用的大数据平台，去提交FlinkSQL实现任务，学习Flinksql势在必行。本博客在sql-client中模拟大数据平台的sql编辑器执行FlinkSQL,使用Flink实现数据从Kafka传输到MySQL具体操作，这个在生产开发中比较常用，通常生产用kafka作为数据的输入，本例子Flink版本1.13.6，具体操作如下：

2024-02-06 20:45:00 995 1

原创【Flink】SQL-CLIENT中出现 Could not find any factory for identifier ‘kafka‘

[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'kafka' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.

2024-02-06 20:00:00 672

原创【Flink】FlinkSQL的DataGen连接器（测试利器）

我们在实际开发过程中可以使用FlinkSQL的DataGen连接器实现FlinkSQL的批或者流模拟数据生成，DataGen 连接器允许按数据生成规则进行读取，但注意:DataGen连接器不支持复杂类型: Array，Map，Row。请用计算列构造这些类型

2024-02-05 20:00:00 868 1

原创【Flink】FlinkSQL实现数据从MySQL到MySQL

我们在实际开发过程中可以使用Flink实现数据从MySQL传输到MySQL具体操作，本例子Flink版本1.13.6，具体操作如下：

2024-02-01 21:45:00 426

原创【Flink】UnknownTaskExecutorException: No TaskExecutor registered under container_e120_1704433285657_0

ERROR org.apache.flink.runtime.rest.handler.taskmanager.TaskManagerLogFileHandler [] - Unhandled exception.org.apache.flink.runtime.resourcemanager.exceptions.UnknownTaskExecutorException: No TaskExecutor registered under container_e120_1704433285657_0254

2024-01-21 09:30:00 134

原创【Flink】FlinkSQL读取Mysql表中时间字段相差13个小时

Flink版本1.13，在我们使用FlinkSQL读取Mysql中数据的时候，发现读取出来的时间字段中的数据和Mysql表中的数据相差13个小时，Mysql建表语句及插入的数据如下；

2024-01-18 22:00:00 370 2

原创【Flink】FlinkSQL出现ClassCastException: java.lang.Long cannot be cast to java.lang.Integer

[ERROR] Could not execute SQL statement. Reason:java.lang.ClassCastException: java.lang.Long cannot be cast to java.lang.Integer

2024-01-18 21:15:00 120

原创【Flink】FlinkSQL出现Access denied for user ‘root‘@‘%‘ to database ‘192.168.0.1:3306/test‘

[ERROR] Could not execute SQL statement. Reason:java.sql.SQLSyntaxErrorException: Access denied for user 'root'@'%' to database '192.168.0.1:3306/test'

2024-01-18 21:00:00 65

原创【Flink】The primary key is necessary when enable ‘Key: ‘scan.incremental.snapshot.enabled‘ , default:

[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: The primary key is necessary when enable 'Key: 'scan.incremental.snapshot.enabled' , default: true (fallback keys: [])' to 'true'

2023-12-14 21:30:00 1170

原创【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils

[ERROR] Could not execute SQL statement. Reason:java.lang.ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils

2023-12-14 21:00:00 1090

原创【Flink】 FlinkSQL客户端报 Could not execute SQL statement. Reason:java.net.ConnectException: 拒绝连接

[ERROR] Could not execute SQL statement. Reason:java.net.ConnectException: 拒绝连接

2023-12-06 21:15:00 822

原创【Flink】ValidationException: Could not find any factory for identifier ‘jdbc‘ that implements ‘org.ap

[ERROR] Could not execute SQL statement. Reason:org.apache.flink.table.api.ValidationException: Could not find any factory for identifier 'jdbc' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath.

2023-12-06 21:00:00 1060

原创【VictoriaMetrics】单机版配置

VictoriaMetrics单机版配置（中文版）

2023-10-24 09:18:30 495

原创 Datax从mysql同步数据到HDFS

在实际使用Datax的时候，比较常用的是同步业务数据（mysql中的数据）到HDFS来实现数仓的创建，那么怎么实现呢？我们一步步来实现（基于Datax 3.0.0）

2023-09-20 22:00:00 567

原创【Flink】 FlinkCDC读取Mysql（ DataStream 方式）（带完整源码，直接可使用）

简介： FlinkCDC读取Mysql数据源，程序中使用了自定义反序列化器，完整的Flink结构，开箱即用。本工程提供1、项目源码及详细注释，简单修改即可用在实际生产代码2、成功编译截图3、自己编译过程中可能出现的问题4、mysql建表语句及测试数据5、修复FlinkCDC读取Mysql数据时间戳差8小时问题6、自定义反序列化器让FlinkCDC读取和后续的处理更方便

2023-09-14 21:15:00 795

原创【Flink】FlinkCDC获取mysql数据时间类型差8小时时区解决方案

1、背景：在我们使用FlinkCDC采集mysql数据的时候，日期类型是我们很常见的类型，但是FlinkCDC读取出来会和数据库的日期时间不一致，情况如下FlinkCDC获取的数据中create_time字段1694597238000转换为时间戳2023-09-13 17:27:18，而数据库中原始数据如下，并没有到下午5点，这就导致了FlinkCDC读出来的时间和数据库中实际的时间不一致的情况，与数据库对比可以发现,这里的时间戳与数据库时间刚好相差了 8 个小时,在实际生产中这种情况是不

2023-09-14 20:45:00 1287

原创【Flink】FlinkCDC自定义反序列化器

在我们用FlinkCDC采集mysql数据（或其他数据源）的时候，FlinkCDC输出的格式不标准，不利于我们后续做数据处理，我们通常会使用自定义反序列化器来格式化采集数据方便后续处理

2023-09-14 20:00:00 533

原创【Flink】FlinkCDC报错Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘.

Caused by: io.debezium.DebeziumException: Cannot read the binlog filename and position via 'SHOW MASTER STATUS'. Make sure your server is correctly configured

2023-09-13 22:45:00 255

原创 Mysql开启binlog

本案例基于mysql5.7.16实验1、在linux中进入mysql查询binlog是否打开，执行命令如下：

2023-09-13 17:00:26 1308

原创 [CKA]考试注意事项及作者考试结果

在CKA考试的时候，注意目前可以使用中文名进行注册，最后证书上的名字也是中文名

2023-08-28 11:14:56 335 1

原创【Flink】Flink提交流程

我们通常在学习的时候需要掌握大数据组件的原理以便更好的掌握这个大数据组件，Flink实际生产开发过程中最常见的就是提交到yarn上进行调度，模式使用的Per-Job模式，下面我们就给大家讲下Flink提交Per-Job任务到yarn上的流程，流程图如下

2023-08-23 21:30:00 753

原创【Flink】Flink架构及组件

我们学习大数据知识的时候，需要知道大数据组件如何安装以及架构组件，这将帮助我们更好的了解大数据组件

2023-08-23 20:30:00 550

原创【Flink】Flink窗口触发器

通常来说使用默认的触发器即可，但是有个特殊的使用情景，业务数据不一定是连续进入的，有的时候没有数据就没有水印生成也就没有触发计算，用户没有看到数据，但实际上不需要等到窗口结束才能获取结果，需要不断获取到中间结果，在固定的interval获取到窗口的中间结果。数据进入到窗口的时候，窗口是否触发后续的计算由窗口触发器决定，每种类型的窗口都有对应的窗口触发机制。通过对比 ProcessTime 和窗口结束时间戳确定是否触发窗口，如果 ProcessTime 的时间大于窗口结束时间戳则触发计算，反之不触发计算。

2023-08-18 21:00:00 1277

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

java语言springboot 二次封装azkaban 实现azkaban 的创建 执行

java实现es sql分页，采用SSM架构实现，开箱即用

yanagishima-18.0.zip

空空如也

java语言springboot 二次封装azkaban 实现azkaban 的创建执行