码农_程序员-CSDN博客

原创 Flink 实战问题（八）：NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.close

批处理写入kafka，结束关闭kafka时出现错误：NoSuchMethodError: org.apache.kafka.clients.producer.KafkaProducer.close

2022-10-15 09:12:58 2195 1

原创 Prometheus Pushgateway简介（二）

我们有一些需要脚本、或者代码方式推送监控信息，这时就需要Pushgateway，Pushgateway也是prometheus的一个组件。Pushgateway需要把监控数据发送给Prometheus server

2022-09-10 10:04:39 450

原创 Hbase实战问题（二）/hbase/WALs/id,端口,xxxxxxxx-splitting is non empty: Directory is not empty

hdfs、hbase的集群挂掉，查看hdfs日志org.apache.hadoop.fs.PathIsNotEmptyDirectoryException:/hbase/WALs/id,端口,xxxxxxxx-splitting is non empty: Directory is not empty

2022-06-26 07:58:09 818

原创 Flink 实战问题（七）：No Watermark(Watermarks are only available EventTime is used)

实现窗口统计时，出现No Watermark(Watermarks are only available EventTime is used)

2022-06-21 22:54:20 2853

原创 Flink 实战问题（六）：Cannot instantiate user function、StreamCorruptedException: unexpected block data

Flink 任务提交，刚启动，一直运行报错：org.apache.flink.streaming.runtime.tasks.StreamTaskException: Cannot instantiate user function、StreamCorruptedException: unexpected block data

2022-06-12 23:21:41 4095

原创 Flink 实战问题（五）：The transaction timeout is larger than the maximum value allowed by the broker

设置kafka producer为Semantic.EXACTLY_ONCE会报Unexpected error in InitProducerIdResponse; The transaction timeout is larger than the maximum value allowed by the broker (as configured by max.transaction.timeout.ms)

2022-05-12 09:26:55 1518

原创 Flink（十二）:Task与算子链简介

Flink 将算子的 subtasks 链接成 tasks。每个 task 由一个线程执行。默认情况下，Flink 允许 subtask 共享 slot，即便它们是不同的 task 的 subtask，只要是来自于同一作业即可，将算子链接成 task 是个有用的优化：它减少线程间切换、缓冲的开销，并且减少延迟的同时增加整体吞吐量。

2022-04-10 14:43:35 2493

原创 Flink(十一)：Parallelism 、Slot 简介

TaskManager（也称为 worker）执行作业流的 task，在 TaskManager 中资源调度的最小单位是 task slot，slot也起到缓存和交换数据流，TaskManager 中 task slot 的数量表示并发处理 task 的数量，Flink 每个task 的数量是由Parallelism设置的，合理设置solt、parallelism的数量对减少延迟、增加整体吞吐量起到关键作用

2022-04-08 22:53:43 2247

原创 Flink实战问题（五）：TaskManager memory configuration failed: Derived JVM Overhead size

flink 运行任务突然报错，org.apache.flink.configuration.IllegalConfigurationException: TaskManager memory configuration failed: Derived JVM Overhead size (2.500gb (2684354560 bytes)) is not in configured JVM Overhead range [192.000mb (201326592 bytes), 1024.000mb (1

2022-03-30 18:00:48 6109

原创 Flink(八)：Flink 进程内存、总内存内存简介

Apache Flink 是一个分布式系统，它需要计算资源来执行应用程序。Flink 集成了所有常见的集群资源管理器，例如Hadoop YARN、Apache Mesos和Kubernetes，Apache Flink 也是基于 JVM 的高效处理能力，我们需对各组件内存的了解，更好的使用内存。

2022-03-27 20:02:40 4212

原创 Flink(九)：JobManager 内存简介

JobManager 具有许多与协调 Flink 应用程序的分布式执行有关的职责：它决定何时调度下一个 task（或一组 task）、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等等。这个进程由三个不同的组件组成ResourceManager、Dispatcher、JobMaster。需对JobManager 内存详细了解，以及内存在整体上以及细粒度上的配置方法二、JobManager 内存模型简介三、运用

2022-03-26 22:03:28 3120

原创 Flink(十)：TaskManager 内存简介

Flink TaskManager（也称为 worker）执行作业流的 task，并且缓存和交换数据流，TaskManager 负责执行用户代码。根据实际需求为 TaskManager 配置内存将有助于减少 Flink 的资源占用，增强作业运行的稳定性。

2022-03-26 22:00:22 5423

原创 Flink 实战问题（四）：ValidationException: Could not find any factory for identifier ‘avro-confluent‘

采用FLink SQL 读取kafka 数据，数据格式是avro('value.format' = 'avro-confluent')，任务启动报错了ValidationException: Could not find any factory for identifier 'avro-confluent'

2022-03-23 20:53:03 2229

原创 ClickHouse 实战问题(一)：superset 链接clickhouse问题

一、背景clickhouse的需采用superset可视化报表展示， superset配置clickhouse数据源（ clickhouse://username:password@ip:8123/database），出现缺失列名问题二、问题（一）问题1: ERROR:Unexpected error occurred解决：安装clickhouse-driver、clickhouse-sqlalchemy，链接显示成功三、问题（二）解决问题1，发现cli...

2022-03-15 22:38:43 1778

原创 Flink(七)：Session Windows例子

会话窗口按活动会话对元素进行分组。与滚动窗口和滑动窗口相比，会话窗口不重叠，也没有固定的开始和结束时间。相反，当会话窗口在一段时间内没有接收到元素时，即当出现不活动间隙时，会话窗口将关闭。会话窗口可以配置有会话间隙功能，该功能定义不活动的时间长度。当此期限到期时，当前会话关闭，后续元素被分配到新的会话窗口。实现对应的例子

2022-03-12 21:03:25 2484 1

原创 Flink(六)：Tumbling Windows 例子

滚动窗口将每个元素分配给指定窗口大小的窗口。滚动窗口具有固定大小并且不重叠。例如，如果指定一个大小为 5 分钟的滚动窗口，则将评估当前窗口，并每隔五分钟启动一个新窗口，我们实现对应的例子

2022-03-12 20:56:55 3113

原创 Prometheus Grafana 安装

Grafana支持Prometheus可视化Prometheus是一个开源监控系统，Prometheus架构图如下：

2022-03-12 19:45:20 892

原创 Flink(五)：watermark简介

一、简介我们基于特定时间段进行聚合时，可以引用不同的时间类型，Flink 最新版本提供了Event Time、Processing Time 两种时间类型。数据在Flink 流转时，有时因为网络、资源等，产生一些乱序，获取到时间乱序，为了统计数据更准确，Flink 提供了水位线WaterMark 来跟踪Event Time。二、watermark介绍数据在Flink流转过程中，产生一些乱序，获取到时间乱序，如图所示： ...

2022-01-20 22:08:34 2452

原创 Flink（四） :窗口简介

Flink在流处理过程中，数据不断进来，我们需要在一个时间段内进行维度上对数据进行聚合（窗口），Flink提供了Tumbling Windows（无重叠）、Sliding Windows（有重叠）、Session Windows（无重叠）三种窗口类型，窗口驱动主要分为（时间、数量）两种，根据我们实际的业务场景选择不同的窗口类型。

2022-01-16 11:23:46 2666

原创 Flink （三）：MaxCompute DataSet Connector

一、背景需把MaxCompute的结果采用FLink DataSet 读取数据，并sink到目标表，采用离线批处理读取数据并二、全量同步代码MaxCompute源表和结果表依赖 VVR 4.0.7（对应Flink 1.13） <dependency> <groupId>com.alibaba.ververica</groupId> <artifactId>ververica-connector-odps<

2022-01-12 22:01:37 1085

原创 Flink （二）：MaxCompute DataStream Connector

一、背景需把MaxCompute的结果采用FLink DataStream 读取数据，并sink到目标表，MaxCompute文档那边一直没看到文档，后面查看了阿里的FLink文档，这边整理一下，方便后面操作二、全量同步代码MaxCompute源表和结果表依赖 VVR 4.0.7（对应Flink 1.13） <dependency> <groupId>com.alibaba.ververica</groupId> &...

2022-01-10 21:26:07 1614

原创 Hbase实战问题（一）：清理Hbase的hdfs上archive目录

目录一、背景二、问题三、分析并解决一、背景服务器的磁盘空间一直报警，查看hdfs已经占用了快满了，这时排查hdfs的各个目录占用空间，发现hbase占用很大# 查看hdfs根目录各文件夹占用空间hdfs dfs -du -h /查看hbase文件下的各个文件夹占用空间hdfs dfs -du -h /hbase二、问题 hdfs dfs -du -h /hbase/archive 占用很大三、分析并解决1、分析 ...

2022-01-05 18:46:40 3567

原创 spark实战问题（一）：is running beyond physical memory limits. Current usage: xx GB of xx GB physical memory

一：背景Spark 任务出现了container内存负载出现OOM二：问题 Application application_xxx_xxxx failed 2 times due to AM Container for appattempt_xxxx_xxxx_xxxx exited with exitCode: -104Failing this attempt.Diagnostics: Container [pid=78835,containerID=container_...

2022-01-04 18:50:42 3044

原创 Flink（一）：简介

一、简介 Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。无边界：有定义流的开始，但没有定义流的结束（我们不用等到所有数据都到达再处理，因为输入是无限的，数据源例如kafka，源源不断的读取数据，并进行不断处理）有边界：有定义流的开始，也有定义流的结束（有界流可以在摄取所有数据后再进行计算，数据源可以是文件等，可以称为批处理） Apache Flink 是一个分布式系统，它需要计算资源来执行应用程序。Fl...

2022-01-03 22:32:05 1044

原创 Spark （一）：Executor内存

一、背景 Spark是基于内存的分布式计算引擎，我们需对Executor内存管理的详细了解，方便我们遇到OOM解决问题、或者优化时更好调优，，Spark任务启动时有两个进程，分别为Driver、Executor进程，Driver进程（内存默认1G）可能在本地启动，也可能在集群中某个工作节点上启动（根据提交模式client、Cluster等）。Driver启动会申请资源（Executor），根据配置启动对应Executor数量，每个Executor进程都会对应一定数量的内存和CPU COR...

2022-01-02 12:10:59 2832

原创 Flink实战问题（三）： Failed to rollback to checkpoint/savepoint

一、背景二：错误Caused by: java.lang.IllegalStateException: Failed to rollback to checkpoint/savepoint hdfs://127.0.0.1/flink-checkpoints/78f7cb6b577fe6db19648ca63607e640/chk-6976. Cannot map checkpoint/savepoint state for operator e75d4004e6c5f0908bd4077fc

2021-12-28 20:52:55 2706

原创 Flink实战问题（二）：java.lang.RuntimeException: An error occurred in ElasticsearchSink

一：背景采用flink sql 入库elasticsearch出现入库失败，数据没入进去二：错误Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FailureRateRestartBackoffTimeStrategy(FailureRateRestartBackoffTimeStrategy(failuresIntervalMS=300000,backoffTimeMS...

2021-12-20 21:48:43 3844

原创 Flink实战问题（一）：Unable to create a sink for writing table

错误提示Unable to create a sink for writing table

2021-12-18 23:02:25 5855

原创 Kafka（四）：Kafka 生产者实现

Kafka是一种分布式的发布（producer）/订阅（consumer）的消息系统，并支持实时和离线的数据处理、可扩展、持久的。我们今天介绍通过java代码实现producer，包含了上一篇对参数的介绍，我们在发送Kafka主题时，参数配置也很重要，影响数据可靠性、吞吐量对Kafka 介绍、部署、配置参数的介绍可以参考前面的文章，我们对代码先分解介绍第一步：设置连接参数 Properties ...

2021-07-24 00:01:58 258

原创 Kafka(三)：kafka 配置参数详解

kafka集群安装、或者在使用kafka时，需对kafka配置参数进行调整、优化，对kafka的配置文件的参数要一定的了解，才能更好的维护、使用好kafka集群。 kafka的config目录下有很多配置文件，如图1所示，重点在consumer、producer、server配置文件，我们kafka在实战过程中与flink、spark 等结合使用，经常磁盘满、吞吐量没达到我们要求，我们要对配置参数要很熟悉，才能更好优化，接下去我们重点介绍consumer、producer、s...

2021-07-17 19:23:18 1754 2

原创学习MongoDB十三：MongoDB 性能分析

我们经常碰到MongoDB的CPU很高，有一些操作影响性能。面对很多操作语句，有的操作语句全表扫描，导致CPU很高，影响业务系统的响应速度以及入库性能，为了快速分析哪里出问题，mongoDB提供查询分析器。一：我们可以先通过当前操作命令db.currentOp()查看当前正在执行操作有哪些，可以先快速定位问题db.currentOp(){ "opid" :, "threadId" : "", "connectionId" :...

2021-07-10 17:56:28 934

转载最为详细的Docker入门总结

在计算机技术日新月异的今天， Docker 在国内发展的如火如荼。特别是在一线互联网公司 Docker 的使用是十分普遍的，甚至成为了一些企业面试的加分项，不信的话看看下面这张图。这是我在某招聘网站上看到的招聘 Java 开发工程师的招聘要求，其中有一条熟悉 Docker 成为了你快速入职的加分项，由此可见熟悉 Docker 在互联网公司的地位之重要。市面上已经有很多优秀的 Docker 教程，但是很多原理性的东西，笔者认为那些教程对初学者而言还是很难理解，感觉没有说清楚（笔者自己都觉得挺懵...

2020-10-27 16:19:41 273

原创 MongoDB 索引

一、简介在大数据量的MongoDB时索引可以提高查询效率，如果没有创建索引，查询MongoDB数据效率非常低，在查询数据时会对集合进行全表扫描并选取那些符合查询条件的记录。二、创建索引 db.collection.createIndex( <key and index type specification>, <options> )...

2019-04-14 13:42:12 728

原创 Storm（六）：数据流的分流与合流

Storm 对数据处理时，不同的数据交给不同的bolt来处理，然后处理好的数据传给同个bolt来存储到数据库，这时就需要分流与合流，我们通过一个例子了解分流与合流。

2017-06-11 11:19:18 3298

原创 Storm（五）拓扑并行度

Apache Storm分布式集群主要节点由控制节点(Nimbus节点)和工作节点(Supervisor节点)，一个工作节点运行一个或者多个Worker 进程，Worker 是Topology的子集，Topology对应一个或者多个Worker 。 Topology主要是由Worker 、Executor、Task组成的,Topology对应一个或者多个worker(是一个独立的JVM 进程) ，worker 下又有多个Executor线程，Executor下对应一个或者多个Task，默认情况下一个Ex

2017-06-11 11:02:32 1909

nginx+tomcat+memcached

空空如也