- 博客(38)
- 收藏
- 关注
RSS订阅原创 Flink CDC 3.0 表结构变更的处理流程
表结构变更主要涉及到三个类`SchemaOperator`、`DataSinkWriterOperator`（`Sink`端）和`SchemaRegistry`（协调器）；`SchemaOperator`接收结构变更消息时会通知`sink`端和协调器，并等待结构变更操作在协调器执行完毕后在处理后续数据
2024-01-29 08:44:49
931
原创 java句柄数过多解决办法
使用file-leak-detector指定为应用程序的javaagent，然后重启程序，通过file-leak-detector提供能力，可以查看句柄和线程名称的信息，可直接排查出是哪行代码问题。git地址：https://github.com/jenkinsci/lib-file-leak-detector。
2024-01-09 11:26:51
515
原创 源码解析Flink源节点数据读取是如何与checkpoint串行执行
Flink是通过锁对象SourceStreamTask.lock，来控制源端数据产生和Checkpoint的串行执行
2023-08-06 13:46:43
782
原创 Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
Flink非对齐checkpoint原理（Flink Unaligned Checkpoint）
2023-08-01 07:29:49
1015
原创 Future、FutureTask、CompletableFuture简介
Future、FutureTask、CompletableFuture简介
2022-03-06 16:23:59
4141
原创 Hive整合ES实现ES与Hdfs数据比对
文章目录Hive整合ES实现ES与Hdfs数据比对环境介绍准备Yarn和客户端环境在Hive中建表&插入数据创建ES索引基于ES索引创建Hive外部表创建表插入数据创建基于Hdfs外部表创建表插入数据数据比对总结客官且慢，点赞、收藏+关注 谢谢~Hive整合ES实现ES与Hdfs数据比对业务场景中需要ES数据和Hdfs数据进行比对，实现数据查漏补缺。为此需要将Hdfs与ES进行整合，从而引入elasticsearch-hadoop，目前elasticsearch-hadoop支持Map/Red
2021-12-30 13:22:56
2247
1
原创 ES7.15日志配置小结
ES7.0增加通过json记录ES日志，可在日志中加入node.id，cluster.uuid，type。其中type主要用于区分docker环境下的每个节点的日志。ES日志包括集群节点日志、过时日志、查询慢日志和写入慢日志等。日志级别调整，可以细化到包级别，此外还支持动态修改，例如将discovery模块日志级别设置为debug，其他模块仍然保持info级别。
2021-12-22 16:12:01
3306
原创 如何优雅的监控ES
文章目录如何优雅的监控ES整体监控安装安装准备安装&启动添加监控集群命令行工具有待改进点概况展示问题数据显示问题集群监控的搜索框ES堆外内存监控常用堆外内存监控工具es-pcstat整体架构运行环境监控范围监控方法基于Kibana监控展示下载、安装、运行、使用方法和案例有待改进点安装可能会遇见的坑参考资料如何优雅的监控ES本博客将介绍两个监控，第一个是ES的整体监控工具极限数据平台，监控内容包括集群、节点、索引和线程池信息；第二个是ES堆外内存监控es-pcstat。整体监控强烈推荐极限数
2021-12-12 20:54:54
3113
2
原创 ES集群中各节点角色功能简介
文章目录ES集群中各节点角色功能简介候选主节点（Master-eligible node）配置候选主节点配置只有选举权的节点数据节点目录数据节点（Content data node）热点数据节点（Hot data node）中温数据节点（Warm data node）冷数据节点（Cold data node）封存数据节点（Frozen data node)数据摄入节点（Ingest node）协调节点（Coordinating only node）远程候选节点（Remote-eligible node）机器
2021-12-07 13:26:17
3975
原创 通过Map/Reduce将HDFS数据写入ES，ES数据写入HDFS
环境准备系统 centos 7java 1.8hadoop 2.7ES 7.15.2 （ES单机版本安装可以参考：https://blog.csdn.net/weixin_36340771/article/details/121389741）准备hadoop本地运行环境获得Hadoop文件链接：https://pan.baidu.com/s/1MGriraZ8ekvzsJyWdPssrw提取码：u4uc配置HADOOP_HOME解压上述文件，然后配置HADOOP_HOME，注意修改地址。
2021-12-01 10:49:26
2333
原创 基于Centos 7.5安装单节点ES 7.15.2
环境概要系统：centos 7JDK: version 1.8获得安装包注意：如果没有安装shasum，使用"yum install shasum"安装mkdir /opt/modulecd /opt/modulewget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x86_64.tar.gzwget https://artifacts.elastic.co/download
2021-11-17 22:49:33
3148
原创 mysql数据库sql执行异常！
java.sql.SQLException: Zero date value prohibited at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError. at com.encdata.oss.service.impl.p...
2020-07-15 10:33:03
1599
原创 kafka命令行生产者报错，无法启动命令行生产者报错！
报错信息如下org.apache.kafka.common.KafkaException: Failed to construct kafka producerat org.apache.kafka.clients.producer.KafkaProducer.(KafkaProducer.java:431)at org.apache.kafka.clients.producer.KafkaProducer.(KafkaProducer.java:301)at kafka.tools.Console
2020-07-02 13:57:47
2182
原创 springboot中@Async是否会出现类似事务注解不生效问题
springboot中@Async是否会出现类似事务注解不生效问题事务注解不生效一般和调用有关，例如：如下情况，使用this调用本地加了事务注解的方法，这种情况事务是无效的。@Serviceclass A { public void testB() { this.testC(); } @Transactional public void testC() { }}那么问题来了，@Async注解是否也会出现注解不生效？测试代码如下：@Co
2020-06-30 17:56:02
942
原创 zookeeper启动后，查看status，报Error contacting service. It is probably not running.解决办法！
zookeeper一启动就开始查询zookeeper状态，然后报如下错误！ZooKeeper JMX enabled by defaultUsing config: /home/node2/zookeeper-3.4.14/bin/../conf/zoo.cfgError contacting service. It is probably not running.网上帖子很多，关防火...
2019-12-31 10:04:56
406
原创 springboot启动失败！Failed to introspect Class！
先上异常：Caused by: java.lang.IllegalStateException: Failed to introspect Class [org.springframework.boot.autoconfigure.web.servlet.WebMvcAutoConfiguration] from ClassLoader [sun.misc.Launcher$AppClassL...
2019-12-18 10:21:22
49823
3
原创 java.lang.NoClassDefFoundError: org/springframework/core/annotation/MergedAnnotations$SearchStrategy
spring-boot测试类启动报错：java.lang.NoClassDefFoundError: org/springframework/core/annotation/MergedAnnotations$SearchStrategy报错原因test版本太高了！spring-testspring-boot-test这两个的版本调低一点！...
2019-12-12 15:23:17
7032
2
原创 ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator 异常！原因和解决方案！
kafka版本：kafka_2.12-2.3.0具体报错：2019-12-10 15:27:36.006[main] ERROR org.apache.kafka.clients.consumer.internals.ConsumerCoordinator[843] [Consumer clientId=consumer-1, groupId=01] Offset commit fa...
2019-12-10 15:38:58
6766
1
原创 kafka-manager-2.0.0.2 已编译文件。
kafka-manager-2.0.0.2已编译文件下载地址如下：https://sn9.us/file/19394868-412246694
2019-12-06 11:00:43
684
原创 对比(?:pattern) 与 (?=pattern)
例子如下“Windows 2000”字段分别采用以下两种正则表达式匹配：String pattern4 = "(2000)|Windows (?=95|98|NT|2000)";String pattern5 = "(2000)|Windows (?:95|98|NT|2000)";Pattern compile5 = Pattern.compile(pattern5);Pat...
2019-11-30 09:32:35
216
原创 PirateSnoop Browser海盗浏览器带你出去看看！
海盗浏览器：结合多个插件祝你顺利上网！PirateSnoop Browser 下载地址：https://u19394868.ctfile.com/fs/19394868-335932876
2019-02-12 23:14:55
1367
原创 potplayer 下载
1.7.17508 2019/02/12 + 添加更新扩展功能 + 添加字幕浏览器字幕编辑功能 - 修正保存 SMI 字幕时尽可能保持原版 - 修正某些情况下使用 D3D11 UI 时的异常动作 - 修正使用屏幕保护程序时无法用鼠标关闭的问题 - 将默认弹出菜单样式更改为在皮肤中定义的样式 下载地址：64：https://...
2019-02-12 22:43:29
5318
原创 天降神器——Synergy 资源下载地址
软件操作参考：https://blog.csdn.net/weixin_41995979/article/details/81990179软件下载地址：synergy-v1.8.8-stable-Linux-i686.deb: https://u19394868.ctfile.com/fs/19394868-334563136synergy-v1.8.8-stable-MacOSX-x8...
2019-02-05 10:32:46
3119
原创 栈压入和弹出顺序
题目描述输入两个整数序列，第一个序列表示栈的压入顺序，请判断第二个序列是否可能为该栈的弹出顺序。假设压入栈的所有数字均不相等。例如序列1,2,3,4,5是某栈的压入顺序，序列4,5,3,2,1是该压栈序列对应的一个弹出序列，但4,3,5,1,2就不可能是该压栈序列的弹出序列。（注意：这两个序列的长度是相等的）第一种方法暴力求解遍历所有的排列形式：# -*- coding:utf-8 ...
2018-08-03 11:31:18
607
原创 矩形覆盖-python2.7.3
我们可以用2*1的小矩形横着或者竖着去覆盖更大的矩形。请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形，总共有多少种方法？思路：假设n[i]表示覆盖一个2*i的大矩阵,如果i为奇数那么n[i]=n[i-1]+n[i-2]，如果i为偶数那么n[i]=2*n[i-2]+n[i-3]代码如下：# -*- coding:utf-8 -*-#python 2.7.3class S...
2018-07-22 10:13:57
262
原创 ubuntu16 python3.5安装pygame
官网推荐用pip安装（推荐使用python3.6.1或者更高的版本）python3 -m pip install pygame --user运行一下例子python3 -m pygame.examples.aliens————————————————————————如果出现依赖问题请参考：http://blog.csdn.net/sinat_40043477/article/d
2018-01-25 20:04:09
1939
原创 openai之baselines的安装可能出现的问题
github地址：https://github.com/openai/baselines安装时出现错误：dpkg:处理软件包 xxx (--configure)时出错安装时可能会报错，因为依赖的原因问题一的解决方法：http://blog.csdn.net/u010426270/article/details/52028620问题二的解决方法：安装atari-p
2018-01-24 21:10:26
4776
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人