- 博客(4677)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 【kafka】Received exception when fetching the next record seek past the record continue consumption
一个环境，kafka正常，名称叫topic_lcc,然后这个topic在三个地方使用然后这个消费组报错信息如下对应的代码如下xxx后来无论是创建单个分区的topic、还是共用一个消费组，都不能复现这个问题。
2024-05-10 00:30:00
299
2
原创 【算法】字符串删除字符后字典序最小
给定一个全是小写字母的字符串str，删除多余字符，使得每种字符只保留一个，并让最终结果字符串的字典序最小。【举例】str=“acbc”，删掉第一个’c’，得到"aba"，是所有结果字符串中字典序最小的。str="‘dbcacbca " ，删掉第一个6、第一个‘c’、第二个’c’、第二个’a’，得到"daba’,是所有结 果字符串中字典序最小的。
2024-05-10 00:15:00
4
原创 【kafka】Kafka Consumer Error Stream frame descriptor corrupted
我们今天遇到一个问题，同一个topic名称叫topic_lcc，这个topic同时被Flink消费和web客户端消费，但是flink消费没有报错（也可能设置忽略报错了），web端消费报错，错误信息如下2.源码分析在最前的的readHeader中报错默认有这四种报错我们可以运行已有的测试类根据以前的测试类：【kafka】kafka NoSuchElementException ArrayDeque getLast 压缩方式不同kafka 生产者和服务器才能压缩kafka生产者压缩是把压缩方式写在头
2024-05-09 23:15:00
134
3
原创 【算法】算法计较-舍弃可能性、相邻两数最大差值
给定一个数组，求如果排序之后，相邻两数的最大差值。要求时问复杂度0(N），且要求不能用非基于比较的排序。
2024-05-09 23:00:00
6
原创 【算法】数组中未出现的数字
给定一个整数数组A，长度为n，有，且对于[1,n]的整数，其中部分整数会重复出现而部分不会出现。实现算法找到[1,n]中所有未出现在A中的整数。（返回值不计入空间复杂度）输入描述：一行数字，全部为整数，空格分隔输出描述：一行数宇，全部为整数，空格分隔。
2024-05-07 22:00:00
16
原创 【算法】字符串组成表达式结果为false
给定一个只由五种字符组成的字符串express，再给定一个布尔值desired。返回express能有多少种组合方式，可以达到desired的结果。【举例】只有的组合可以得到false，返回 2。无组合则可以得到false，返回0。
2024-05-05 14:00:00
13
原创 【Spring】Coorect the classpath contains comptible versions ListtenerContainer MoreExecutors
因为需要我们需要从kafka服务器0.10.1版本的客户端0.10.1版本升级到客户端版本2.8.2版本。说实话想不通上级的上级脑子咋想的，服务器的kafka版本一直不升级，使劲升级客户端，从0.10.1到2.3版本，然后到2.8.2版本。，需要自己找一个匹配的就好了。本次升级后，运行报错如下。
2024-05-05 09:48:18
16
原创 【算法】主播参加活动、图计算、动态规划
CC直播的运营部门组织了很多运营活动，每个活动需要花费一定的时间参与，主播每参加完一个活动即可得到一定的奖动，参与活动可以从任意活动开始，但一旦开始，就需要将后续活动参加完毕（注意：最后一个活动必须参与），活动之间存在一定的依赖关系（不存在环的情况），现在给出所有的活动时问与依赖关系，以及给出有限的时间，请帮主播计算在有限的时候内，能获得的最大奖励，以及需要的最少时长。
2024-05-03 00:30:00
19
原创 【算法】求完全二叉树的节点个数、不使用遍历
求完全二叉树的节点个数，如果不允许你使用前序遍历，后续遍历，中序遍历，有没有那种方法可以求个数？求完全二叉树的节点个数。
2024-05-02 00:45:00
3
原创 【算法】数字使用中文读取
把一个数字用中文表示出来。数字范围为[0,999997]为了方便输出，使用宇母替换相应的中文，万W 千Q 百B十S零。使用数宇取代中文数字输出描述这一点全用中文吧。
2024-05-02 00:30:00
16
原创 【Elsatic】XContentElasticsearchExtension could not be instantiated 、XContentBuilder 找不到
可以看到有多个实现类。但是我仍然没有思路，然后后来我发现我的报错位置是构建SearchRequest的时候就报错了，打印的时候能看出来。本次排查问题有个误导我很久的，我们的很多地方都用到了es查询，但是其他地方都没有报错，但是这里报错了。这个是查询es数据的原始数据，未分词的数据，是不是这个原因呢？然后我对比上面那个图，突然代码中有如下。报错这个类，找不到，然后我加入依赖。找不到原因，后来一直追溯代码。我注释掉试试，注释掉果然报错了。看起来报错位置应该在。.然后我看看这个方法。
2024-05-01 02:15:00
28
1
原创 【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到远程k8s服务器
然后我们在文章中学会了怎么提交任务到自己本地的k8s环境中。现在我们要把任务提交到远程服务器，对方的是k8s环境，但是对方的环境使用的是contains，不是docker容器。我们本次是从本地的docker环境放到k8s环境上。先根据文章打包到本地镜像。然后我们在文章中导入本地镜像到远程。
2024-04-30 03:30:00
411
4
原创 【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到flink
在这里面，我们知道了如何使用demo提交flink任务。但是如果我们的机器没有kubectl命令，我们改怎么提交任务到flink呢？这里我们可以使用代码提交。
2024-04-29 04:00:00
477
5
原创 【算法】二叉树转成双向链表
双向链表节点结构和二叉树节点结构是一样的，如果你把last认为是left。next认为是next的话。给定一个搜索二叉树的头节点head，请转化成一条有序的双向链表，并返回链表的头节点。比如我们 有一个树如下转换成结果如下我们需要怎么做呢？可以如下图我们也是需要全局思考。首先我们不考虑怎么转，我们考虑对于一个节点来说，你左边子树帮我转成双向链表，并且返回头结点和尾节点，你右边子树帮我转成双向链表，并且返回头结点和尾节点。然后执行如下形成如下图。
2024-04-29 03:45:00
10
原创 【算法】字符串数组目录结构打印、前缀树
我们要深度优先遍历打印，第一层打印的时候不需要空格，每次增加一层打印一层空格。然后我们遍历到b的第二层，增加1个空格，打印如下,然后我们遍历到c的第3层，增加1个空格，打印如下,然后我们遍历到d的第2层，要有2个空格，打印如下,然后我们遍历到e的第3层，要有3个空格，打印如下,然后我们遍历到b的第0层，要有0个空格，打印如下,同一级的需要按字母顺序排列，不能乱。我们开始的时候遍历到a打印如下。后续的如此循环，就可以打印出来。比如我们生成了如下的前缀树。
2024-04-28 23:30:00
10
原创 【Flink】Mac下使用flink-kubernetes-operator本地运行flink程序
flink-kubernetes-operator是由Java实现的，它允许用户通过kubectl等原生k8s工具管理Flink应用程序及其生命周期，描述如下：。。flink-kubernetes-operator 可以将 Flink 作业定义为 Kubernetes 资源，这样可以更容易地将 Flink 作业作为 Kubernetes 基础架构的一部分管理。
2024-04-28 23:30:00
24
1
原创 【Flink】flink metric 如何获取yarn applicationId
flink metric 如何获取yarn applicationId。
2024-04-26 00:30:00
23
原创 【FLink】Flink报错误could only written 1 minReplication nodes datanode(s) running node(s) are excluded
flink 消费kafka数据，idea能正常消费，但是提交flink的jar包运行还是报这个错。（这是flink webui界面的logs提示）这个报错原因是因为没有资源了。
2024-04-26 00:15:00
359
原创 【算法】工作难度、工作报酬、最高报酬的工作
为了找到自己满意的工作，牛牛收集了每种工作的难度和报酬。牛牛选工作的标准是在难度不超过自身能力值的情况下，牛牛选择报酬最高的工作。在牛牛选定了自己的工作后，牛牛的小伙伴们来找牛牛帮忙选工作，牛牛依然使用自己的标准来帮助小伙伴们。牛牛的小伙伴太多了，于是他只好把这个任务交给了你。给定一个Job类型的数组jobarr，表示所有的工作。给定一个int类型的数组arr，表示所有小伙伴的能力。返回int类型的数组，表示每一个小伙伴按照牛牛的标准选工作后所能获得的报酬.
2024-04-25 00:30:00
259
原创 【Flink】flink启动任务，taskmanager.out 文件增涨非常快
flink启动任务，taskmanager.out 文件增涨非常快，这个文件大小怎么限定？测试了很多办法发现都不起作用。但是后面我发现不是这个导致的是slf4j依赖冲突，jar包删除就可以了。
2024-04-25 00:30:00
153
4
原创 【算法】通用优化、斐波拉契数列套路、 递归 除了第一项都能优化成logN级别
视频：一周刷爆LeetCode，算法大神左神（左程云）耗时100天打造算法与数据结构基础到高级全家桶教程，直击BTAJ等一线大厂必问算法面试题真题详解
2024-04-25 00:15:00
226
原创 【算法】数组切分后、两边最大值、绝对值相减最大
给定一个数组arr长度为N，你可以把任意长度大于0且小于N的前缀作为左部分，剩下的作为右部分。但是每种划分下都有左部分的最大值和右部分的最大值，请返回最大的，左部分最大值减去右部分最大值的绝对值。我们最简单的方法是从头开始遍历，然后每次切分后，遍历两边的最大值，然后计算，但是这样时间复杂度比较高。
2024-04-24 23:30:00
27
原创 【算法】调整数组相邻的数字相乘是4的倍数
给定一个数组arr，如果通过调整可以做到arr中任意两个相邻的数字相乘是4的倍数，返回true；如果不能返回false。
2024-04-24 23:30:00
17
原创 【算法】数组直方图装水问题
给定一个数组arr，已知其中所有的值都是非负的，将这个数组看作一个容器，，根据值画出的直方图就是容器形状，该容器可以装下5格水。，该容器可以装下2格水。请返回容器能装多少水。
2024-04-18 07:30:00
52
原创 【Flink】Flink 消费 kafka流任务界面不显示指标，一直处于loading状态
今天使用docker构建了一个kafka单节点，脚本如下然后使用本地的简单代码的生产者和消费者是能处理数据的。然后准备运行flink程序。flink 1.13.0版本，我们的原先都是正常的，现在升级kafka版本从1.0 升级到3.6版本然后使用三个简单算子，现在输出算子都打印数据了，证明消费 是没问题的，但是界面指标 12分钟了，还是在转圈查看接口调用发现接口都正常但是返回值都是无属性但是目前还不清楚是什么原因。升级了一下FLink，然后就好了。
2024-04-18 07:30:00
198
2
原创 【Kafka】flink消费kafka报错 rebalanced and assigned the partitions to another member
场景：消费kafka写入hdfs时，要从spark任务迁移为flink任务消费，为保证不丢数据，用同一个groupid消费数据flink消费数据，提交不了offset到kafka，报错如下原因：kafka的消费模式分为此种场景会发生standalone consumer（assign()消费模式）与consumer group冲突。
2024-04-18 06:15:00
539
1
原创 【算法】动态规划的空间压缩技巧
给你一个二维数组matrix，其中每个数都是正数，要求从左上角走到右下角。每一步只能向右或者向下，沿途经过的数字要累加起来。最后请返回最小的路径和。这里主要思考位置依赖。我们经常遇到动态规划需要你填写一张二维表，然后最后要最右下角的数据。
2024-04-18 06:00:00
36
原创 【算法】顺时钟90度转动方形矩阵
给定一个正方形矩阵，只用有限几个变量，实现矩阵中每个位置的数顺时针转动。因为知道这个是一个正方形，假设以中心点X为中心旋转90度，那么。90度，比如如下的矩阵。
2024-04-17 06:30:00
139
1
原创 【kafka】写入 kafka 有些数据能写入、有些数据不能写入
其实是对方kafka是个集群，但是他们只提供了一个ip给我们，然后只开了这个ip的网络策略。所以有些数据发送失败，有些成功[捂脸哭]这个问题我曾经遇到过类似的，但是这个博客找不到了，哪个博客里面描述的是，一个kafka集群，然后对方不让我们直接访问，而是给我们一个代理机器，然后我们访问代理机器，由代理机器转发，但是有问题，下次找到补个链接。
2024-04-16 09:08:29
51
原创 【Flink】Flink 1.13版本升级到Flink 1.17版本
我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。这些包一定要引入，同时注意版本信息，建议打开flink源码，然后找到这个类，然后看看类的版本是什么。本章主要介绍Flink 1.13版本升级到Flink 1.16版本 中间遇到的问题。可以看到从1.15版本开始去掉scala依赖的，本次升级大问题没有多少的。然后是引入的kafka相关的包。后面记录一下，要引入的包信息。
2024-04-13 07:00:00
191
原创 【算法】给定数字转成字符串
将给定的数转换为字符串，原则如下：1对应 日，2对应b，26对应z。例如12258可以转换为个数为5，编写一个函数，给出可以转换的不同字符串的个数。比如小结。
2024-04-13 06:00:00
59
原创 【kubernetes】kubernetes 资源管理
本章节主要介绍yaml语法和kubernetes的资源管理方式资源管理介绍在kubernetes中，所有的内容都抽象为资源， 用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。
2024-04-12 07:15:00
81
6
原创 【kafka】Rolled new log segment at offset xxxx
但是上面那个图也说明数据量确实大了，后来发现他们此时有人正在备份数据库。然后他就以为 2ms一下子新增了 241405433条数据。关键是此时消费者的服务器就来了巨量的流量。
2024-04-12 07:00:00
257
2
原创 【算法】双栈排序
然后我们把3弹出，然后判断能不能入栈，因为3大于2，所以3不能入栈，那么我们把2弹出放到原始栈，然后判断3能不能入栈，发现可以，那么入栈。然后我们把6弹出，然后判断能不能入栈，因为5小于6，所以6不能入栈，那么我们把5出栈，然后放到原始栈中，然后把6入栈。然后我们把5弹出，然后判断能不能入栈，因为5小于6，所以5能入栈，那么我们把5入栈。然后我们把2弹出，然后判断能不能入栈，因为2小于5，所以2能入栈，那么我们把2入栈。然后我们把2弹出，然后判断能不能入栈，因为2小于3，所以2能入栈，那么我们把2入栈。
2024-04-11 07:00:00
43
1
原创 【Flink】Flink 1.17 报错 Failed to load web based job submission extension
我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。然后因为已经能运行起来了，我就想再次复现这个问题，然后将web.submit.enable改成true，然后也是能运行的，后面把最后加入的依赖也重新搞一下，结果发现无法复现了。关闭后我继续做后面的验证，然后主要是缺少包信息，后面把下图中的所有的包都引入之后，然后就不报错了。然后我找到这个控制参数，然后是否可以关闭呢？
2024-04-10 07:15:00
480
2
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人