九师兄-CSDN博客

原创【算法】数组直方图装水问题

给定一个数组arr，已知其中所有的值都是非负的，将这个数组看作一个容器，，根据值画出的直方图就是容器形状，该容器可以装下5格水。，该容器可以装下2格水。请返回容器能装多少水。

2024-04-18 07:30:00 20

原创【Flink】Flink 消费 kafka流任务界面不显示指标，一直处于loading状态

今天使用docker构建了一个kafka单节点，脚本如下然后使用本地的简单代码的生产者和消费者是能处理数据的。然后准备运行flink程序。flink 1.13.0版本，我们的原先都是正常的，现在升级kafka版本从1.0 升级到3.6版本然后使用三个简单算子，现在输出算子都打印数据了，证明消费是没问题的，但是界面指标 12分钟了，还是在转圈查看接口调用发现接口都正常但是返回值都是无属性但是目前还不清楚是什么原因。升级了一下FLink，然后就好了。

2024-04-18 07:30:00 137 2

原创【Kafka】flink消费kafka报错 rebalanced and assigned the partitions to another member

场景：消费kafka写入hdfs时，要从spark任务迁移为flink任务消费，为保证不丢数据，用同一个groupid消费数据flink消费数据，提交不了offset到kafka，报错如下原因：kafka的消费模式分为此种场景会发生standalone consumer（assign()消费模式）与consumer group冲突。

2024-04-18 06:15:00 488 1

原创【算法】动态规划的空间压缩技巧

给你一个二维数组matrix，其中每个数都是正数，要求从左上角走到右下角。每一步只能向右或者向下，沿途经过的数字要累加起来。最后请返回最小的路径和。这里主要思考位置依赖。我们经常遇到动态规划需要你填写一张二维表，然后最后要最右下角的数据。

2024-04-18 06:00:00 15

原创【算法】顺时钟90度转动方形矩阵

给定一个正方形矩阵，只用有限几个变量，实现矩阵中每个位置的数顺时针转动。因为知道这个是一个正方形，假设以中心点X为中心旋转90度，那么。90度，比如如下的矩阵。

2024-04-17 06:30:00 120 1

原创【算法】使用zigzag方式打印矩阵、螺旋打印

用zigzag的方式打印矩阵，比如如下的矩阵。根据结果可以知道打印方式如下。

2024-04-17 04:15:00 17

原创【kafka】写入 kafka 有些数据能写入、有些数据不能写入

其实是对方kafka是个集群，但是他们只提供了一个ip给我们，然后只开了这个ip的网络策略。所以有些数据发送失败，有些成功[捂脸哭]这个问题我曾经遇到过类似的，但是这个博客找不到了，哪个博客里面描述的是，一个kafka集群，然后对方不让我们直接访问，而是给我们一个代理机器，然后我们访问代理机器，由代理机器转发，但是有问题，下次找到补个链接。

2024-04-16 09:08:29 22

原创【算法】二叉树权重和最大值

二叉树每个结点都有一个int型权值，给定一棵二叉树，要求计算出从根结点到叶结点的所有路径中，权值和最大的值为多少。

2024-04-15 21:30:00 15

原创【Flink】Flink 1.13版本升级到Flink 1.17版本

我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。这些包一定要引入，同时注意版本信息，建议打开flink源码，然后找到这个类，然后看看类的版本是什么。本章主要介绍Flink 1.13版本升级到Flink 1.16版本中间遇到的问题。可以看到从1.15版本开始去掉scala依赖的，本次升级大问题没有多少的。然后是引入的kafka相关的包。后面记录一下，要引入的包信息。

2024-04-13 07:00:00 158

原创【算法】给定数字转成字符串

将给定的数转换为字符串，原则如下：1对应日，2对应b，26对应z。例如12258可以转换为个数为5，编写一个函数，给出可以转换的不同字符串的个数。比如小结。

2024-04-13 06:00:00 34

原创【kubernetes】kubernetes 资源管理

本章节主要介绍yaml语法和kubernetes的资源管理方式资源管理介绍在kubernetes中，所有的内容都抽象为资源，用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统，用户可以在集群中部署各种服务，所谓的部署服务，其实就是在kubernetes集群中运行一个个的容器，并将指定的程序跑在容器中。

2024-04-12 07:15:00 58 6

原创【kafka】Rolled new log segment at offset xxxx

但是上面那个图也说明数据量确实大了，后来发现他们此时有人正在备份数据库。然后他就以为 2ms一下子新增了 241405433条数据。关键是此时消费者的服务器就来了巨量的流量。

2024-04-12 07:00:00 212 2

原创【算法】双栈排序

然后我们把3弹出，然后判断能不能入栈，因为3大于2，所以3不能入栈，那么我们把2弹出放到原始栈，然后判断3能不能入栈，发现可以，那么入栈。然后我们把6弹出，然后判断能不能入栈，因为5小于6，所以6不能入栈，那么我们把5出栈，然后放到原始栈中，然后把6入栈。然后我们把5弹出，然后判断能不能入栈，因为5小于6，所以5能入栈，那么我们把5入栈。然后我们把2弹出，然后判断能不能入栈，因为2小于5，所以2能入栈，那么我们把2入栈。然后我们把2弹出，然后判断能不能入栈，因为2小于3，所以2能入栈，那么我们把2入栈。

2024-04-11 07:00:00 19 1

原创【Flink】Flink 1.17 报错 Failed to load web based job submission extension

我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。然后因为已经能运行起来了，我就想再次复现这个问题，然后将web.submit.enable改成true，然后也是能运行的，后面把最后加入的依赖也重新搞一下，结果发现无法复现了。关闭后我继续做后面的验证，然后主要是缺少包信息，后面把下图中的所有的包都引入之后，然后就不报错了。然后我找到这个控制参数，然后是否可以关闭呢？

2024-04-10 07:15:00 436 2

原创【Flink】Flink 使用 RocksDb 状态后端报错 File name too long

Flink 使用 RocksDb 状态后端，实现mongo数据整库写hudi，采用RocksDBStateBackend状态后端，checkpoint产生的文件名太长报错报错 File name too long，然后再往下我们发现报错的不是flink的包了，是RocksDb的包，而我们的路径是没有问题的，虽然长，但是也应该支持，因此可能是RocksDb的问题。注意截图中的RocksDb版本只是案例，不是本次报错的版本。后面升级了RocksDb就好了。

2024-04-10 07:00:00 135 1

原创【算法】给定节点数求能组合的二叉树个数

给定一个非负整数n，代表二叉树的节点个数。返回能形成多少种不同的二叉树结构我们先想象一下我们穷举一下，假设我们有N个节点此时树的个数是F(N-1)此时树的个数是F(N-2)因为左树只有一个节点，什么也做不了此时树的个数是因为左树有2个节点，可以做一些树的变换了。。。。。。。。。。。。。。。。。。。。。。。。。此时树的个数是因为左树有i个节点，可以做一些树的变换了。右边为啥是N-i-1呢？因为顶点还占用一个。最终全局变换图如下。

2024-04-08 08:45:00 34 2

原创【Flink】Flink 1.17 报错 RpcLoaderException: could not load RpcSystem

我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。可以看到从1.15版本开始去掉scala依赖的，本次升级大问题没有多少的。然后到源码中看看，然后看到源码中是有实现类的。

2024-04-08 08:30:00 190 4

原创【kafka】kafka 2.8 版本的kafka topic 分区扩容、创建topic

今天要升级kafka客户端版本，我们的服务端版本是1.1.0，然后客户端版本要升级到kafka 2.8.2，有点不明白公司为啥死都不升级服务端版本，使劲升级客户端版本。今天升级后发现这里面的代码不能使用了，然后需要升级。

2024-04-07 23:00:00 47 1

原创【算法】两个集合取值平均数上升

给一个包含n个整数元素的集合a，一个包含m个整数元素的集合b。定义magic操作为，从一个集合中取出一个元素，放到另一个集合里，且操作过后每个集合的平均值都大大于于操作前。

2024-04-07 21:30:00 31

原创【算法】等概率加工问题

给定一个函数千，可以1～5的数字等概率返回一个。请加工出1～7的数字等概率返回一个的函数g。给定一个函数十，可以ad的数字等概率返回一个的函数g。给定一个函数f，以p概率返回0，a以1-p概率返回1。请加工出等概率返回0和1的函数g。

2024-04-03 07:15:00 54 1

原创【算法】二维矩阵中找最大的正方形、预处理

的矩阵matrix，只有0和1两种值，返回边框全是1的最大正方形的边长长度。其中边框全是1的最大正方形的大小为。

2024-04-03 05:00:00 52

原创【Kafka】Kafka 删除topic、然后重建会接着上次消费位置消费吗？

今天在群里遇到这样一个问题：flink 消费2个kafka topic a,b，状态成功保存在savepoint，途中删掉一个topic a，运行一会再把这个topic a加回来，这时候这个topic a 的状态就无法读取了，会重新消费, 但是偏移量是还保存在kafka _consumer_offsets 里面，有没有办法能让他继续从之前的offset 消费呢？这个问题，我们先拆分一下。

2024-04-02 14:54:47 307 4

原创【算法】滑动窗口绳子覆盖几个点

L往右边动一步，此时比较巧合，LR相等了，然后R往右边动一步，到达8的位置，然后判断8-4=4小于5，那么证明这个位置是可以走的，然后再次尝试往后面动一步，来到9的位置，9-4=5等于5，但是不是大于，也是可以走的，然后再次尝试到下一个节点12-4=8，大于5，所以不能走，停在位置9，然后计算这个窗口内有节点3个。因为如果你使用左侧，假设绳子长1万米，数组长1000万米，中间有100万个节点，然后其实最后的1万米内，往后，绳子压的点数只会越来越少，所以不必计算。把所有的都走一遍，那么结果肯定就在其中。

2024-04-02 06:15:00 46 1

原创【Flink】Flink 1.17 报错 No ExecutorFactory found to execute the application

我是从Flink 1.13版本升级到Flink 1.17版本，因为flink 1.13版本是好的，各种任务都能运行，本次升级主要是包的问题，最主要的是Flink去掉了很多scala的依赖。可以看到compatibleFactories为空的时候就会报错，然后这个集合是遍历loader加入的，因此看loader就好了。这就是类加载，加载PipelineExecutorFactory这个的实现类，在项目中我的是没有实现类的。然后我们看看yarn运行是哪个包，可以看到是在flink-yarn包中。

2024-04-02 06:00:00 279

原创【算法】双栈实现综合计算器

本次打算从算法的角度使用栈实现计算器。。这里我们可以使用双栈来实现这个功能。我们现在有2个栈一个用来存放数据的，一个用来存放操作符的。

2024-04-01 08:54:30 37 1

原创【Flink】restored state is lower than the configured parallelism

有个环境我想从savepoints恢复，但是修改了并行度，然后报错：首先这个是从savepoint恢复会调用restoreLatestCheckpointedStateInternal,在里面会调用assignStates然后在里面调用 assignAttemptState 重新分配状态checkParallelismPreconditions这里是主要的然后这里就是报错的地方了

2024-03-29 06:45:00 452 2

原创【java】Trie树及Java实现 Trie树(字典树)的介绍及Java实现

我是在我们项目中发现有人使用这个字典树的，因为没有见过，所以来学习一下。Trie树，又称为前缀树或字典树，是一种有序树，用于保存关联数组，其中的键通常是字符串。【这点很重要：位置决定】。一个节点的所有子孙都有相同的前缀，也就是这个节点对应的字符串，而根节点对应空字符串。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。如下是一棵典型的Trie树:Trie的来源是Retrieval,它常用于前缀匹配和词频统计。

2024-03-29 05:45:00 199 2

转载【算法】第一届排序算法性能大赛

转载：第一届排序算法性能大赛仅供自己学习，转载为了防止丢失，不整理格式。写在前面最近学到了一些重要的排序，并且简单地测了一下各种排序算法在不同的算法实现、优化以及递归和非递归下的运行速度。本文一共提及了以下几种常用到的排序，其他排序使用场景较少，便没有提及。并且本文的全部代码实现均为通俗易懂的c语言，如果觉得本文不错的话，欢迎三连哦。必备排序常识稳定性：在原序列中，r[i]=r[j]，且r[i]在r[j]之前，而在排序后的序列中，r[i]仍在r[j]之前，则称这种排序算法是稳定的；否则称为不稳定的

2024-03-29 01:00:00 52

原创【算法】二叉树的Morris遍历、线索二叉树

Morris遍历：一种遍历二叉树的方式，并且时间复杂度O（N)，额外空间复杂度O(1)

2024-03-28 06:45:00 52

原创【算法】二叉树节点间的最大距离问题

从二叉树的节点a出发，可以向上或者向下走，但沿途的节点只能经过一次，到达节点b时路径上的节点个数叫作a到b的距离，那么二叉树任何两个节点之间都有距离，求整棵树上的最大距离。

2024-03-27 07:45:00 47 1

原创【Flink】为什么FLINK在CREATE阶段，会申请超过限制的队列核数

在CREATE阶段，FLINK会进行作业图的构建、任务分配、资源申请等操作，这些操作可能需要使用大量的CPU资源来完成。这种行为的原因是为了在作业开始运行之前，预留足够的资源。在CREATE阶段，Flink会为作业请求并分配所需的资源，以确保作业能够在运行时获取到足够的计算资源。在Flink的CREATE阶段（作业创建阶段），Flink会根据作业的配置和资源需求来进行资源的申请和分配。当实际使用的核数减少时，队列中的核数就会相应地减少，以便其他作业或任务可以使用这些闲置的资源。

2024-03-27 07:30:00 314

原创【算法】单调栈，求出某个数左边两边比他最大的数和最小的数

在数组中想找到一个数，左边和右边比这个数小、且离这个数最近的位置。如果对每一个数都想求这样的信息，能不能整体代价达到0(N)？那么就需要使用到单调栈结构。

2024-03-26 06:30:00 124

原创【算法】最优项目、规划项目赚钱、最大利润

你每做完一个项目，马上获得的收益，可以支持你夫做下一个项目你最后获得的最大钱数。

2024-03-26 06:15:00 143

原创【Flink】Flink如何覆盖系统类、优先加载用户类、child-first使用技巧

一个问题，关于类加载的，就是我使用了的依赖，但是我改了这个类，和任务在一个jar包里面，和Flink的lib中的jar在hdfs上，Flink on yarn的方式提交作业，但是我改的这个类不生效（还是用的flink-sql-connector-kafka里面的类），但是在我本地环境idea中能生效，有啥解决方案吗？

2024-03-25 19:21:13 287

原创【k8s】kubernetes集群安装

本章主要讲解k8s集群安装的过程。kubernetes集群大体上分为两类：一主多从和多主多从。

2024-03-23 22:38:59 43 2

原创【算法】滑动窗口、单调队列

由一个代表题目，引出一种结构有一个整型数组arr和一个大小为w的窗口从数组的最左边滑到最右边，窗口每次向右边滑一个位置如果数组长度为n，窗口大小为w，则一共产生n-w+1个窗口的最大值。请实现一个函数。：整型数组arr，窗口共小为w:个长度为n-w+1的数组res，res [i]表示每一种窗口状态下的以本题为例，结果应该返回。

2024-03-23 19:52:09 49

原创【Flink】Flink 运行到yarn 队列资源不足，导致无法运行

后面突然想到以前遇到的问题，我们提交的任务队列被占满了，导致我们的任务一直提交不上去，界面上看着是running状态，实际上还没有运行呢？然后看看flink监控，发现监控室空白的，流计算正常，数据有lag，日志里面没有报错，但是就是不消费了界面这里也不显示速度等。然后现场决定把所有的别人的任务都干掉，这个本来就是给我们用的，他们却偷偷的用。这个命令可以看到我们运行的队列是哪个，但是发现有别人跟我们运行的队列一样。杀掉所有任务后，发现队列果然空了，然后我们启动我们的任务，启动后我们的果然都有数据了。

2024-03-23 07:45:00 176 1

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

Eclipse Formatter 模板 Formatter.xml

Drools-复杂事件处理

excel操作包

eclipse的hadoop插件

hadoop学习文档

hadoop单结点

hadoop单结点配置

native_32位

s2sh整合配置，非常适合初学者，明白配置流程

打飞机代码

空空如也