- 博客(4670)
- 资源 (10)
- 收藏
- 关注
原创 【算法】主播参加活动、图计算、动态规划
CC直播的运营部门组织了很多运营活动,每个活动需要花费一定的时间参与,主播每参加完一个活动即可得到一定的奖动,参与活动可以从任意活动开始,但一旦开始,就需要将后续活动参加完毕(注意:最后一个活动必须参与),活动之间存在一定的依赖关系(不存在环的情况),现在给出所有的活动时问与依赖关系,以及给出有限的时间,请帮主播计算在有限的时候内,能获得的最大奖励,以及需要的最少时长。
2024-05-03 00:30:00 11
原创 【算法】求完全二叉树的节点个数、不使用遍历
求完全二叉树的节点个数,如果不允许你使用前序遍历,后续遍历,中序遍历,有没有那种方法可以求个数?求完全二叉树的节点个数。
2024-05-02 00:45:00 16
原创 【算法】数字使用中文读取
把一个数字用中文表示出来。数字范围为[0,999997]为了方便输出,使用宇母替换相应的中文,万W 千Q 百B十S零。使用数宇取代中文数字输出描述这一点全用中文吧。
2024-05-02 00:30:00 15
原创 【Elsatic】XContentElasticsearchExtension could not be instantiated 、XContentBuilder 找不到
可以看到有多个实现类。但是我仍然没有思路,然后后来我发现我的报错位置是构建SearchRequest的时候就报错了,打印的时候能看出来。本次排查问题有个误导我很久的,我们的很多地方都用到了es查询,但是其他地方都没有报错,但是这里报错了。这个是查询es数据的原始数据,未分词的数据,是不是这个原因呢?然后我对比上面那个图,突然代码中有如下。报错这个类,找不到,然后我加入依赖。找不到原因,后来一直追溯代码。我注释掉试试,注释掉果然报错了。看起来报错位置应该在。.然后我看看这个方法。
2024-05-01 02:15:00 380
原创 【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到远程k8s服务器
然后我们在文章中学会了怎么提交任务到自己本地的k8s环境中。现在我们要把任务提交到远程服务器,对方的是k8s环境,但是对方的环境使用的是contains,不是docker容器。我们本次是从本地的docker环境放到k8s环境上。先根据文章打包到本地镜像。然后我们在文章中导入本地镜像到远程。
2024-04-30 03:30:00 402 4
原创 【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到flink
在这里面,我们知道了如何使用demo提交flink任务。但是如果我们的机器没有kubectl命令,我们改怎么提交任务到flink呢?这里我们可以使用代码提交。
2024-04-29 04:00:00 469 4
原创 【算法】二叉树转成双向链表
双向链表节点结构和二叉树节点结构是一样的,如果你把last认为是left。next认为是next的话。给定一个搜索二叉树的头节点head,请转化成一条有序的双向链表,并返回链表的头节点。比如我们 有一个树如下转换成结果如下我们需要怎么做呢?可以如下图我们也是需要全局思考。首先我们不考虑怎么转,我们考虑对于一个节点来说,你左边子树帮我转成双向链表,并且返回头结点和尾节点,你右边子树帮我转成双向链表,并且返回头结点和尾节点。然后执行如下形成如下图。
2024-04-29 03:45:00 13
原创 【算法】字符串数组目录结构打印、前缀树
我们要深度优先遍历打印,第一层打印的时候不需要空格,每次增加一层打印一层空格。然后我们遍历到b的第二层,增加1个空格,打印如下,然后我们遍历到c的第3层,增加1个空格,打印如下,然后我们遍历到d的第2层,要有2个空格,打印如下,然后我们遍历到e的第3层,要有3个空格,打印如下,然后我们遍历到b的第0层,要有0个空格,打印如下,同一级的需要按字母顺序排列,不能乱。我们开始的时候遍历到a打印如下。后续的如此循环,就可以打印出来。比如我们生成了如下的前缀树。
2024-04-28 23:30:00 7
原创 【Flink】Mac下使用flink-kubernetes-operator本地运行flink程序
flink-kubernetes-operator是由Java实现的,它允许用户通过kubectl等原生k8s工具管理Flink应用程序及其生命周期,描述如下:。。flink-kubernetes-operator 可以将 Flink 作业定义为 Kubernetes 资源,这样可以更容易地将 Flink 作业作为 Kubernetes 基础架构的一部分管理。
2024-04-28 23:30:00 25 1
原创 【Flink】flink metric 如何获取yarn applicationId
flink metric 如何获取yarn applicationId。
2024-04-26 00:30:00 24
原创 【FLink】Flink报错误could only written 1 minReplication nodes datanode(s) running node(s) are excluded
flink 消费kafka数据,idea能正常消费,但是提交flink的jar包运行还是报这个错。(这是flink webui界面的logs提示)这个报错原因是因为没有资源了。
2024-04-26 00:15:00 351
原创 【算法】工作难度、工作报酬、最高报酬的工作
为了找到自己满意的工作,牛牛收集了每种工作的难度和报酬。牛牛选工作的标准是在难度不超过自身能力值的情况下,牛牛选择报酬最高的工作。在牛牛选定了自己的工作后,牛牛的小伙伴们来找牛牛帮忙选工作,牛牛依然使用自己的标准来帮助小伙伴们。牛牛的小伙伴太多了,于是他只好把这个任务交给了你。给定一个Job类型的数组jobarr,表示所有的工作。给定一个int类型的数组arr,表示所有小伙伴的能力。返回int类型的数组,表示每一个小伙伴按照牛牛的标准选工作后所能获得的报酬.
2024-04-25 00:30:00 250
原创 【Flink】flink启动任务,taskmanager.out 文件增涨非常快
flink启动任务,taskmanager.out 文件增涨非常快,这个文件大小怎么限定?测试了很多办法发现都不起作用。但是后面我发现不是这个导致的是slf4j依赖冲突,jar包删除就可以了。
2024-04-25 00:30:00 143 3
原创 【算法】通用优化、斐波拉契数列套路、 递归 除了第一项都能优化成logN级别
视频:一周刷爆LeetCode,算法大神左神(左程云)耗时100天打造算法与数据结构基础到高级全家桶教程,直击BTAJ等一线大厂必问算法面试题真题详解
2024-04-25 00:15:00 231
原创 【算法】数组切分后、两边最大值、绝对值相减最大
给定一个数组arr长度为N,你可以把任意长度大于0且小于N的前缀作为左部分,剩下的作为右部分。但是每种划分下都有左部分的最大值和右部分的最大值,请返回最大的,左部分最大值减去右部分最大值的绝对值。我们最简单的方法是从头开始遍历,然后每次切分后,遍历两边的最大值,然后计算,但是这样时间复杂度比较高。
2024-04-24 23:30:00 24
原创 【算法】调整数组相邻的数字相乘是4的倍数
给定一个数组arr,如果通过调整可以做到arr中任意两个相邻的数字相乘是4的倍数,返回true;如果不能返回false。
2024-04-24 23:30:00 31
原创 【算法】数组直方图装水问题
给定一个数组arr,已知其中所有的值都是非负的,将这个数组看作一个容器,,根据值画出的直方图就是容器形状,该容器可以装下5格水。,该容器可以装下2格水。请返回容器能装多少水。
2024-04-18 07:30:00 51
原创 【Flink】Flink 消费 kafka流任务界面不显示指标,一直处于loading状态
今天使用docker构建了一个kafka单节点,脚本如下然后使用本地的简单代码的生产者和消费者是能处理数据的。然后准备运行flink程序。flink 1.13.0版本,我们的原先都是正常的,现在升级kafka版本从1.0 升级到3.6版本然后使用三个简单算子,现在输出算子都打印数据了,证明消费 是没问题的,但是界面指标 12分钟了,还是在转圈查看接口调用发现接口都正常但是返回值都是无属性但是目前还不清楚是什么原因。升级了一下FLink,然后就好了。
2024-04-18 07:30:00 192 2
原创 【Kafka】flink消费kafka报错 rebalanced and assigned the partitions to another member
场景:消费kafka写入hdfs时,要从spark任务迁移为flink任务消费,为保证不丢数据,用同一个groupid消费数据flink消费数据,提交不了offset到kafka,报错如下原因:kafka的消费模式分为此种场景会发生standalone consumer(assign()消费模式)与consumer group冲突。
2024-04-18 06:15:00 533 1
原创 【算法】动态规划的空间压缩技巧
给你一个二维数组matrix,其中每个数都是正数,要求从左上角走到右下角。每一步只能向右或者向下,沿途经过的数字要累加起来。最后请返回最小的路径和。这里主要思考位置依赖。我们经常遇到动态规划需要你填写一张二维表,然后最后要最右下角的数据。
2024-04-18 06:00:00 43
原创 【算法】顺时钟90度转动方形矩阵
给定一个正方形矩阵,只用有限几个变量,实现矩阵中每个位置的数顺时针转动。因为知道这个是一个正方形,假设以中心点X为中心旋转90度,那么。90度,比如如下的矩阵。
2024-04-17 06:30:00 142 1
原创 【kafka】写入 kafka 有些数据能写入、有些数据不能写入
其实是对方kafka是个集群,但是他们只提供了一个ip给我们,然后只开了这个ip的网络策略。所以有些数据发送失败,有些成功[捂脸哭]这个问题我曾经遇到过类似的,但是这个博客找不到了,哪个博客里面描述的是,一个kafka集群,然后对方不让我们直接访问,而是给我们一个代理机器,然后我们访问代理机器,由代理机器转发,但是有问题,下次找到补个链接。
2024-04-16 09:08:29 53
原创 【Flink】Flink 1.13版本升级到Flink 1.17版本
我是从Flink 1.13版本升级到Flink 1.17版本,因为flink 1.13版本是好的,各种任务都能运行,本次升级主要是包的问题,最主要的是Flink去掉了很多scala的依赖。这些包一定要引入,同时注意版本信息,建议打开flink源码,然后找到这个类,然后看看类的版本是什么。本章主要介绍Flink 1.13版本升级到Flink 1.16版本 中间遇到的问题。可以看到从1.15版本开始去掉scala依赖的,本次升级大问题没有多少的。然后是引入的kafka相关的包。后面记录一下,要引入的包信息。
2024-04-13 07:00:00 185
原创 【算法】给定数字转成字符串
将给定的数转换为字符串,原则如下:1对应 日,2对应b,26对应z。例如12258可以转换为个数为5,编写一个函数,给出可以转换的不同字符串的个数。比如小结。
2024-04-13 06:00:00 56
原创 【kubernetes】kubernetes 资源管理
本章节主要介绍yaml语法和kubernetes的资源管理方式资源管理介绍在kubernetes中,所有的内容都抽象为资源, 用户需要通过操作资源来管理kubernetes。kubernetes的本质上就是一个集群系统,用户可以在集群中部署各种服务,所谓的部署服务,其实就是在kubernetes集群中运行一个个的容器,并将指定的程序跑在容器中。
2024-04-12 07:15:00 78 6
原创 【kafka】Rolled new log segment at offset xxxx
但是上面那个图也说明数据量确实大了,后来发现他们此时有人正在备份数据库。然后他就以为 2ms一下子新增了 241405433条数据。关键是此时消费者的服务器就来了巨量的流量。
2024-04-12 07:00:00 253 2
原创 【算法】双栈排序
然后我们把3弹出,然后判断能不能入栈,因为3大于2,所以3不能入栈,那么我们把2弹出放到原始栈,然后判断3能不能入栈,发现可以,那么入栈。然后我们把6弹出,然后判断能不能入栈,因为5小于6,所以6不能入栈,那么我们把5出栈,然后放到原始栈中,然后把6入栈。然后我们把5弹出,然后判断能不能入栈,因为5小于6,所以5能入栈,那么我们把5入栈。然后我们把2弹出,然后判断能不能入栈,因为2小于5,所以2能入栈,那么我们把2入栈。然后我们把2弹出,然后判断能不能入栈,因为2小于3,所以2能入栈,那么我们把2入栈。
2024-04-11 07:00:00 51 1
原创 【Flink】Flink 1.17 报错 Failed to load web based job submission extension
我是从Flink 1.13版本升级到Flink 1.17版本,因为flink 1.13版本是好的,各种任务都能运行,本次升级主要是包的问题,最主要的是Flink去掉了很多scala的依赖。然后因为已经能运行起来了,我就想再次复现这个问题,然后将web.submit.enable改成true,然后也是能运行的,后面把最后加入的依赖也重新搞一下,结果发现无法复现了。关闭后我继续做后面的验证,然后主要是缺少包信息,后面把下图中的所有的包都引入之后,然后就不报错了。然后我找到这个控制参数,然后是否可以关闭呢?
2024-04-10 07:15:00 470 2
原创 【Flink】Flink 使用 RocksDb 状态后端报错 File name too long
Flink 使用 RocksDb 状态后端,实现mongo数据整库写hudi,采用RocksDBStateBackend状态后端,checkpoint产生的文件名太长报错报错 File name too long,然后再往下我们发现报错的不是flink的包了,是RocksDb的包,而我们的路径是没有问题的,虽然长,但是也应该支持,因此可能是RocksDb的问题。注意截图中的RocksDb版本只是案例,不是本次报错的版本。后面升级了RocksDb就好了。
2024-04-10 07:00:00 176 1
原创 【算法】给定节点数求能组合的二叉树个数
给定一个非负整数n,代表二叉树的节点个数。返回能形成多少种不同的二叉树结构我们先想象一下我们穷举一下,假设我们有N个节点此时树的个数是F(N-1)此时树的个数是F(N-2)因为左树只有一个节点,什么也做不了此时树的个数是因为左树有2个节点,可以做一些树的变换了。。。。。。。。。。。。。。。。。。。。。。。。。此时树的个数是因为左树有i个节点,可以做一些树的变换了。右边为啥是N-i-1呢?因为顶点还占用一个。最终全局变换图如下。
2024-04-08 08:45:00 62 2
原创 【Flink】Flink 1.17 报错 RpcLoaderException: could not load RpcSystem
我是从Flink 1.13版本升级到Flink 1.17版本,因为flink 1.13版本是好的,各种任务都能运行,本次升级主要是包的问题,最主要的是Flink去掉了很多scala的依赖。我是从Flink 1.13版本升级到Flink 1.17版本,因为flink 1.13版本是好的,各种任务都能运行,本次升级主要是包的问题,最主要的是Flink去掉了很多scala的依赖。可以看到从1.15版本开始去掉scala依赖的,本次升级大问题没有多少的。然后到源码中看看,然后看到源码中是有实现类的。
2024-04-08 08:30:00 231 4
原创 【kafka】kafka 2.8 版本的kafka topic 分区扩容、创建topic
今天要升级kafka客户端版本,我们的服务端版本是1.1.0,然后客户端版本要升级到kafka 2.8.2,有点不明白公司为啥死都不升级服务端版本,使劲升级客户端版本。今天升级后发现这里面的代码不能使用了,然后需要升级。
2024-04-07 23:00:00 87 1
原创 【算法】两个集合取值平均数上升
给一个包含n个整数元素的集合a,一个包含m个整数元素的集合b。定义magic操作为,从一个集合中取出一个元素,放到另一个集合里,且操作过后每个集合的平均值都大大于于操作前。
2024-04-07 21:30:00 53
原创 【算法】等概率加工问题
给定一个函数千,可以1~5的数字等概率返回一个。请加工出1~7的数字等概率返回一个的函数g。给定一个函数十,可以ad的数字等概率返回一个的函数g。给定一个函数f,以p概率返回0,a以1-p概率返回1。请加工出等概率返回0和1的函数g。
2024-04-03 07:15:00 83 1
原创 【算法】二维矩阵中找最大的正方形、预处理
的矩阵matrix,只有0和1两种值,返回边框全是1的最大正方形的边长长度。其中边框全是1的最大正方形的大小为。
2024-04-03 05:00:00 67
Eclipse Formatter 模板 Formatter.xml
2020-11-11
eclipse的hadoop插件
2016-09-14
hadoop学习文档
2016-09-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人