青冬-CSDN博客

原创 To 德特赛维

在德特赛维有感。工作三年德特赛维，德特赛维哪有一刀切，德特赛维皆是五味杂陈。

2022-11-17 21:13:13 447

原创 spark-sql sql on yarn --deploy-mode cluster 改造

众所周知，spark-sql 不能提交到远端并且使用 cluster进行部署：Cluster deploy mode is not applicable to Spark SQL shell.如果环境可以请使用 --deploy-mode client，如果有特殊需要请见下这是由于spark-sql 提供了一种本地交互模式，让client端在交互模式中提供sql进行执行。但spark-sql也有-e和-f模式，提供用户一种和-f sqlFile的方式运行，这两种方

2023-09-18 16:35:13 428

原创 Kafka3.4 SASL/kerberos/ACL 证以及 SSL 加密连接

kafka sasl 搭建，以及 SSL 传输加密搭建，最新版本 kafka3.4 实操。其他节点只需要安装执行

2023-08-07 16:00:51 2160

原创 Kafka 中 SASL ACL SSL 到底分别代表什么意思

看各类帖子都没能指出这些到底是什么意思，他们是冲突的，还是互相作用的，还是隔离的？本文讲解 `kafka` 中 `SASL`、`ACL`、`SSL` 他们分别的作用以及含义。

2023-05-26 10:18:48 2424 3

原创试题G：青蛙过河——蓝桥杯第十三届省赛Java 大学A组

剪枝是看需不需要模拟那么多次了，看数据规模肯定是不能模拟，其实无论是正向跳，还是逆向跳结果都一样（能跳就都能跳）。看起来就是贪心+二分+剪枝，由于数据量很大。蛙蛙只需要管每次都跳最大步数的就行。，肯定就不是模拟法了，直接贪心。,所以在这里面进行二分。

2023-04-12 15:41:00 240 1

原创试题E：蜂巢 ——蓝桥杯第十三届省赛Java 大学A组

很明显的一道坐标计算问题，只是通过看似比较复杂的描述而已。题目定义了一种行走方向，大概就是一共六种行走方向，如果以。连接三个正六边形中心的线段长都一样并且设为。对于正六边形而言，每个夹角都为。为原点，建立坐标系，那么方向。其他方向为分力即可，如。，刚好距离计算从黄到灰为。，然后计算步数就好了。则边际线切分为两半为。

2023-04-12 13:53:03 290

原创试题F：全排列的价值——蓝桥杯第十三届省赛Java 大学A组

试题F：全排列的价值——蓝桥杯第十三届省赛Java 大学A组其实就是将1到N数进行全排列，然后每个数前面有多少个数小于当前数当前数就计算为多少分。如某排列为`(1,2,3,4)`那么她的价值数组为`(0,1,2,3)`，因为第一位前面没有小于1的，第二位有一个数小于2……。这道题很明显的动态规划问题，当我们计算出`X-1`个数据的全排列价值的时候，计算`X`个数据的全排列则为：

2023-04-12 11:37:49 321

原创 Linux shell 多线程开发以及模板使用，详细一文透彻

linux shell 多线程使用，模板套用。管道 mkfifo exec 与wait 相关的使用。

2023-01-14 22:35:12 1603

原创 Linux 计算机网络 route 路由表、多网段与 bond 的故事

Linux 网络， route表的作用，怎么配置route表，多网段下route表的配置，网络bond mod 模式，以及配置方式。

2023-01-11 22:34:35 1557 1

原创 Linux yum 使用手册，以及内网源搭建

yum Yellowdog Updater Modified，是一个专门为了解决包的依赖关系而存在的软件包管理器，很好的解决了 RPM 所面临的软件包依赖问题。可以快速的安装、删除、更新各个软件包，并调节他们之间的依赖关系。在 Centos7 中，默认安装了yumyum # 运行 yum，无参数情况下会打印使用手册 man yum # 使用 man 来查看手册可以看到，上面有详细的各个子命令的使用方式，一般分为两类一类为commandcommand描述clean清除yum缓存installl。

2023-01-10 00:14:01 760

原创 Linux 计算机网络从 ping 来初窥计算机网络

Linux ping 命令的使用；ICMP协议的构成以及实例，DNS解析以及路由相关设置。/etc/resolv.conf文件； /etc/host.conf 文件； /etc/hosts文件

2023-01-08 17:01:19 1675 1

原创 Linux 计算机网络从零到一开始构建必看

计算机从hub集线器到交换机+MAC到路由器+IP，设计ARP/路由表/MAC映射表相关内容，从零到一讲解计算机网络发展与每个组件必要性。

2023-01-07 01:56:24 831

原创 Flink 第3章反压策略

Flink 中文网站的讲解涉及内容：网络流控的概念与背景TCP的流控机制Flink TCP-based 反压机制 1.5之前Flink Credit-based 反压机制 1.5及以后总结与思考。

2023-01-06 22:57:21 341

原创 Linux traceroute 原理及使用

在某次接入数据的场景中，需要到对方 SFTP 服务器上，获取数据，但是在配置时发现在配置正确的情况下，连接总是超时，最终排查后发现网络不通，打通网络后才正确连接，获取到数据。那么，在 linux 中，我们有哪些排查网络互通的方法呢？本章节主要讲解traceroute的原理以及使用方法。

2023-01-05 17:18:17 2636

原创 Linux DNS 解析与配置 nslookup使用与 /etc/resolv.conf文件的配置

Linux DNS 解析与配置 nslookup使用与 /etc/resolv.conf文件的配置

2023-01-03 23:39:11 9626

原创 Linux systemd-run unit封装CGroup资源进行任务运行

之前我们讲了关于systemctl对各种服务或者说是unit进行了讲解，也讲了怎么创建一个unit，进行相关配置或者依赖设置等等。在使用但如果创建一个unit每次都要通过配置文件，然后巴拉巴拉，其实还是很麻烦的，我们只需要使用systemd-run就可以轻而易举的创建一个CGroup，封装资源，运行命令，包装成一个unit。

2022-12-18 13:15:10 830

原创 Kafka ui 搭建以及使用

kafka 本身没有自带相关的 ui 界面，但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset 等等。但实际使用中这种效果很差劲，我们一般还是会借助其他软件，实现对 kafka 的页面管控。结合这张图与实际体验，推荐大家使用 ui for apache kafka 进行 kafka 的 ui 界面化管理。其实 kafka-ui 是没有安装过程的，在 github 上已经打包成了 jar 包，当前最新版本为 ,下载地址如下：https://git

2022-12-07 23:35:29 11053

原创 Kafka 3.3.1 Kraft 多端口协议搭建，无zookeeper

Kafka 3.3.1 已经出来挺久了，很多公司还停留在 1.X/2.X 甚至 0.8 版本的 kafka，不是说不能用，但是用起来真的糟糕，况且现在 Kraft 已经正式推出了，早就该更新了。本篇文章从实践角度出发，使用真实的搭建手册改编，带领大家搭建多网卡、多端口、多认证的 Kafka 3.3.1 on Kraft。预计效果，内部通信的非认证、内部数据传输的 sasl-plain、外部数据消费的 sasl-ssl。Kafka 2.12-3.3.1 with KRaftauth: huangyichun

2022-12-07 00:00:02 1687

原创 Spark3 AQE (Adaptive Query Execution) 一文搞懂新特性

Spark3 新特性 AQE Adaptive Query Execution 原理代码讲解

2022-12-03 01:53:30 2221

原创 Linux redict 输入输出重定向详细使用方法文件描述符

输入重定向，输出重定向，标准输出重定向，标准输入重定向，文件描述符，/dev/null

2022-11-29 23:27:15 927

原创 Linux systemctl 详解&自定义 systemd unit

什么是 systemctl ，怎么进行systemctl命令配置，systemctl有什么用，能自定义systemctl开发吗？ unit 是什么，unit 怎么配置，unit有什么用，systemd是什么，systemd 怎么配置，systemd 有什么用

2022-11-28 23:49:38 2423

原创 Linux 时间同步 ntpd&chrony 内网

在ntpd任何服务器集chrony群中，为了更好的协ntpd同工作，除了一些互信机chrony制外，需要的就是chrony时间同步功能，ntpd如果时间不同步chrony，就好比chrony让在中国的同事与美国ntpd的同事进行沟通，会造成各种奇奇ntpd怪怪的时间相关的问题。而且很ntpd多资源访问都chrony是有时效性的，如果时间不chrony同步可能永远无法访问，对此我们需要进行时间同步的功能。

2022-11-27 17:44:26 3303 1

原创 Linux Top 详细介绍，包含task排序

当我们在终端输入top命令时，会弹出一个变化的页面，打印出当前系统的大量重要指标，以及很多进程当前的运行情况：可以看到，top命令主要是两部分，第一部分为头部指标，打印的是当前系统级别指标；第二部分为进程任务监控，打印各个进程的当前运行情况。

2022-11-24 22:55:14 2205 2

原创 Linux history 命令相关使用以及配置

新手学习 shell 的时候都知道 history 命令能帮助我们查看之前运行的命令集合，通过这个能够帮我们回忆之前的命令，以及进行各种排错等等。

2022-11-23 21:51:35 3728 1

原创 spark3.3.1 for CDH6.3.2 打包

因为 CDH 在 6.3.2 之后开始收费，而自带的spark版本太低，还阉割了 spark-sql 功能。所以我们直接外挂spark3.3.1，使用 CDH 6.3.2 相关的 hadoop lib。

2022-11-23 11:32:52 2923

原创 Linux set 命令的使用方法

在 set 命令第一个参数是 Bash shell 环境中设置或取消设置的标志，可以定义后面各种 shell 的运行方式，比如打印额外的信息等等。我们上述的文件运行文件结果都是直接打印在终端中，但很多时候我们是需要运行后的结果，并且保存到其他文件中。在某些字符串需要按照空格进行拆分的时候，可以直接使用 set -- STRING 就能够拆分，当然注意拆分后的变量赋值到入参中。如果我们直接进行运行的话，cat命令的返回值其实不为0，已经产生报错，但是仍运行了接下来的 echo 命令。

2022-11-21 23:30:16 4961

原创 Bibilibili 1024程序员节 CTF 启蒙

其中，username+password就是简单String标识，nonce是一个类似于安全性的严格模式，这个值越小，越容易算出对应的答案。正常跑这个js肯定是跑不出来的，所以我们可以改造一下，然后放到node.js中运行，顺便把i++换成i-- 会更快。在答题部分安全后，就可以开始对应的夺旗赛，然后就可以写篇文章水一水，不包含答案，仅仅是部分思路。然后post 提交到 /crack1/login就行。哔哩哔哩 (゜-゜)つロ干杯~-bilibili。

2022-10-24 17:03:36 3322 14

原创 net.schmizz.sshj.DefaultConfig Illegal key size问题，NIFI部分版本因此无法正常启动

对于 NiFi 来说还有这样报错 apache.nifi.encrypt.EncryptionException: Failed to get Cipher for Algorithm [AES/GCM/NoPadding]实例：其实这个报错全网资料也比较多，但没有把根本原因说清楚，到底怎么解决说清楚。解决办法也其实特别的简单。net.schmizz.sshj.DefaultConfig Illegal key size

2022-09-28 11:30:42 655

原创 Knox 代理各类组件

使用 knox 进行正向和反向代理，并且进行一些权限认证，使用起来很方便，特别是对于 NiFi 的相关权限认证（ldap），所以本章节讲下我使用 knox 代理的服务，以及相关的一些配置选项。/gateway/san在这里面的每个xml被视为一个集群，集群中可以有多个service。topologies目录下的xml文件才会被加载，如果下面有文件夹不会继续查找。默认已经帮我们把所有的配置好了，所以只需要更改下面service的ip就行。这里创建了一个 master 秘钥，是给knox gateway的秘钥。

2022-08-09 10:10:33 1599

原创 NiFi 1.16.3 生产使用的更新及BUG。

但是也引入了一个新的bug在cluster中，如果该node没有flow.json/xml的话，这个节点启动不会创建flow.json，并且在比较和cluster中的flow.json的时候会报java.lang.NullPointerException问题。所以要手动进行copy一个，或者单节点启动一次再加入集群。解决了很多高危漏洞，但没有解决apachecommonconfiguration，涉及了几个包，包含frameword包，又要重新打nar包，打依赖。...

2022-07-21 10:20:50 715 4

原创 Flink 第8.8章 Flink FlinkSink 流式数据落盘 FileSink

Flink版本： 1.15.0在 Flink 中，FileSink，大多数场景都是 kafkaSource & kafkaSink，但不乏需要将数据写一部分到离线中的场景。对此， Flink 提供了 StreamingFileSink 来处理 Steaming 写出到 FileSystem 接口的文件系统中，并且支持 Exactly-Once 语义。基于 check point 来实现。并且很好兼容 Hive 等分区场景。今天主要讲讲 FileSink 的使用方法及实现。比如一个实时流数据落盘到本地磁盘中.

2022-06-14 18:35:21 3373 5

spark-sql sql on yarn -deploy-mode cluster 改造

spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz

NiFi界面上，每次更新了nar包后，总是会涉及到手动changeVersion的操作： 所以开发一个自动的。

socks5安装包-相关依赖rpm包

空空如也

NiFi界面上，每次更新了nar包后，总是会涉及到手动changeVersion的操作：所以开发一个自动的。