寻找手艺人-CSDN博客

原创串口、Modbus通信协议

RS485是一个工业总线通信的常见串口，可以支持多点、双向通信的功能，有着较长的通信距离、较强的抗干扰能力，提升整个网络中数据传输的可靠性。而Modbus协议是一种工业通信协议，具备标准开放免费等优势，可以支持RS485、RS232等串口，是一种数据的通用语言。RS485和Modbus不是一种概念。RS485是指物理串口，可以支持Modbus协议；而Modbus是指虚拟数据语言，可以通过RS485、RS232、RS422进行数据传输。

2023-05-19 11:59:13 1531

原创（二）Proxmox7.3 VE 安装Rocky9.1系统

PVE虚拟管理平台能正常访问。

2023-04-01 11:32:37 402

原创（一）Proxmox7.3 VE 安装教程

Proxmox VE 基于 Debian Linux 操作系统，官方提供有 ISO 光盘镜像，其中包含了一个完整的Debian Linux, 64-bit操作系统（Proxmox VE 7.x 使用的是Debian9.x）和Proxmox VE的所有基本软件包。使用安装向导可以帮助完成整个安装过程，包括本地磁盘分区，基本系统设置（例如，时区，语言，网络），软件包安装等。使用官方 ISO 可以在几分钟内完成安装，这也是首推使用官方 ISO 安装的原因。

2023-04-01 10:42:57 2723

原创 VMware17pro图解安装 Rocky Linux 9.1

Rocky Linux为CentOS Linux 的继承者, RHEL 9 的复制品,

2023-03-26 14:01:51 423

原创 vim批量操作技巧

vim批量操作技巧目录一、列操作二、批量复制与删除三、批量替换四、批量注释一、列操作删除列在正常模式下（一般按Esc键就是）——光标定位——CTRL+v 进入“VISUAL BLOCK”可视块模式，选取这一列操作多少行——按键盘d 删除。插入列例如我们在每一行前都插入注释"// "：在正常模式下（一般按Esc键就是）——光标定位到要操作的地方——CTRL+v 进入“VISUAL BLOCK”模式，选取这一列操作多少行——SHIFT+i(I) 输入要插入的内容如"//"——ESC 按两次

2023-03-24 11:11:10 2777

原创高项整理-项目管理过程组与知识领域表

项目管理过程组与知识领域表

2022-09-25 09:51:49 149

原创关于Thread线程类中join方法的理解

1、案例需求现有a,b,c三个线程，要求b,c线程必须确保在a执行完成后执行（这里要求用join来完成）2、案例代码package com.rcb.edg;/** * @author : jizhuang.wang * @version V1.0 * @Project: hive-udf * @Package com.rcb.edg * @Description: TODO * @date Date : 20220508 12:56 */public class SyncTest

2022-05-08 18:58:27 422

原创是时候该写下Springboot基于Keytool的SSL双向认证代码示了

1.前言HTTPS （全称：Hyper Text Transfer Protocol over SecureSocket Layer），是以安全为目标的 HTTP 通道，在HTTP的基础上通过传输加密和身份认证保证了传输过程的安全性 [1] 。HTTPS 在HTTP 的基础下加入SSL 层，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。 HTTPS 存在不同于 HTTP 的默认端口及一个加密/身份验证层（在 HTTP与 TCP 之间）。这个系统提供了身份验证与加密通讯方法。JDK

2022-03-18 23:22:59 4091 1

原创【再也不怕pdf转换了】使用Python实现PDF扫描件生成DOCX或EXCEL

1.问题描述应项目需求需要获取PDF扫描文件的内容，但寻遍整个网络能达到这种功能的产品，都要会员充值。苦于囊中羞涩也只好编写功能代码来实现了。如PDF中表格图片图-1效果生成图-2图-1图-22.实现流程整个步骤为：读取PDF文件->生成图片->ORC获取图片内容->写入ExcelCreated with Raphaël 2.2.0开始读取PDF生成图片ORC获取图片内容写入Excel结束3.功能代码3.1 pdf转为图片import fitz # pdf转为图片

2022-03-03 09:20:23 2427

原创 Microsoft Visual C++ 14.0 is required解决方法

1.问题描述在用pycharm过程中，用pip去安装一些第三方包的时候会出现如下错误，缺少C++编译器，因为有些程序需要使用，没有C++接口会报错，查阅相关资料及自己的解决方案(venv) D:\ml-lab>pip install pdf2docxerror: Microsoft Visual C++ 14.0 is required. Get it with “Build Toolsfor Visual Studio”: https://visualstudio.microsoft.

2022-03-01 20:36:23 6691 6

原创 Ambari2.7.3自定义安装Ambari-Doris-Service

1.背景通过Ambari，来安装和管理HDP集群上的Doris。这个ambari doris stacks有3个角色，DORIS_FE\FE_Observer\DORIS_BE, doris包的名字是doris-0.14.0-release.tar.gz，树路径如下:doris-0.14.0-release├── be│ ├── bin│ │ ├── start_be.sh│ │ └── stop_be.sh│ ├── conf│ │ ├── be.conf│ │ └── odbcins

2021-11-04 20:36:14 1205 3

原创 VMWare虚拟机扩展磁盘空间（扩充root根目录空间）

1. 扩展虚拟机磁盘空间Vm虚拟机下Linux扩展原有磁盘空间，10G10G的基础上不能满足需求，只好进行磁盘扩展。调整到合适的磁盘空间需注意以下几点： linux只能扩展磁盘容量而不能减小，所填写的容量为总容量，即包含已分区的磁盘。2.查看、创建系统分区启动虚假机，查看磁盘分区[root@node1 ~]# fdisk -l总磁盘大小32.2GB,其中磁盘分了sda1,sda2两个分区。Linux LVM为虚拟机分区约有9GB磁盘空间。创建新分区[root@no

2021-11-04 14:19:16 9071 18

原创 Ambari2.7.3定义自定义Stacks和Services

1.背景Ambari是一个强大的大数据集群管理平台。在实际使用中，我们使用的大数据组件不会局限于官网提供的那些。那如何在Ambari中集成进去其他组件呢？下面我们就开展来说明吧~Ambari中stacks相关的配置信息位于：源代码包：/ambari-server/src/main/resources/stacks安装后：/var/lib/ ambari - server /resources/stacksAmbari源码下载地址:https://dlcdn.apache.org/amb

2021-11-03 16:28:18 765 1

原创 Apache Hadoop3.3.1-HDFS指令fsck

1. fsck介绍HDFS supports the fsck command to check for various inconsistencies. It is designed for reporting problems with various files, for example, missing blocks for a file or under-replicated blocks. Unlike a traditional fsck utility for native file sy

2021-10-29 11:49:37 388

原创 HIVE-17824 是关于hive msck repair 增加清理metastore中已经不在hdfs上的分区信息

1.MSCK REPAIR TABLE 一般用法MSCK REPAIR TABLE命令主要是用来解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。我们都知道hive服务中有一个叫hive metastore的服务，这个服务主要是存储一些meta元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用 ALTER TABLE t

2021-10-26 17:46:58 1066

原创 Idea远程部署springboot到Docker

1、准备环境1.1、安装Docker安装Docker1.2 .配置docker远程连接端口vi /usr/lib/systemd/system/docker.service找到 ExecStart，在最后面添加 -H tcp://0.0.0.0:2375，如下图所示1.3、重启dockersystemctl daemon-reloadsystemctl start docker1.4 、开放端口针对防火墙不能关键的情况下，可以选择开放端口firewall-cmd --zone=p

2021-08-12 18:40:31 140

原创 CentOS7.8 部署Kubernetesv1.21.2集群

1. 准备部署Kubernetes集群Kubernetes项目目前仍然处于快速迭代阶段，演示过程中使用的配置对于其后续版本可能存在某些变动，因此，版本不同时，对具体特性支持的变动请读者参考Kubernetes的ChangeLog或其他相关文档中的说明.1.1 部署目标图1.1 给出了要部署的目标集群的基本环境，它拥有一个Master主机和三个Node主机。各Node主机的配置方式基本相同。各主机上采用的容器运行时环境为Docker，为Pod提供网络功能的CNI是flannel，它运行为托管于Kub

2021-06-30 16:25:09 532

原创 Centos7.8 如何快速地将Hive中的数据导入ClickHouse

1. 前景概要ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。针对存储在Hive中的结构化数据，我们应该怎么操作呢？1.1. Hive to ClickHouse假定我们的数据已经存储在Hive中，我们需要读取Hive表中的数据并筛选出我们关心的字段，或者对字段进行转换，最后将对应的字段写入ClickHouse的表中。1.2. Hive Schema我们在Hive中存

2021-05-12 08:34:07 399

原创 Centos7.8 安装Waterdrop

1.Waterdrop由来1.1 什么是WaterdropWaterdrop 是一个非常易用，高性能、支持实时流式和离线批处理的海量数据处理产品，架构于Apache Spark 和 Apache Flink之上。“Waterdrop” 的中文是“水滴”，来自中国当代科幻小说作家刘慈欣的《三体》系列，它是三体人制造的宇宙探测器，会反射几乎全部的电磁波，表面绝对光滑，温度处于绝对零度，全部由被强互作用力紧密锁死的质子与中子构成，无坚不摧。在末日之战中，仅一个水滴就摧毁了人类太空武装力量近2千艘战舰。1.

2021-05-12 08:21:30 1450 2

原创 Clickhouse20.1.6.13如何定义数据表及表的基本操作

概要我们开始介绍DDL操作及定义数据的方法。DDL查询提供了数据表的创建、修改和删除操作，是最常用的功能之一。1.数据库数据库起到了命名空间的作用，可以有效规避命名冲突的问题，也为后续的数据隔离提供了支撑。任何一张数据表，都必须归属在某个数据库之下。创建数据库的完整语法如下所示：CREATE DATABASE IF NOT EXISTS db_name [ENGINE=engine]其中，IF NOT EXISTS表示如果已经存在一个同名的数据库，则会忽略后续的创建过程；[ENGINE = en

2021-05-07 12:42:34 651

原创 Clickhouse20.1.6.13内置实用工具

1.内置工具ClickHouse除了提供基础的服务端与客户端程序之外，还内置了clickhouse-local和clickhouse-benchmark两种实用工具，现在分别说明它们的作用。1.1. clickhouse-localclickhouse-local可以独立运行大部分SQL查询，不需要依赖任何ClickHouse的服务端程序，它可以理解成是ClickHouse服务的单机版微内核，是一个轻量级的应用程序。clickhouse-local只能够使用File表引擎（关于表引擎的更多介绍在后续章

2021-04-29 13:27:13 941 1

原创 Clickhouse20.1.6.13 远程连接客户端的访问接口（CLI&JDBC）

1. 概览ClickHouse的底层访问接口支持TCP和HTTP两种协议,其中，TCP协议拥有更好的性能，其默认端口为9000，主要用于集群间的内部通信及CLI客户端；而HTTP协议则拥有更好的兼容性，可以通过REST服务的形式被广泛用于JAVA、Python等编程语言的客户端，其默认端口为8123。通常而言，并不建议用户直接使用底层接口访问ClickHouse，更为推荐的方式是通过CLI和JDBC这些封装接口，因为它们更加简单易用。2. CLICLI（Command Line Interface）即

2021-04-29 12:43:47 1897

原创 Centos7.8系统ClickHouse21.1.6.13安装与部署

1.什么是clickhouseClickHouse是第一个真正意义上的开源OLAP数据库管理系统它是面向列的，允许使用SQL查询实时生成分析报告。序号特性序号特性1速度快4高效硬件利用2线性扩展5容错3性能丰富6高可用ClickHouse的性能超过了市场上类似的面向列的数据库管理系统。它每台服务器每秒处理数亿到10亿行数据和几百亿字节的数据。官网地址： https://clickhouse.tech/2、离线安装部署2.1 Click

2021-04-28 19:03:28 752

原创什么是借、贷、来账、往账、挂账、贷记、借记

从你上面提出来的词语，基本可以判断出这是银行体系的支付系统1、借贷：复式记账的一种记账符号，和科目结合起来，可以清晰的表示业务级别的资金流动。2、往帐、来帐：假如你是A行的支付系统，往帐代表A往外发送支付请求。来帐表示A行接收到其他行发过来的支付报文。3、挂账：又称为暂积户，正常账务是客户帐和来往清算账户之间的流动，但二者出现问题的话，就需要把钱暂时存放到暂积户。这个动作称之为挂账。4、贷记业务：假如你是A行的支付系统，贷记业务表示你将钱从A行转到其他行5、借记业务：假如你是A行的支付系统，借记

2021-04-21 17:29:16 10021

原创解决Idea Maven生成的jar运行出现“没有主清单属性”问题

1、问题描述通过maven构建了jar文件，如图所示2、命令窗口运行jar,提示“没有主清单属性”2.1 分析问题在打包构建的jar目录内，可以看到有一个MANIFEST.MF文件，如图所示：该文件就是jar运行时要查找的清单目录，其中主清单数据，就是我们要运行的主类（函数入口main所在的类）；提示缺少主清单属性，就是文件中少了主清单属性如下所示：正常情况下，该清单文件内会有一个：Main-Class:org.example.xxx.APP属性，他就是我们程序运行的入口（mai

2021-02-23 17:35:53 42614 8

原创 CentOS 7 磁盘空间以及文件系统扩容

1、PV VG LV概念PV,VG,LV构成了一种易于管理拥有一个或多个硬盘的主机的文件系统，这些硬盘可能只有一个分区也可能有多个。通过将这些物理存在的分区(或称为卷)PV(physical volume)进行整合，组成一个分区(卷)组VG(volume group)，进而再次进行分配形成逻辑分区(卷)LV(logical volume)。创建成功的逻辑分区对于操作系统来说会想普通分区无异，其好处是可以动态调整分区大小。管理PV,VG,LV的工具称为逻辑卷管理器LVM(logical volume man

2021-02-22 14:34:54 1091

原创 Hive下查看表占用空间大小的方法

一、Hive下查看数据表信息的方法方法1：查看表的字段信息desc table_name;方法2：查看表的字段信息及元数据存储路径desc extended table_name;方法3：查看表的字段信息及元数据存储路径desc formatted table_name;备注：查看表元数据存储路径是，推荐方法3，信息比较清晰。二、查看表容量大小查看该表总容量大小，单位为G$ hadoop fs -du /user/hive/warehouse/table_name|awk '{ S

2021-02-22 09:44:44 4446

原创检查依赖数据到达后定时触发任务

#!/bin/bashHOST_NAME='xxxxxxxx'PORT=3306USER_NAME=rootPASSWORD='xxxxx'DBNAME='edg'# 任务队列变量数组export declare -a task_queus=()#===========================校验YARN任务队列中是否存在正在运行或就绪的任务========================================function IsExistsYarnTask(){

2021-02-19 19:57:34 127

原创 mysql优化——show processlist命令详解

SHOW PROCESSLIST显示哪些线程正在运行不在mysql提示符下使用时用mysql -uroot -e ‘Show processlist’ 或者 mysqladmin processlist如果您有root权限，您可以看到所有线程。否则，您只能看到登录的用户自己的线程，通常只会显示100条如果想看跟多的可以使用full修饰（show full processlist）参数字段名称描述idID标识，要kill一个语句的时候很有用use当前连接用户

2021-02-03 14:19:00 229

原创 shell 定时监控并处理脚本

1. 问题描述yarn 中mapreduce任务一直在NEW_SAVING状态hold不动，导致后续任务不能正常秩序。2.脚本内容现写如下脚本，达到定时监控并处理oo.sh#!/bin/bashif [[ ! -s /usr/local/job_env/shell/NEW_SAVING.txt ]]; then echo -e `yarn application -list -appStates NEW_SAVING |grep application_ |grep -v yarn-ats

2020-12-18 16:52:11 340 1

原创 Hive3.0.0自定义UDF函数获取每月结合国家法定节假日工作日数实现

1.客户需求根据每月工作日并结合国家法定节假日计算工作量（必须给我实现，我不管你们用什么方法）2.现状由hive默认函数不支持该需求，那只好自己动手来写了,在不可能也要创造可能啊，毕竟客户god嘛3.方法hive组件支持用户自定义的UDFS函数，根据规约来实现吧3.1.创建Maven工程pom.xml如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4

2020-12-18 16:29:57 2642 3

原创 python机器学习-K近邻算法手写数字识别模型

1. K近邻算法当有多种类别数据时，我们常常面临着对新加入的数据进行分类的问题，例如，根据口味和色泽划分新的葡萄酒的类别，根据内容形式划分新上映电影的类别，根据过往人脸特征进行人脸识别等。这些问题都可以采用机器学习中非常经典的K近邻算法来解决。本章将讲解K近邻算法的原理与代码实现，然后通过手写数字识别模型的案例来巩固所学知识。2.K近邻算法基本原理英文为K-Nearest Neighbor，因而又简称KNN算法K近邻算法的原理非常简单：对于一个新样本，K近邻算法的目的就是在已有数据中寻找与它最相似的

2020-11-17 17:45:45 828

银行BIN对应码.csv

card_show.rar

elastic-job-lite-console-3.00.tar.gz

Android应用开发详解

空空如也