zwahut的专栏

原创 使用whisper实现语音转文本

pip install --upgrade --no-deps --force-reinstall git+https://github.com/openai/whisper.git这个过程需要很长时间，耐心等等。6、安装setuptools-rust。1、需要py3.8环境。4、安装whisper。5、安装ffmpeg。会逐步输出语音的内容。

原创 ChatGLM2-6B微调过程说明文档

在电影《天下无贼》中，演员刘德华和刘若英扮演的一对夫妇开着骗得的宝马轿车驶 入别墅区大门时，保安不但没有上前询问，反而立正敬礼。然而，电 影中的这一幕揭示了一个现实，如 “宝马”这样的驰名商标彰显了拥有者的身份与地位, 满足了消费者的心理需求，其作用有别于普通商标。下载anaconda，版本是Anaconda3-2023.03-0-Linux-x86_64.sh，其对应的python版本是3.10，试过3.7和3.11版本的在运行时都报错。进入安装过程，根据提示输入即可，会自动配置好环境变量和pip等。

原创 Mac M1 安装Docker打包arm64的python项目的镜像包

3、打开docker，修改国内镜像源，位置在配置-DockerEngine。4、在编写好的python项目下新建Dockerfile文件，内容如下。1、首先安装Docker，到官网下载，选择apple chip版。--load 打包好后把镜像加载到本地docker镜像库。2、双击下载的dmg文件，在弹出框中之间拖拽到右边。8、导出的镜像在其他arm服务器上导入docker。注意：python环境指定的是arm架构的版本。6、启动和测试，启动后用postman测试。--platform 指定平台版本。

原创 Doris单机版安装和初步使用

参考官方文档。

原创 人工智能-1、机器学习概述

原创 Flink对接Kafka的topic数据消费offset设置参数

开始阅读位置#config 选项scan.startup.mode指定 Kafka 消费者的启动模式。有效的枚举是：`group-offsets`：从特定消费者组的 ZK / Kafka 代理中的已提交偏移量开始。 `earliest-offset`：从可能的最早偏移量开始。 `latest-offset`：从最新的偏移量开始。 `timestamp`：从用户提供的每个分区的时间戳开始。 `specific-offsets`：从用户提供的每个分区的特定偏移量开始。默认选项值group-o.

原创 袋鼠云数栈开发平台使用问题汇总--持续更新

数据同步任务报错：Server returned HTTP response code：401 for url查看easymanager，发现zkfc的2个节点挂掉，使用滚动重启后恢复健康状态，但是再次执行任务还是报错。分析发现是从服务器拉取日志报错，实际后台任务已经执行完成，数据量也能对上。错误1：Could not establish connection to jdbc:hive...Read time out 或者 后台接口调用异常，状态码：402，说明信息：无法调用接口问题排.

原创 kafka+zk三台集群问题排查

问题描述：项目中人大金仓同步工具同步数据增量到kafka集群，无法自动创建topic，以及出现同步到topic时连接失败的问题，经过排查修改配置参数最终解决。重新安装zk和kafka操作步骤1、先把zk和kafka都停掉三台都执行zookeeper/bin/zkServer.sh stop三台都执行kafka/bin/kafka-server-stop.sh2、把之前的目录文件都备份删除mv /data/zkData/data/zkData-bakmv/d..

原创 Flink任务报错记录

1、报错信息如下org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Zero-length character strings have no serializable string representation.at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProg.

原创 jvm执行引擎

1、执行引擎概述执行引擎是java虚拟机核心组成部分之一。虚拟机是一个相对与物理机的概念，这两种机器都有代码执行能力，其区别是物理机的执行引擎是直接建立在处理器、缓存、指令集和操作系统层面上的，而虚拟机的执行引擎则是由软件自行实现的，因此可以不受物理条件约定指令集与执行引擎的结构体系，能够执行那些不被硬件直接执行的指令集格式。JVM的主要任务是负责装载字节码到其内部，但是字节码并不能直接运行在操作系统上，因为字节码并不等价于本地机器指令，它的内部包含的仅仅只是一些能够被jvm所识别的字节码指

原创 Kingbase ES8问题记录

问题现象：删除表一直没效果，试了truncate和drop都不行，表数据量不到7千万，进度条一直转，等了很久还没删掉。问题原因：表被锁住了。解决办法：查看被锁住的原因：可以看进程，select * from sys_stat_activity where query like ' 表名'；最后一列做下筛选如果确保这个进程没用的话，select SYS_TERMINATE_BACKEND(3542);括号里是进程号pid...

原创 Hive编程指南

1、基础知识2、基础操作$HOME/.hiverc历史命令在$HOME/.hivehistory在hive CLI 中执行hadoop的dfs命令，只要将hadoop去掉，结尾加分号3、数据类型和文件格式4、HiveQL：数据定义内部表、外部表、管理表、分区表5、HiveQL：数据操作导入数据：insert intoinsert overwritecreate table as select6、HiveQL：查询select ... from数学.

原创 MySQL知识

1、查询条件可以使用正则表达式REGEXP，比like快、强大2、MyISAM支持全文本搜索，InnoDB不支持3、插入数据不影响查询效率，可以使用INSERT LOW_PRIORITYINTO...4、更新数据跳过失败的行，可以使用Update ignore table5、引擎类型可以混用，但是外键不支持跨引擎6、视图、存储过程、游标、触发器7、事务commit、rollback、savepoint---------《MySQL必知必会》...

原创 迁移ElasticSearch老集群中的数据到新集群

思路：在网上查找迁移方法，发现elasticdump工具可以实现数据迁移，故安装测试。在一台能够同时访问新老集群的Windows电脑中安装elasticdump工具，然后执行命令即可，具体步骤如下：

原创 迁移老集群的Hive表结构和数据到新集群中

总体思路：1、从旧集群中导出表结构，库和表众多的情况下，使用shell脚本批量导出2、从旧集群导出的sql建表语句做一些修改，在新集群中执行即可3、使用distcpm

原创 kettle写入hdfs报错问题--HA集群主节点写错导致无法创建目录

报错信息如下，解决办法就是找到真正的active的主节点ip，修改后即可

原创 PKI/PMI系统建设依据的国际标准

PKI/PMI系统建设依据的国际标准●加密数字加密标准 (DES)，符合FIPS PUB 46-2 和 ANSIX 3.92CAST 分组密码，符合 Internet RFC 2144三重数字加密标准，符合 ANSI X9.52RC2，符合因特网草案："RC2 (r) 加密算法说明" 1997年6月24日使用 CBC 操作模式的 DES、CAST、RC2和Triple...

原创 springboot实现读kafka数据写入文件并按指定行数分割文件

1、需求描述大致需求是这样的，kafka作为数据缓存通道，接收前端设备上传的数据，现在需要实现读取kafka的数据，再保存到文件，但是不能全部写入一个文件，会导致一个文件过大，需要按照指定行数分割文件，按行数是为了方便核对数据量，前端上传了多少数据，kafka接收了多少数据，最终写入文件多少数据。另外需要说明传入的数据是一个复杂的json字符串，嵌套了很多内容，而且还有图片的base64字...

原创 Kafka单机版本地安装测试

1、下载解压tar -xzf kafka_2.12-2.4.0.tgzcd kafka_2.12-2.4.02、启动zookeeper和server#前台启动 bin/zookeeper-server-start.sh config/zookeeper.properties#后台启动nohup bin/zookeeper-server-start.sh config/zo...

原创 mvn把自定义jar包安装到本地仓库

命令如下mvn install:install-file -Dfile=/Downloads/java_sdk/test_sdk.jar -DgroupId=com.test -DartifactId=test_sdk -Dversion=1.0 -Dpackaging=jar -DgeneratePom=true注意：修改file路径、groupId、artifactId等使用方法...

原创 运行打包的jar报错 没有主类清单

解决办法在pom文件中增加build配置注意：mainClass这里的路径要选择要打包的类，Ctrl+点击能跳转过去就行 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId&g...

原创 Kettle：Job Entry Specific FAQ

Available FAQ for job entries:Shell Job Entry FAQHow to check for the return code of a shell script/batch file?The Shell script considers a return code of 0 to mean success, anything else is fail...

原创 Kettle使用过程中遇到的问题（持续更新）

一、Oracle相关问题1、连接Oracle报错（暂未解决）IO错误：远程主机强迫关闭了一个现有的连接，authentication lapse 0 ms问题分析：我用plsql连接 报了一个 ora-12547 tns 丢失连接，上网查了一下 是oracle监听没起来。我在本地可以登上 但是到虚拟机上 使用的是映射的ip登录 就报了一个tns丢失连接。其他数据库映...

原创 xfire客户端获取xcf服务端接口解析问题2

1、xfire接口代码import org.codehaus.xfire.client.Client;import org.w3c.dom.Document;import javax.xml.transform.OutputKeys;import javax.xml.transform.Transformer;import javax.xml.transform.Transforme...

原创 SpringBoot项目启动报错问题

1、问题背景：在整合查询hbase接口和前端时，前端项目使用了公司封装的基础类库，其中包括了数据库驱动，而本项目没有用到数据库，导致启动报错：Description:Cannot determine embedded database driver class for database type NONEAction:If you want an embedded datab...

原创 xfire客户端获取xcf服务端接口解析问题

1、java.lang.ClassCastException: org.apache.xerces.dom.DocumentImpl cannot be cast to java.lang.Stringcfx服务端代码参考https://blog.csdn.net/zwahut/article/details/100923439xfire客户端代码如下：import org.cod...

原创 华为的FusionInsight智能数据生态地图

参考文档：https://fusioninsight.github.io/ecosystem/zh-hans/FusionInsight支持开源标准的Hadoop接口，可以与以下第三方工具进行对接。主要有几大模块及支持的工具：数据可视化：Tableau、QlikView、QlikSense、SmartBI、Oracle BIEE、IBM Cognos数据分析：SAS Access ...

原创 基于CFX的Web Service服务端和客户端demo

首先新建一个项目，修改pom文件，添加cfx的依赖包，然后编写服务端和客户端代码，最后测试即可。1、修改pom文件 <dependencies> <dependency> <groupId>org.apache.cxf</groupId> <artifactId>c...

原创 Escheduler调度系统修改数据库MySQL为Postgres

为了统一使用的数据库为postgres，所以现在对开源项目Escheduler做一些修改，把MySQL数据库改为Postgres。具体步骤，和遇到的问题及解决办法记录如下：说一下思路，直接改代码也不清楚改哪里，我是在已经安装好的情况下，修改了配置文件，然后重启服务，看日志，根据日志报错情况再具体问题具体解决。解决问题的话是改源代码，然后再编译安装，再查看日志有没有报错，中间反复很多次。测试...

原创 Library source does not match the bytecode for class

错误原因是jar包冲突，应该某个jar包存在多个版本导致的，找到后通过配置pom文件，留下一个版本就可以了

原创 Mybatis查询数据部分字段返回null

问题描述：1、在数据库中有数据，但是通过接口查询出来为null，同一张表有些字段可以查询出来，有些为null对比了数据库表字段和实体类中的字段，命名都是一致的；找资料说配置resultMap，试了一下也没有效果。解决办法：数据库表中的字段以 _ 拼接，但是实体类的定义还是要用驼峰式的命名方式，否则会获取不到查询结果。...

转载 Java执行curl命令

需要注意的是，命令需要以数组的形式传递参数，就是把正常的命令以空格切分成数组就行了。而且参数前后不能有空格，不然会报错。具体的测试代码如下：import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;public class TestCurl { p...

原创 CrateDB单机版和集群版安装

这里安装的是 crate-ce-4.0.0 ，必须使用java 11版本从Oracle官网下载解压安装即可，下载地址：https://crate.io/download/vim ~/.bash_profile添加如下内容JAVA_HOME=/home/crate/jdk-11.0.3/PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/...

原创 Linux下常用的命令和shell脚本

Shell脚本实现集群中批量执行命令ip="192.168.10.34192.168.10.35192.168.10.36"for i in $ip;do echo $i ssh root@$i "cat /usr/hdp"doneCentos7下查看CPU个数以及核数# 总核数 = 物理CPU个数 X 每颗物理CPU的核数# 总逻辑CPU数 = ...

原创 Spark和Alluxio测试

使用anisble配置好的脚本安装环境：zookeeperhadoopsparkalluxio先修改一下配置文件：修改alluxio的配置文件/opt/alluxio/roles/install-alluxio/templates/alluxio-site.properties.j2：alluxio.zookeeper.enabled=false#true...

原创 集群时间同步shell脚本

同步单台时间date=$(date +"%Y-%m-%d %H:%M:%S")echo -e "\nLocalTime => $date\n"ssh [email protected] "date -s '$date'"ssh [email protected] "hwclock -w"集群同步时间cat syc_time.sh #!/bin/bash######...

原创 工作必备(Windows系统)

开发工具：1、Intellij IDEA2、Eclipse3、RStudio编译：1、Maven2、Git语言：1、Java2、R3、Python远程工具：1、Xmanager，Xshell，Xftp2、Lantern数据库连接工具：1、Navicat2、DBeaver浏览器：1、chrome，插件postman2、fi...

原创 工作必备（Mac系统）

开发工具：1、Intellij IDEA2、Anaconda-Navigator3、PyCharm编译：1、Maven2、Git语言：1、Java2、Python远程连接：1、FileZilla2、iTerm3、ShadowsocksX浏览器：1、chrome2、postman文档编辑：1、Office2、有道云笔记3...

原创 用fastjson解析streamsets接口返回的复杂json

Streamsets提供了丰富的restful接口，通过swagger方式提供，使用很方便，功能很强大。地址：http://localhost:18630/collector/restapi这里我们在对Streamsets做二次开发的时候，需要解析返回结果并保存到数据库中，这里把几个有代表性的json解析方式讲解一下。1、查询所有任务的运行状态在manager分组下， 不需要参数...

原创 SparkSQL和Alluxio结合使用

1.先在hive配置文件中增加alluxio相关配置，然后再安装hive修改配置文件 playbooks/hive/vars.yml:#alluxioalluxio_path: "/opt/alluxio-1.8.1"alluxio_zookeeper_address: "192.168.6.12:2181,192.168.6.13:2181,192.168.6.14:2181"...