- 博客(32)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 解决Redission的RList查询list数据过慢的问题
前台需要从后台获取大量自动化日志数据用于前端图表展示，自动化数据存储于时序数据库内，每条任务数据普遍在数十到上百万之间，为了加速展示，考虑将数据按任务分类分别存储于redis内。如果只是需要存储整个list进行整体存取操作的话，可以弃用Rlist,通过json将数据转为字符串直接使用RBucket整体存取，进行整体序列化和反序列化操作。排查发现，耗时主要出在Rlist的getlist(key）操作上，因为数十万条数据要进行大量对象数据反序列化操作，非常耗时。
2024-04-07 10:04:51
324
原创 Jenkins报：403 No valid crumb was included in the request
最近项目使用jenkins自动部署，我用的版本是2.348，关联gitee的webhook时用gitee发送推送测试时一直提示403问题。我这里用的Jenkins版本是2.348，研究了一下发现原来是Jenkins新版本默认加入了CSRF设置，还不能页面配置关闭的那种...尝试了网上各种方法，比如增加匿名可读权限，修改config.xml配置等均无效。高版本Jenkins需要使用脚本命令的设置关闭CSRF，输入一下内容执行。再用gitee推送测试，提示成功。后来借鉴一位网友经验。
2023-12-07 16:39:33
1163
原创 javax.xml.stream.XMLStreamException: ParseError at [row,col]:[5,7]\nMessage: 前言中不允许有内容。
javax.xml.stream.XMLStreamException: ParseError at [row,col]:[5,7]\nMessage: 前言中不允许有内容。应该是xml文件解析出错了。debug时发现参数中所有的文档信息都没有了，怀疑是被项目框架过滤掉了。看了一下我这里用的是若依cloud框架。那么就在nacos对应的gateway.yml配置文件里增加过滤url。使用工作流开发功能时，保存定义的流程时结果出现了。
2023-10-26 09:52:33
815
原创 nacos注册服务时网卡ip有误导致[网关异常处理]finishConnect(..) failed: 没有到主机的路由:
注意，以上配置时，如果你有ip为192.168.1.2或者172.1.2.1等不同的地址，配置时可以不用写全ip地址，如若使用192.168.1.10这个ip，只需配置spring.cloud.inetutils.preferred-networks=192即可，nacos会自动定位192.168.1.10这个ip。今天本地机器测试微服务时，连接的是服务器的nacos注册本地服务，调试时报。1. 在启动服务前修改application文件，添加如下配置。登nacos服务台看了一下服务地址居然与ip不一致。
2023-07-20 17:48:43
2169
原创 Centos 安装hadoop集群
Hadoop生态体系中总共会出现如下进程角色：Hadoop HDFS的管理角色：Namenode进程（仅需1个即可（管理者））Hadoop HDFS的工作角色：Datanode进程（多个（工人，越多越好，一个机器启动一个））Hadoop YARN的管理角色：ResourceManager进程（仅需1个即可（管理者））Hadoop YARN的工作角色：NodeManager进程（多个（工人，越多越好，一个机器启动一个））
2023-07-20 09:24:15
969
原创 jenkins + gitlab + harbor实现前后端分离项目的CI/CD持续交付部署
从CI/CD过程开始，包含所有阶段并负责创建自动化和无缝的软件交付的一系列步骤称为CI/CD管道工作流。使用CI/CD管道，软件发布工件可以从代码提交阶段到测试、构建、部署和生产阶段在管道中移动和前进。这个概念非常强大，因为一旦指定了一个管道，它的一部分或全部就可以实现自动化，从而加快流程并减少错误。换句话说，CI/CD管道使企业更容易一天自动多次交付软件。DevOps工程师经常会因为CI/CD中各个阶段的自动化而与CI/CD管道混淆。
2023-04-10 16:25:43
1501
2
原创 linux下安装docker仓库-Harbor
http和https选一个就行，注释掉另一个，hostname用真实可用ip，因为harbor要被其他机器访问。安装成功后，会显示如上内容，根据之前配置的ip:port查看harbor，正常显示登录页代表安装成功。默认端口为80，我这里修改为8020了，默认密码是Harbor12345，我这里修改成自己的密码。我这里下的是harbor-offline-installer-v2.7.1.tgz。复制一份harbor.yml.tmpl为harbor.yml。环境，所以安装Harbor之前必须保证系统已安装。
2023-04-07 16:23:03
226
原创 linux环境安装nginx
首先安装nginx依赖环境，gcc pcre和openssl。我这里直接使用wget下载，选择的是1.18版本。根据需要修改nginx.conf文件。如果修改了配置文件，执行。
2023-03-30 14:04:17
67
原创 linux上搭建mysql数据库集群，实现数据库主从同步和读写分离
当我们在mysql主库上进行写的操作时，主库会将操作进行备份，存储到二进制日志binlog，由从库的I/O线程来读取binlog日志的内容，将主库中写的操作读取到从库并转存到从库的中继日志relaylog中，从库通过SQL线程将relaylog中的内容进行读取并写入库中，实现主从数据同步。检查mysql主节点容器的配置，找到容器ip，我这里是172.17.0.3，部署在非同一台机器的可以忽略，直接用真实ip即可。binlog-ignore-db=mysql #忽略的数据, 指不需要同步的数据库。
2023-03-15 16:01:28
947
原创 docker镜像生成导致linux磁盘空间不足（ No space left on device），清理docker日志
服务器的应用突然不能访问了，系统提示Nospaceleftondevice，得知是由于服务器磁盘满了所致。清理docker日志
2022-08-01 10:39:38
1336
原创 pgsql查询报错[42704] ERROR: user mapping not found for “readuser“
今天使用只读账号查询某数据库外部表时报错 [42704] ERROR: user mapping not found for "readuser"了解了一下是因为外部表没有readuser用户的映射，需要找到外部服务器，添加readuser用户映射。切换到管理员用户找外部服务器server名称的sql将上面得到的servername替换下面sql中的servername然后再次执行再次尝试访问，成功！如果将所有用户都赋权，将具体user改为public然后执行sql...
2022-06-29 16:07:55
3121
原创 docker启动容器失败：cannot access ‘/docker-entrypoint-initdb.d/‘: Operation not permitted
记一次docker启动项目失败：启动postgresql时docker启动失败，docker ps 显示如下图所示[root@s73 ~]# docker ps -aCONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMESb9ce1ebd3d63 postgres:
2022-05-19 18:20:36
8671
原创 使用docker安装pgsql
我这里使用的是pgsql12版本先使用docker拉取镜像[root@s73 ~]# docker pull postgres:1212: Pulling from library/postgresa2abf6c4d29d: Pull complete ......59525896cd85: Pull complete Digest: sha256:1d098cd3c1a7b132edc5bfdd7d775ff0949104b150e31d52c0aff7bdcd25c53eS..
2022-05-19 18:03:19
2774
原创 linux搭建kubernetes集群（一主二从）
目录1.环境准备1.1禁用swap（kubernetes特性）1.2 关闭iptables（三台机器都要设置）1.3 修改主机名（三台机器都要设置）1.4域名解析，ssh免密登录2.安装k8s2.1下载yum源2.2创建缓存（将后面需要下载的rpm包缓存下来，方便其他机器使用）2.3 打开iptables桥接功能（三个节点都需调整）2.4 打开路由转发（三个节点都需调整）2.5 回到master节点2.6 初始化集群（下载镜像）2.7 其他节点加入集群.
2022-05-13 14:08:28
3991
原创 linux（centos7）下安装docker
docker前置要求kernel 3.10+，所以系统内核需要大于3.10才能使用docker，查看内核版本[root@m72 ~]# uname -r3.10.0-957.el7.x86_64安装docker如果有旧版本docker，先卸载掉yum remove docker docker-common docker-selinux docker-engine# 用于删除镜像等rm -rf /var/lib/docker我这里显示没有安装过dockerLoaded..
2022-05-12 15:50:40
423
原创 windows下安装yarn
1.介绍最近接触的公司前端项目用到了Yarn，先来了解一下Yarn，Yarn是Facebook最近发布的一款依赖包安装工具。Yarn是一个新的快速安全可信赖的可以替代NPM的依赖管理工具。官网的说明是Yarn is a package manager for your code. It allows you to use and share code with other developers from around the world. Yarn does this quickly, se..
2022-05-09 16:57:03
10736
原创 windows下安装nodejs
目录1.nodejs下载及安装2.环境变量及下载镜像配置3.测试最近公司项目需要本地调试前端，前端项目使用当前流行的Ant Design Pro Vue框架，结果发现本机还没有安装nodejs，现将nodejs安装流程分享下：1.nodejs下载及安装官方地址：Node.js选择左边官网推荐的适合大多数用户的版本，我这里是16.15.0打开下载的.msi的文件，我重新配置的安装路径是D盘目录下，其他默认下一步即可完成后打开cmd验证一下输入...
2022-05-09 16:28:26
7090
原创 docker部署项目，工作流流程节点展示及图片文字乱码问题解决办法
1.问题原因在开发的一个项目使用工作流引擎，前台页面展示流程图的时候，流程节点展示为乱码，同时生成二维码图标也是正方形，如下图所示：经排查找到原因，服务器所有项目均使用docker容器化部署，考虑为docker环境缺少对应字体的原因2.解决方法需在部署时将对应字体引入docker环境。先将对应字段引入项目，再在打包镜像时利用dockerfile将项目内字体文件导入docker环境即可windows系统字体文件位于如下路径C:\Windows\Fonts根据需..
2022-03-08 13:12:10
1198
原创 Git拉取报错：SSL certificate problem: unable to get local issuer certificate
今天拉取新项目代码时git提示报错导致无法拉取，错误如下：显示SSL证书问题，关闭git的SSL验证即可解决git config --global http.sslVerify false执行完git命令，关闭ssl验证，再次拉取，成功！
2022-03-03 11:41:13
3400
原创 vue打包：npm run build报错npm ERR, missing script: build
今天准备部署项目到服务器，打包前端vue项目时报错如下D:\IdeaProjects\HN\lms>npm run buildnpm ERR! missing script: buildnpm ERR! A complete log of this run can be found in:npm ERR! C:\Users\Q\AppData\Roaming\npm-cache\_logs\2022-01-19T02_27_23_756Z-debug.log寻找pack..
2022-01-19 10:45:57
2663
原创 Linux创建swap分区（虚拟内存）
最近云服务器内存不太够用了，利用swap扩展一下内存大小[root@localhost ~]# free -h total used free shared buff/cache availableMem: 7.6G 5.5G 299M 119M 1.9G 1.8GSwap: 0B 0B ..
2022-01-13 17:24:43
946
原创 linux(centos7)安装mysql 5.7
目录1.删除安装包2.创建mysql用户3.下载tar.gz包4.初始化mysql5.修改配置文件6.启动mysql7.添加环境变量8.设置mysql自动启动9.常用命令1.删除安装包#检查是否已安装mysqlrpm -qa | grep mysql#删除安装包rpm -e xxxxx --nodeps2.创建mysql用户[root@localhost ~]# cat /etc/group | grep mysql[root@localho.
2022-01-10 14:10:42
734
原创 centos7 root根目录扩容(提示bash: 无法为立即文档创建临时文件: 设备上没有空间)
目录一、背景二、root目录扩容备份home分区文件卸载/home删除/home所在的lv扩展/root所在的lv扩展/root文件系统重新创建home lv创建文件系统挂载homehome文件恢复一、背景今天发现服务器好多服务停掉了，登陆服务器也提示设备上没有空间 df -h 查看一下系统空间[root@bd tmp]# df -h文件系统 容量 已用 可用 已用% 挂载点devtmpfs ...
2021-12-31 13:34:26
2947
3
原创 Linux（centos）环境安装、卸载docker
目录1.检查环境和依赖1.检查系统内核，需要3.10以上版本2.检查centos版本，需要centos7以上3.安装依赖 4.设置yum源2.安装程序包3.卸载docker1.查询docker安装的包 2.卸载依赖 3.删除文件1.检查环境和依赖1.检查系统内核，需要3.10以上版本[root@bd ~]# uname -r...
2021-12-28 11:20:03
802
原创 Linux搭建自己的Maven私有仓库（nexus）
目录1.安装maven仓库依赖安装maven：2.安装nexus3.批量上传jar1.安装maven仓库依赖nexus仓库依赖jdk，maven，我用的版本如下：jdk8maven 3.6.3nexus 3.37.1jdk本机已安装，没有安装的可以自己参考linux安装jdk的方法安装maven：可以yum安装也可以通过包安装，我这里通过包安装，使用的3.6.3版本官网下载版本：Index of /dist/maven/maven-3下载对应的
2021-12-27 16:13:46
3103
原创 linux下安装Jenkins（centos7，另附使用docker安装）
1.下载安装包官网红帽稳定版：Redhat Jenkins Packageshttps://pkg.jenkins.io/redhat-stable/[root@dd /]# sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo --no-check-certificate--2021-12-02 16:33:00-- https://pkg.jenk...
2021-12-23 16:30:43
1499
1
原创 Could not get a resource from the pool； nested exception is io.lettuce.core.RedisConnectionException
记录一次redis报错：Caused by: org.springframework.data.redis.connection.PoolException: Could not get a resource from the pool; nested exception is io.lettuce.core.RedisConnectionException: Unable to connect to 10.55.55.55:6379
2021-11-17 17:51:21
22660
2
原创 linux安装kafka
目录1.下载2.解压3.配置4.启动linux版本，阿里云centos7.9，kafka版本 2.7.11.下载官网下载地址：http://kafka.apache.org/downloads可手动下载上传到服务器或者直接下载到linux服务器我在这选择的是直接下载[root@iZm5e452n3se0jvpdlgbdpZ home]# wget https://downloads.apache.org/kafka/2.7.1/kafka_2.12-2.7...
2021-09-09 17:18:15
107
原创 linux安装zookeeper
1.下载官网下载地址：https://zookeeper.apache.org/releases.html我这里选择的是3.6.3版本[root@iZm5e452n3se0jvpdlgbdpZ home]# wget https://downloads.apache.org/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz2.解压[root@iZm5e452n3se0jvpdlgbdpZ home]# tar ..
2021-09-09 16:54:15
99
原创 linux centos7安装自己的gitlab私有库
目录1.安装依赖环境2.安装gitlab3.修改root密码官方说明文档：https://about.gitlab.com/install/#centos-71.安装依赖环境[root@iZm5e452n3se0jvpdlgbdpZ src]# systemctl status sshd● sshd.service - OpenSSH server daemon Loaded: loaded (/usr/lib/systemd/system/sshd.service; ..
2021-09-08 14:49:04
876
原创 Linux下安装nacos2.0.3
目录1.安装文件下载2. 安装1.安装文件下载wget https://github.com/alibaba/nacos/releases/download/2.0.3/nacos-server-2.0.3.tar.gz官网下载地址下载速度较慢，可选择其他国内镜像等或者下载完文件通过ftp上传至服务器别人提供的网盘下载地址：https://blog.csdn.net/m0_46589458/article/details/1196172952. 安装tar -
2021-09-06 14:50:06
3471
原创 Linux 搭建Redis 哨兵集群
目录1.安装环境2.下载安装包 1.安装环境 阿里云centos7.9版本2.下载安装包 地址：https://download.redis.io/releases/ 下载redis新版或者历史版本将下好的redis包上传到linux服务器，或者在linux上直接下载redis安装包。wget https://download.redis.io/releases/redis-6.2.5.tar.gz解压文件tar -zxvf r...
2021-09-06 13:30:58
759
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人