小末的博客

原创 使用docker-compose部署rouyi-cloud

仅供学习实践。若依系统docker-compose部署。

原创 calico: route (xxx) already exists for an interface other than ‘calicfaxxx1‘ 解决

重启Pod有几率解决该问题。

原创 Openfeign解决-A bean with that name has already been defined and overriding is disabled.

不同值区分不同的Client。

原创 我的创作纪念日-2048天

没什么成就，只是一颗螺丝钉，了解越多发现自己不懂的地方越多，不敢轻易的写文章。工作越来越忙，越来越没时间写文章，只记录一些BUG和解决方法。2048天，纪念一下，当时创建账号的时候应该还在上大学。互相学习，通过CSDN解决了不少问题，也学到了很多知识。希望能完成手上的项目，别出什么问题。

原创 K8s Runtime从Docker修改为Containerd实践

​从k8s1.24版本开始默认使用containerd作为容器运行时，当我们1.24之前版本的k8s集群想要升级的话，第一步就是要将Docker改为Containerd。

原创 helm报错: bad character U+002D ‘-‘

编写helm脚本报错bad character U+002D '-'

原创 illegal base64 data at input byte 原因之一（go）

go base64解析websocket 中token报错

原创 Docker容器内部无法访问外网原因之一

Docker容器内部无法访问外网原因之一

原创 利用CoreDNS实现DNS负载均衡

CoreDNS配置DNS负载均衡

原创 Springboot容器化镜像设置堆内存大小

springboot容器化如何设置堆内存大小？

原创 Spark任务中Task数量确定和一些总结

Spark任务中Task数量如何确定？

原创 Hadoop3.x入门-SparkThriftServer部署

1.前言SparkThriftServer，简称STS，作为SparkSQL的JDBC/ODBC服务，启动了STS服务后，就可以使用代码程序通过JDBC/ODBC的接口提交Spark SQL。STS对标的是Hive的HiveServer2，其中代码内部实现也大量参考了HiveServer2。STS计算引擎为Spark，而HiveServer2默认对应的MapReduce，因此STS的任务的计算速度要比HiveServer2快很多（10-100倍），...

原创 Hadoop3.x入门-Spark3.x部署

1.前言Spark集群模式包括：Local，Standalong，Yarn，Kubernetes，但在生产环境中Spark On Yarn是主流。其中，Spark提供计算服务，Yarn提供资源调度能力。本文介绍如何部署Spark3.1.3 On Yarn，这种模式下，Spark没有集群的概念，而是作为一个客户端组件向Yarn提交自定义Jar包程序任务，只有提交任务的时候才会启动相关Spark进程，任务结束所有Spark进程将会结束，所以只需要将Spark相关配置配好并部署到hadoop集群中任意一个

原创 Hadoop3.x入门-Hive3.x部署

1.前言安装Hive 3.1.2版本对应的Hadoop3.x，也就是Hive On MapReduce ， Hive类似于Hadoop集群的一个客户端，本身没有集群的概念。简单来说Hive的功能就是可以将SQL转化成MR的任务，从而简化了MR的开发。 本文在Hadoop3.x入门-搭建3节点Hadoop HA集群Hadoop集群的基础上，3台节点中选择其中一台搭建Hive。2.前置条件JDK1.8，一个Hadoop集群（Yarn和MapRedu...

原创 Hadoop3.x入门-搭建3节点Hadoop HA集群

1.前言本文档适合3节点的Hadoop 高可用（HA：High Available）测试集群集群的搭建。在上一篇文章中《Hadoop3.x入门-搭建3节点分布式集群》只是一个简单的测试的分布式集群，并不是高可用的，也就是说当namenode或者resourcemanager节点挂掉，hadoop的功能就无法使用了，所以无法应用到生产环境中。本文在上一篇的基础上修改一些配置，将Hadoop集群改造为高可用集群。如果用上一篇文章搭建的集群，首先关闭集群所有进程，删除$HADOOP_HOME/data

原创 k8s跨namespace复制pvc方式之一

前言 今天发现小伙伴把mysql的pod部署到了default命名空间下，而且已经用了好久，而恰巧我们清理k8s空间，就把他pod删了，哈哈哈哈~default命名空间禁止部署业务pod，幸好pvc还在，那如何把default命名空间下的的pv复制到别的namespace下呢，其中有一个比较简单的办法。复制过程用一张图表示：...

原创 Hadoop3.x入门-搭建3节点分布式集群

1.前言本文档适用于Hadoop3.x版本分布式测试集群搭建。HDFS组件包括：NameNode、DataNode、SecondaryNameNodeYarn组件包括：ResourceManager、NodeManager、JobHistoryMapReduce组件包括：JobHistoryServer2. 集群搭建前提条件关闭防火墙 确保集群主机节点时间同步（可以安装ntp服务保持集群时间同步） 集群间配好免密，包括免密本地登录（不配置有可能导致namenode和nodeman

原创 强制删除docker容器

问题描述：想要删除一个容器，发现docker stop <containerId> docker rm -f 都删不掉解决办法：# 找到容器Iddocker ps | grep <容器名> # 关闭docker服务systemctl stop docker# 找到容器响应文件，注意容器id是缩写，这里按tab键补全容器id文件夹名称cd /var/lib/docker/<容器id># 删除容器id文件夹rm -rf <容器...

原创 解决Downloading: http://repo.maven.apache.org/maven2/下载依赖

问题描述：最近发现使用nexus之后，居然有的依赖还是去http://repo.maven.apache.org/maven2/下载：Downloaded from central: http://repo.maven.apache.org/maven2/...那我配的私服岂不是白配了。注意日志是从“central”这个id下载的，说明你的maven配置文件没有配置id为central的repository。我一看，果然我写的nexus的repository的id是自定义的，不是cen

原创 RGW REST API cannot be reached: Connection refused解决

rook-ceph使用对象存储时，按照官网配置配置完毕后，ceph dashboard不能显示Object Storage相关页面，页面报错如下：RGW REST API cannot be reached: Connection refused

原创 MountVolume.MountDevice failed for volume “pvc“ ...问题解决

一、问题描述 Warning FailedMount 44s (x2 over 108s) kubelet MountVolume.MountDevice failed for volume "pvc-e09f23da-f21b-4365-a24b-528d026355ee" : rpc error: code = Aborted desc = an operation with the given Volume ID 0001-0009-rook-ceph-000000

原创 The command ‘/bin/sh -c go mod download‘ returned a non-zero code: 1 问题解决

报错如下Step 1/14 : FROM golang:1.13 as builder ---> d6f3656320feStep 2/14 : WORKDIR /workspace ---> Using cache ---> d5a173b88bd0Step 3/14 : COPY go.mod go.mod ---> Using cache ---> 42c915e44d37Step 4/14 : COPY go.sum go.sum --->

原创 calico/node is not ready: BIRD is not ready: BGP not established with 解决

K8s集群中就某个节点的calico启动不起来，报错如下：calico/node is not ready: BIRD is not ready: BGP not established with ........------------------------------------------------------------------------------------------------------------------------第一种解决办法：calico启动后执行：

原创 io.kubernetes.client.openapi.ApiException: Forbidden 解决

使用spring-cloud-kubernetes时候，程序启动报错： .KubernetesClientConfigMapPropertySource : Unable to get ConfigMap xxx in namespace xxxxio.kubernetes.client.openapi.ApiException: Forbidden 其实是我们namespace默认的serviceaccount没有访问configmaps权限。spring-cloud-kubernetes

原创 Docker镜像导出导入

通常情况下有些服务器是无法连接外部网络的，所以无法通过docker pull命令去公有镜像仓库去下载镜像，所以通常的做法是找一台可以连接外部网络的服务器下载好镜像后迁移到无外网环境的服务器中。Docker镜像迁移具体步骤如下：1.导出镜像 docker save -o xx.tar <imageName:tag>2.拷贝到对应集群，导入镜像docker load -i xx.tar3.修改镜像tagdocker tag <imageName:tag> &.

原创 K8s中ServiceAccount、Role、RoleBinding、ClusterRole、ClusterRoleBinding之间的关系

原创 K8s中PV、PVC、StorageClass之间的关系

三者之间的关系：1.PV和PVC是自动绑定的2.PVC是像StorageClass申请资源，StorageClass创建PV，然后PVC和PV自动绑定的使用StorageClass而不直接使用PV的好处是：避免手动创建PV，由StorageClass自动创建PV，然后自动绑定PVC。...

原创 Spring注入多例Bean [笔记]

在Spring开发体系中很少用到多例的Bean，所以这个知识点很容易被忘记。Spring注入多例Bean的俩种方式：import org.springframework.context.annotation.Bean;import org.springframework.context.annotation.Configuration;import org.springframework.context.annotation.Scope;@Configurationpublic clas

原创 User “system:serviceaccount:xxx:default“ cannot get resource “endpoints“ in API group ““问题解决

一、报错信息描述错误信息：Message: Forbidden!Configured service account doesn't have access. Service account may have been revoked. endpoints "xxx" is forbidden: User "system:serviceaccount:xxx:default" cannot get resource "endpoints" in API group "" in the namesp

原创 kubernetes启动springboot一直重启问题解决

一、问题描述用k8s启动了一个springboot的deloyment资源对象，结果就一直启动不起来。通过kubectl logs 查看，发现springboot处于一直重启状态，且pod也是一直被删除重建。说明k8s认定springboot这个pod未存活，于是重建重启二、问题原因由于deployment.yaml设置了livenessProbe和readinessProbe探针，livenessProbe代表pod是否存活，readinessProbe代表pod是否就绪。分别对应的是

原创 eclipse console打印信息为空白行 问题解决

今天兴致冲冲下载了eclipse最新稳定版本2020-09，然后System.out.println()打印了一个非常长的字符串，结果Console显示为俩行空白行~查了大部分资料，什么去掉when，重启eclipse，根本不好使。后来发现了一个参数，Window-Preferences-Run/Debug的Fixed width console参数，然后配置成280，内容就显示了：...

原创 通过Fabric8 Java API 连接kubernetes集群

一、依赖 <dependency> <groupId>io.fabric8</groupId> <artifactId>kubernetes-client</artifactId> <version>4.13.0</version> </dependency>二、kubernets-client与kubernets集群版本对照K8s 1.19.

原创 Amazon S3 Java API测试用例

一、Amazon S3基本概念桶 ：是s3存储对象的容器。用bucket表示，简单的理解就是一个玩具桶，可以装玩具。 对象：对象是 Amazon S3 中存储的基本实体。简单理解就是玩具桶中的玩具。 键：键是指存储桶中对象的唯一标识符。简单理解就是玩具的名字。 区域：AWS 区域供 Amazon S3 存储您创建的存储桶。简单理解在桶内很多区域，你要在哪个区域放你的玩具。更多概念：https://docs.aws.amazon.com/zh_cn/AmazonS3/latest/dev/In..

原创 Kubernetes学习笔记

之前学了几天docker感觉挺难的，这几天学了K8s之后才发现，K8s比Docker难多了，难指的是知识点更多，需要记得东西更多。Docker和K8s这种运维技术还是要多动手实践，不然只停留在概念理解上貌似你都会了，其实还是不会。虽然简单的说它们是运维技术，但是这些也得每个程序员必备技能，学习它们的新思路来解决我们项目中实际的问题。K8s从0开始，简单记录下学习笔记概览，有些内容没有具体写，细节可自己查询学习，来个xmind图（不断更新中）：...

原创 docker: Error response from daemon: No command specified. 解决

一般来说产生这个报错是因为启动的容器是被docker export出来的镜像，具体报错如下[root@dockertest container]# docker run --name nginx-import-test -d -p 4000:80 nginx-import-test:1.0 docker: Error response from daemon: No command specified.See 'docker run --help'.被docker export出来的镜像在启

原创 jenkins gitlab webhook 403 anonymous is missing the Job/Build permission 解决

gitlab触发jenkins webhook时候报错：jenkins gitlab webhook 403 anonymous is missing the Job/Build permission首先jenkins 某个pipeline 的webhook是有权限控制，并不是任意gitlab中的项目都可以触发。而控制的途径就是通过secret token。而且gitlab的触发pipeline的过程完全可以写到Jenkinsfile里。例如： triggers {.

原创 Docker学习笔记

随着微服务越来越多，项目部署方式越来越复杂（各种环境问题），最近不得不研究下docker+k8s+istio这一套体系。这几个技术都是从0开始学的，所以简单记录下学习笔记概览：首先是Docker，来个xmind图：...

原创 rm -rf 使用注意事项

慢敲回车！！！

原创 编译大数据组件几个常用的maven远程仓库

最近编译各种大数据组件源码，各种包找不到，于是搭建了一个nexus，把下面几个常用的maven远程仓库地址都加上去。记录一下：1.http://maven.aliyun.com/nexus/content/groups/public2.https://repo1.maven.org/maven2/3.http://packages.confluent.io/maven/4.http://conjars.org/repo5.https://repository.jboss.org.

原创 git-学习笔记汇总

目录一、背景二、关于git需要知道的一些概念三、git 命令总结四、git命令实战五、常见git错误六、如何与他人合作一、背景话说早期用SVN管理代码，后面公司慢慢改成了用gitlab管理，gitlab也是用了两年了，但是对git命令一直处于朦朦胧胧的状态，因为所有关于git的操作都是在eclipse或者idea里点点点，很少用gitbash，虽然已经装了很久了。突然觉得还是有必要去系统的学习下git命令，争取以后的操作都用gitbash~~~~二、关于git需要知道的一