- 博客(39)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 cobra库:基于cobra-cli命令行生成项目结构
cobra库:基于cobra-cli命令行生成项目结构一、新建go项目在F盘创建文件夹cobra-started1、使用mod对go项目进行管理go mod init cobra-started二、使用cobra-cli代码生成参考：https://github.com/spf13/cobra-cli/blob/main/README.md1、设置 GOPROXY代理PS F:\k8s\cobra-started> $env:GOPROXY = "https://proxy.gola
2022-04-02 09:29:37
779
转载 Kubernetes中的etcd访问
前言Kubernetes中的etcd访问。正常安装了k8s，没有特意去安装etcd，利用K8s中附带的etcd，感受一下etcd的读写操作。提示：以下是本篇文章正文内容，下面案例可供参考一、etcd是什么？etcd是一个分布式的key-value存储数据库。二、使用步骤1.在k8s查看安装好的etcdkubectl get pod -n kube-system | grep etcd2.进入k8s的etcdkubectl exec -ti etcd-s205 -n kube-syste
2022-02-13 17:25:22
1941
原创 使用Prometheus全方位监控K8s
使用Prometheus全方位监控K8s1、Prometheus架构Prometheus Server：收集指标和存储时间序列数据，并提供查询接口ClientLibrary：客户端库Push Gateway：短期存储指标数据。主要用于临时性的任务Exporters：采集已有的第三方服务监控指标并暴露metricsAlertmanager：告警Web UI ：简单的web控制台数据模型：数据存储为时间序列；具有相同度量名称以及标签属于同一个指标。每个时间序列都由度量标准名称和**一组键值对
2022-02-12 18:11:44
1983
原创 Prometheus + Grafana 监控Docker
Prometheus + Grafana 监控DockercAdvisor(Container Advisor)：用于收集正在运行的容器资源使用和性能信息k8s中kubelet自带cadvisor监控所有节点参考：https://github.com/google/cadvisor#在被监控主机(客户端)上部署cAdvisor，IP地址：192.168.1.102[root@nod ~]# docker run --volume=/:/rootfs:ro --volume=/var/run
2022-02-12 11:19:08
1056
原创 Pod介绍
Pod1、Pod基本概念（1）最小部署的单元（2）包含多个容器(一组容器的集合)（3）一个pod中容器共享网络命名空间（4）pod是短暂的2、Pod存在意义（1）创建容器使用docker，一个docker对应一个容器，一个容器有进程，一个容器运行一个应用程序。（2）Pod是多进程设计，运行多个应用程序一个Pod有多个容器，一个容器里面运行一个应用程序（3）Pod存在为了亲密性应用两个应用之间可以进行交互网络之间调用两个应用需要频繁调用3、Pod实现机制共享网络：通过Pau
2022-02-11 09:17:47
918
原创 controller（控制器）
controller（控制器）1、什么是controller（1）在集群上管理和运行容器的对象2、Pod和controller关系（1）Pod是通过Controller实现应用的运维，比如伸缩、滚动升级等（2）Pod和Controller之间通过Pod上打label标签和controller上的selector建立关系3、Deployment控制器的应用场景（1）部署无状态的应用（web服务，微服务）（2）管理Pod和ReplicaSet(副本创建)（3）部署，滚动升级4、yaml文件字
2022-02-11 09:09:05
3849
原创 k8s架构及核心组件
etcd:它是一个可信赖的分布式键值存储服务，它能够为整个分布式集群存储一些关键数据，协助分布式集群的正常运转。高可用集群副本数据最好是 >=3 的奇数个master节点：api server:所有服务访问的统一入口controller Manager:维持副本期望数目Scheduler:负责接收任务，选择合适的节点进行分配任务etcd:键值对数据库，存储k8s集群的所有重要信息（持久化）node节点：kubelet：直接跟容器引擎(Docker)交互实现容器的生命周期管理kube.
2021-12-13 09:08:57
857
原创 yaml文件
yaml文件k8s集群中对资源管理和资源对象编排部署都可以通过声明样式(YAML)文件来解决，也就是可以把需要对资源对象操作编辑到YAML格式文件中，我们把这种文件叫做资源文件清单，通过kubectl命令直接使用资源清单文件就可以实现对大量的资源对象进行编排部署了。YAML文件书写格式（1）YAML介绍YAML：仍是一种标记语言。为了强调这种语言以数据作为中心，而不是以标记语言为重点。YAML：是一个可读性高，用来表达数据序列的格式。（2）YAML基本语法使用空格作为缩进，通过缩进表示层级关
2021-12-13 09:04:49
267
原创 Docker数据存储
数据存储1、数据卷特性（1）Docker镜像由多个只读层叠加而成，启动容器时，Docker会加载只读镜像层并在镜像栈顶部添加一个读写层（2）如果运行中的容器修改了现有的一个已经存在的文件，那么该文件将会从读写层下面的只读层只读层复制到读写层，该文件的只读版本仍然存在，只是已经被读写层中该文件的副本所隐藏，即"写时复制"机制。数据卷意义关闭并重启容器，其数据不受影响；但删除Docker容器，则器改变将会全部丢失。“卷”是容器上的一个或多个“目录”，此类目录可绕过联合文件系统，与宿主机上的某个目
2021-12-06 15:50:01
791
原创 Dcoker容器管理
容器管理一、Docker基础概念及命令1、Docker指令的基本用法：docker + 命令关键字(COMMAND) + 一些列的参数docker info 守护进程的系统资源配置docker search Docker仓库的查询docker pull Docker镜像的下载docker images Docker镜像的查询docker rmi Docker镜像的删除docker ps 容器的查询docker run 容器的创建启动docker
2021-12-03 22:38:52
534
原创 Dockerfile镜像与仓库
镜像与仓库一、Docker镜像特征1、Docker镜像特性一容器创建时需要指定镜像，每个镜像都由唯一的标识Image ID，和容器的Container ID一样，默认128位，可以使用前16位缩略形式，也可以使用镜像名与版本号两部分组合唯一标识，如果省略版本号，默认使用最新版本标签(latest)镜像的分层：Docker的镜像通过**联合文件系统(union filesystem)**将各层文件系统叠加在一起。bootfs：用于系统引导的文件系统，包括bootloader和kernel，容器启
2021-12-03 22:37:22
1329
原创 Docker介绍
1、Linux Contrainer是一种内核虚拟化技术，可以提供轻量级的虚拟化，以便隔离进程和资源2、Docker是PAAS提供商dotCloud开源的一个基于LXC的高级容器引擎，源代码托管在GIthub上，基于go语言并遵从Apache2.0协议开源3、Docker设想是交付运行环境如同海运，OS如同一个货轮，每一个在OS基础上的软件如同一个集装箱，用户可以通过标准化的手段自由组装运行环境，同时集装箱的内容可以由用户自定义，也可以由专业人员制造。Docker三要素：仓库、镜像和容器1、Dock
2021-12-02 11:23:42
529
原创 Docker安装（RPM包方式）
Docker安装（RPM包方式）一、安装环境准备1、操作系统要求#1、查看内核版本[root@nod var]# uname -r3.10.0-957.el7.x86_64#2、查看操作系统版本[root@nod var]# cat /etc/os-release NAME="CentOS Linux"VERSION="7 (Core)"ID="centos"ID_LIKE="rhel fedora"VERSION_ID="7"PRETTY_NAME="CentOS Linux 7
2021-12-02 11:20:08
8680
1
原创 iptables语法规则(二)
iptables语法规则(二)SNAT策略的典型应用环境局域网主机共享单个公网IP地址接入InternetSNAT的策略原理源地址转换，修改数据包的源地址#-o:出口的网卡iptables -t nat -A POSTROUTING -s 192.168.1.0/24 -o eth0 -j SNAT --to-source 218.29.30.31MASQUERADE ---------地址伪装，适用于外网IP地址非固定的情况iptables -t nat -A POST
2021-12-01 08:54:25
731
原创 Linux防火墙
安全防御常见的攻击手段拒绝服务已知漏洞口令破解欺骗用户常见的安全防御设备基础类防火墙IDS类（入侵检测系统），提供报告、事后分析IPS类（入侵防御系统），针对数据包分析，根据模式匹配，阻断非法访问主动安全类什么是防火墙工作在主机边缘处或网络边缘处对数据报文进行检测，并且能够根据事先定义好的规则，对数据报文进行相应处理的模块。防火墙的分类构造：硬件:深信服、网御、华为软件：windows防火墙、iptables工作机制：包过滤防火墙：源地址、目
2021-11-30 22:29:58
3693
原创 iptables语法规则(一)
iptables一、简介1、iptables内核：netfilter2、四表raw：数据包跟踪mangle：标记数据包nat：网络地址转换filter：数据包过滤3、五链PREROUTING：路由之前INPUT:数据包流入FORWARD:数据包经过OUTPUT:数据包流出POSTROUTING:路由之后执行顺序由上到下4、匹配条件协议： -p tcp -p icmp （仅有ping使用） -p udp端口：必须和协议一起写 --dport 目标端
2021-11-29 09:59:13
1872
原创 Hadoop HDFS操作命令
Hadoop HDFS操作命令创建一个文件夹 hdfs dfs -mkdir /myTask创建多个文件夹 hdfs dfs -mkdir -p /myTask1 /input1上传文件 hdfs dfs -put /opt/wordcount.txt /myTask/input查看总目录下的文件和文件夹 hdfs dfs -ls /查看myTask下的文件和文件夹 hdfs dfs -ls /myTask查看myTask下的wordcount.txt的内容 hdfs dfs -c
2021-07-26 10:48:29
121
原创 PyCharm远程连接Spark
PyCharm远程连接Spark使用PyCharm连接远程服务器，总结一下完善的步骤。连接前一定要保证集群已经可以运行pyspark程序1、添加SFTP连接找到菜单Tool ->Deployment -> Configuration设置sftp点击左上角的+号，添加新的SFTP连接输入需要SFTP的名称， “testSpark”注意，不要勾选Visible only for this project。根据自己的需求填写host、username、password，然后点击Tes
2021-07-22 17:33:47
1302
2
原创 pyspark设置python的版本
pyspark设置python的版本一般情况下，spark内置的版本,与操作系统中的版本一致，现在想把python的版本切换成3的版本，步骤：1、查看操作系统中的版本[root@master local]# pythonPython 2.7.5 (default, Oct 30 2018, 23:45:53) [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2Type "help", "copyright", "credits" or "licen
2021-07-21 11:09:29
4057
原创 python on spark环境搭建
使用spark提供的pyspark库来进行编写spark应用程序一、PySpark环境配置1.1windows中环境配置1、打开cmd2、输入pythonC:\Users\wangwch>pythonPython 3.6.4 |Anaconda, Inc.| (default, Jan 16 2018, 10:22:32) [MSC v.1900 64 bit (AMD64)] on win32Type "help", "copyright", "credits" or "license
2021-07-21 11:08:17
802
原创 基于Hadoop 2.7.7 部署Spark 2.3.0伪分布式环境
先安装Hadoop 2.7.7 伪分布式环境，参考：https://blog.csdn.net/ruth13156402807/article/details/115631343一、安装Scala(可选)使用root安装1.1下载Scala下载地址：http://www.scala-lang.org/download/all.html选择对应的版本，此处在Linux上安装，选择的版本是scala-2.11.8.tgz,下载地址：https://www.scala-lang.org/downl
2021-07-20 16:52:58
159
转载 一句口诀记住 OSI七层协议模型
Please Do Not Tell Stupid People Anything今天复习计算机网络七层协议模型 不是忘了就是记串了学了一句 口诀 一下子能记住 七层协议模型口诀Please Do Not Tell Stupid People Anything还是句英文 的口诀PleaseP 物理层 PhysicalDoD 数据链路层 Data LinkNotN 网络层 NetworkTellT 传输层 TransportStupidS 会话层 SessionPeople
2021-06-23 10:03:37
1532
转载 Linux 时间同步systemd-timesyncd介绍
在Linux系统中存在两个时钟时间，分别是硬件时钟RTC（Real Time Clock）系统时钟（System Clock）硬件时钟是指的在主板上的时钟设备，也就是通常可以在BIOS画面设置的时钟，即使关机状态也可以计算时间。而系统时钟则是指Kernel中的时钟，其值是由1970年1月1日00:00:00 UTC时间至当前时间所经历的秒数总和。当Linux启动的时候，系统时钟会读取硬件时钟的设定，之后系统时钟独立运作。长时间运行两者可能将会产生误差。另外所有的Linux相关指令都是读取系统时钟指定
2021-06-09 15:21:51
10794
转载 CentOS中服务器时间设为自动同步的方法
在CentOS 5不再区分客户端和服务器，只要配置了NTP，它就会提供NTP服务。1、确认已经ntp程序包：yum install ntp2、配置时间源vi /etc/ntp.confserver pool.ntp.org #可选择其他优先服务器server 0.pool.ntp.orgserver 1.pool.ntp.orgserver 2.pool.ntp.org3、配置是否为其他PC提供时间服务vi /etc/ntp.confrestrict 192.168.1.0 mask
2021-06-09 14:59:52
835
转载 thymeleaf块标签th:block，标签本身不显示
thymeleaf块标签（空标签）th:block，标签本身不显示th:block</th:block>是Thymeleaf提供的唯一的一个Thymeleaf块级元素，其特殊性在于Thymeleaf模板引擎在处理th:block的时候会删掉它本身，标签本身不显示，而保留其内容，应用场景主要有如下两个：1、同时控制相连两个标签是否显示如下代码：<div id="div1" th:if="..."></div><div id="div2" th:if="..
2021-05-26 09:59:47
2630
转载 mysql中InnoDB表为什么要建议用自增列做主键
nnoDB引擎表的特点1、InnoDB引擎表是基于B+树的索引组织表(IOT)关于B+树（图片来源于网上）B+ 树的特点:（1）所有关键字都出现在叶子结点的链表中(稠密索引)，且链表中的关键字恰好是有序的;（2）不可能在非叶子结点命中;（3）非叶子结点相当于是叶子结点的索引(稀疏索引)，叶子结点相当于是存储(关键字)数据的数据层;2、如果我们定义了主键(PRIMARY KEY)，那么InnoDB会选择主键作为聚集索引、如果没有显式定义主键，则InnoDB会选择第一个不包含有NULL值的唯一
2021-05-25 15:19:54
374
转载 JAVA计算矩形是否相交、交集面积
一、解决思路我们分别用p1与p2表示矩形A的左下角和右上角，用p3和p4表示矩形B的左下角和右上角。考虑两个矩形不重叠的情况：(p1.x > p4.x) || (p2.x < p3.x) || (p1.y > p4.y) || (p2.y < p3.y)对上述条件取反，即可得到两个矩形重叠的条件。当正向思维比较繁杂时，不妨换种思路，也许会柳暗花明！二、代码实现矩形类：Rectangle.javaimport java.io.Serializable; public c
2021-05-24 22:26:43
1953
原创 oracle归档空间满且启动报错总结
oracle归档空间满且启动报错总结今天oracle数据库归档日志过满导致oracle数据库挂掉，解决思路：删除归档日志，看oracle能否可用，如果不可用重启oracle数据库，并把归档关掉（测试库，生产库一定要起归档），在重启数据库的过程中遇到一些问题记录如下：1、在关闭的时候报：ORA-01012: not logged on 异常解决办法：ps -ef|grep ora_dbw0_$Oracle_SIDkill -9 pid ；shutdown immediate;关闭数据库2、在
2021-05-18 17:29:07
301
1
原创 ORACLE RAC 下面表空间的处理
ORACLE RAC 下面表空间的处理今天，在数据库的使用过程中发现undo表空间满了，具体解决办法如下：1、在命令行的情况下，使用：show parameter tab查看该实例对应的表空间。2、在rac环境下创建表空间的语句为：CREATE UNDO TABLESPACE UNDOTBS3 DATAFILE '+DATA' SIZE 500m; 此命令可以自动在目录下面 创建undo表空间。3、如果数据库对块的大小有要求，可以使用 alter tablespace undo
2021-05-18 17:24:40
659
原创 ORACLE中死锁不能处理的情况
ORACLE中死锁不能处理的情况当我们在使用数据库执行sql语句的时候，经常遇到死锁的现象，解决死锁的办法有两种:1、在数据库的层级杀死进程 2、在数据库层级不能杀死的进程，可以在操作系统的层级杀死。1、首先查询那些对象被锁住。SELECT D.OBJECT_NAME,V.MACHINE,V.SID,V.SERIAL# FROM V$LOCKED_OBJECT L,DBA_OBJECTS D,V$SESSION VWHERE L.OBJECT_ID=D.OBJECT_ID AND L.SESSI
2021-05-18 17:15:10
279
原创 Idea部署OpenCV3.4.14开发环境
Idea配置OpenCv开发环境一、开发环境idea:2018.3.3opencv:3.4.14jdk:1.8.0_191二、下载OpenCV3.4.14下载地址：https://opencv.org/releases/三、把下载的OpenCV进行解压双击之后:解压之后目录结构：四、新建java project项目，并进行配置五、编写代码进行测试import org.opencv.core.Core;public class Main { sta
2021-05-18 16:57:24
217
1
原创 Docker 网络通信基本原理
Docker通信的基本原理（1）Docker的网络接口是虚拟的接口（2）虚拟的网络接口的转发的效率高（3）宿主机的信息：#网桥docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500 inet 172.17.0.1 netmask 255.255.0.0 broadcast 172.17.255.255 inet6 fe80::42:49ff:fead:3df7 prefixlen
2021-05-18 08:52:00
202
原创 Mysql通过select replace(uuid(), ‘-‘, ‘‘) , 生成的uuid全部重复。
问题描述通过navicat执行select replace(uuid(), ‘-’, ‘’) 之后生成的uuid全部是重复的解决办法select replace(uuid(),_utf8"-",_utf8"")
2021-05-07 16:25:31
1034
原创 Docker离线安装RabbitMQ
Docker离线安装RabbitMQ1、进入docker hub，搜索rabbit镜像https://registry.hub.docker.com/_/rabbitmq/2、进入官方的镜像，我们选择带有“management”的版本（包含web管理界面）https://hub.docker.com/_/rabbitmq?tab=tags#通过以下方式无法查询到，问题未知[root@localhost ~]# docker search 3.7.7-managementError res
2021-05-06 18:01:05
945
原创 Linux7.7离线安装Docker18.06.1
Linux7.7离线安装Docker18.06.1一、基础环境1、操作系统：CentOS 7.7[root@localhost rabbit]# cat /etc/redhat-release CentOS Linux release 7.7.1908 (Core)2、Docker版本：18.06.1下载网址：https://download.docker.com/linux/static/stable/x86_64/3、参考官方文档地址：https://docs.docker.com/e
2021-05-06 16:43:24
435
原创 通过DBeaver客户端连接Hive
通过DBeaver客户端连接Hive1、下载DBearver下载地址：https://dbeaver.io/download/2、安装双击进行安装2、启动Hive相关服启动hiveserver2服务如果想远程连接hive，则需要启动hiveserver2[hadoop@master ~]$ nohup hive --service hiveserver2 &#或者[hadoop@master ~]$ nohup hiveserver2 &2.1、通过beel
2021-04-21 22:59:47
544
原创 Hive2.3.6伪分布式安装部署
Hive2.3.6伪分布式安装部署一、Hive介绍Hive依赖于HDFS存储数据，Hive将HQL转换成MapReduce执行，所以说Hive是基于Hadoop的一个数据仓库工具，实质就是一款基于HDFS的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。二、环境依赖Hive不能独立运行，需要依赖于一个RDBMS(存储元数据)和一个文件系统安装环境：Centos7.6 + Hive 2.3.6Hadoop伪分布式安装三、Mysql安装1、安装YUM Repo1.1、由于C
2021-04-19 23:03:13
368
原创 Hadoop 2.7.7 伪分布式安装
文章目录项目场景：问题描述：原因分析：解决方案：前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结项目场景：提示：这里简述项目相关背景：例如：项目场景：示例:通过蓝牙芯片(HC-05)与手机 APP 通信，每隔 5s 传输一批传感器数据(不是很大)问题描述：提示：这里描述项目中遇到的问题：例如：数据传输过程中数据不时出现丢失的情况，偶尔会丢失一部分数据APP 中接收数据代码：@Override public void run() {
2021-04-15 09:18:19
623
原创 如何记录笔记
如何记录笔记@[TOC](如何记录笔记)解决方案：**Typora+PicGo+Gitee+Snipaste+ScreenToGif的快速编辑模式。**图床配置图床对接typora-copy-images-to: upload解决方案：Typora+PicGo+Gitee+Snipaste+ScreenToGif的快速编辑模式。Typora：它是一款轻便简洁的Markdown编辑器，支持即时渲染技术，即所写立刻所见，少了排版的时间，专注于文章内容的编辑。PicGo: 它是一个用于快速上传
2021-04-12 16:52:16
77
tomcat6.0开发工具
2011-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人