- 博客(100)
- 收藏
- 关注
RSS订阅原创 kubernetes用NFS做PV、PVC持久化存储
kubernetes使用NFS共享存储有两种方式：1.手动方式静态创建所需要的PV和PVC。2.通过创建PVC动态地创建对应PV，无需手动创建PV。搭建NFS远程服务器（ip:192.168.90.9）找一台服务器搭建nfs服务端,我以centos7为例安装nfsyum -y install nfs-utils#创建nfs目录mkdir -p /nfs/data/#修改权限chmod -R 777 /nfs/data#编辑export文件vim /etc/exports
2022-01-20 09:25:02
1130
原创 docker（四）---dockerfile 编写&&优化
一、dockerfile分层原理1.docker镜像分层（基于aufs构建）Docker镜像位于bootfs之上 每一层镜像的下一层成为父镜像 第一层镜像成为base image(操作系统环境镜像>容器层(可读可写)，在最顶层( writable) 容器层以下都是readonly Linux文件系统之aufs aufs是一种可叠加式的文件系统，全称是advanced multi-layered unification filesystem,主要功能是把多个文件夹的内容合并到一起，提供
2021-12-14 16:28:34
3166
原创 @docker（三）进阶---网络模式&&数据卷
@docker（三）进阶—网络模式&&数据卷一、网络模式1.虚拟网关docker0是安装docker就自动有的一个容器的虚拟网关docker0是容器的网关，绑定物理网卡，负责做NAT地址转换、端口映射使用ifconfig可以查看2.docker四种网络模式模式描述host模式-net=host容器和宿主机共享Network namespacecontainer-net=container:NAME_or_ID多个容器共享一个Network
2021-12-08 10:01:12
311
原创 Docker（二）---常用命令
一、Docker 镜像操作Docker 运行容器前需要本地存在对应的镜像，如果不存在本地镜像，Docker 就会尝试从默认镜像仓库【https://hub.docker.com】下载，这是 Docker 官方维护的一个公共仓库，可以满足用户的绝大部分需求当然了，用户也可以通过配置来使用自定义的镜像仓库搜索镜像--docker search'命令格式：'docker search [对象]'例：'docker search nginx'#默认输出结果会按照星级评价进行排序'
2021-12-07 16:10:24
226
原创 docker（一）---架构概述及安装
一、初识 Docker1.Docker 概述 官网：www.docker.com docker官方镜像仓库：hub.docker.com Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的Linux或Windows操作系统的机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口 1.为什么会有docker出现？以linux而言，linux操作系统会有一个主进程pid=1，派生出其他.
2021-12-06 16:18:34
124
原创 一步步教你部署 GFS 分布式存储平台（图文详解）
一、GFS 平台部署1.环境准备Node1节点：node1/192.168.126.11 磁盘：/dev/sdb1 挂载点：/data/sdb1 /dev/sdc1 /data/sdc1 /dev/sdd1 /data/sdd1 /dev/sde1 /data/sde1Node2节点：node2/192.168.126.12 磁盘：/dev/sdb1 挂载点：/data.
2021-11-24 08:48:41
978
原创 一步步教你部署 ELK 日志分析系统（图文详解）
一、拓扑图二、需求描述配置 ELK 日志分析群集 使用 Logstash 收集日志 使用 Kibana 查看分析日志三、环境介绍主机 主机名 IP 地址 主要软件 Node1 CentOS 7-1 192.168.126.11 Elasticsearch、Kibana Node2 CentOS 7-2 192.168.126.12 Elasticsearch Apache CentOS 7-3 192.16.
2021-11-23 20:07:59
464
原创 ELK日志收集系统概述
前言日志分析是运维工程师解决系统故障，发现问题的主要手段。日志主要包括系统日志应用程序日志和安全日志 系统运维和开发人员可以通过日志了解服务器软硬件信息检查配过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误 通常，日志被分散的储存在不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志，既繁琐又效率低下。为此，我们可以使用集中化的日志管理，例如：开源的 syslog，将所有服务器上的日志收集汇总 集中化管理日志后，
2021-11-23 19:56:35
411
原创 GiusterFS分布式文件系统
一、前言：文件系统的概述① API应用程序编程接口，是一些预先定义的接口，或指软件系统或指软件系统不同组成部分衔接的约定 用来提供应用程序与开发人员基于某软件或硬件得以访问的一组例程，而又无需访问源码，或理解内部工作机制的细节 只要调用 API ，就能使用，例如 cd、ls 等命令。 FS：文件系统② 文件系统的组成文件系统接口（API） 管理对象的软件集合（可以对一些文件、目录等，对这些资源进行管理） 对象及属性（管理的数据及属性，每个文件都有对应的 inode 号）③ 文件系统的作用
2021-11-18 17:33:53
161
原创 TCP连接超时机制
前言众所周知,TCP协议是一个可靠的的协议。TCP的可靠性依赖于大量的 Timer 和 Retransmission 。现在咱们就来细说一下TCP协议的那些TimerConnection-Establishment Timer在TCP三次握手创建一个连接时，以下两种情况会发生超时：client发送SYN后，进入SYN_SENT状态，等待server的SYN+ACK。 server收到连接创建的SYN，回应SYN+ACK后，进入SYN_RECD状态，等待client的ACK。当超时发生时
2021-11-17 17:04:37
4227
原创 glusterfs架构和原理
前言分布式存储已经研究很多年，但直到近年来，伴随着谷歌、亚马逊和阿里等互联网公司云计算和大数据应用的兴起，它才大规模应用到工程实践中。如谷歌的分布式文件系统GFS、分布式表格系统google Bigtable，亚马逊的对象存储AWS，阿里的TFS等都是很好的代表，同时也催生了一大批优秀的开源分布式存储系统，包括ceph、swift、Lustre和glusterfs等。分布式存储系统分布式存储按其存储接口分为三种：文件存储、块存储和对象存储。文件存储通常支持POSIX接口（如gluster
2021-11-16 20:06:55
670
原创 缓存淘汰算法（LRU）
1. LRU 1.1. 原理LRU（Least recently used，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。1.2. 实现最常见的实现是使用一个链表保存缓存数据，详细算法实现如下：\1. 新数据插入到链表头部；\2. 每当缓存命中（即缓存数据被访问），则将数据移到链表头部；\3. 当链表满的时候，将链表尾部的数据丢弃。1.3. 分析【命中率】当存在热点数据时，LRU的效率很好，但
2021-11-16 08:43:45
3005
原创 令牌桶、漏桶及相关算法
1. 漏桶是出，令牌是进 2. 令牌是允许伸缩漏桶算法漏桶算法(Leaky Bucket)是网络世界中流量整形（Traffic Shaping）或速率限制（Rate Limiting）时经常使用的一种算法，它的主要目的是控制数据注入到网络的速率，平滑网络上的突发流量。漏桶算法提供了一种机制，通过它，突发流量可以被整形以便为网络提供一个稳定的流量。漏桶可以看作是一个带有常量服务时间的单服务器队列，如果漏桶（包缓存）溢出，那么数据包会被丢弃。 在网络中，漏桶算法可以控制端口的流量输出速率，平滑..
2021-11-16 08:35:30
2102
原创 Redis级联复制技术之VAC
前言VPC全称是Virtual Private Cloud，翻译成中文是虚拟私有云。但是在有些场合也被翻译成私有网络或者专有网络等。这里其实就有些让人迷惑，VPC究竟是指云还是网络？答案是，VPC即是一种云，也是一种网络模式，不过应该从服务和技术的角度分别来看。虚拟私有云首先从服务的角度来看，VPC指的是一种云（Cloud），这与它的字面意思相符。对于基础架构服务（IaaS），云就是指资源池。你或许听过公有云（Public Cloud），私有云（Private Cloud），混合云（Hybrid
2021-11-15 11:29:11
1769
原创 Redis数据库主从复制与级联复制
消息队列消息队列: 把要传输的数据放在队列中功能: 可以实现多个系统之间的解耦,异步,削峰/限流等 常用的消息队列应用: kafka,rabbitMQ,redis消息队列主要分为两种,这两种模式Redis都支持生产者/消费者模式发布者/订阅者模式生产者消费者模式在生产者/消费者(Producer/Consumer)模式下，上层应用接收到的外部请求后开始处理其当前步骤的操作，在执行完成后将已经完成的操作发送至指定的频道(channel,逻辑队列)当中，并由其下层的应用监听该频
2021-11-15 11:27:31
2043
原创 DMZ（非军事化区）
DMZ全称：(Demilitarized Zone)隔离区，也称非军事化区，与军事区和信任区相对应。拓扑图非军事区(DMZ)： 不信任系统提供服务的孤立网段，其目的是把敏感的内部网络和其他提供访问服务的网络分开，阻止内网和外网直接通信，以保证内网安全。作用： WEB,E-mail,等允许外部访问的服务器单独接在该区端口，使整个需要保护的内部网络接在信任区端口 后，不允许任何访问，实现内外网分离，达到用户需求。DMZ可以理解为一个不同于外网或内网的特殊网络区域，DMZ内通常放置一些不...
2021-11-13 17:34:57
2134
原创 Haproxy详解以及基于Haproxy的高可用实战
1.Haproxy与Keepalived VRRP 介绍软件：haproxy---主要是做负载均衡的7层，也可以做4层负载均衡apache也可以做7层负载均衡，但是很麻烦。实际工作中没有人用。负载均衡是通过OSI协议对应的7层负载均衡：用的7层http协议，4层负载均衡：用的是tcp协议加端口号做的负载均衡--------------------------------------------------------------------------------------------
2021-11-13 17:31:32
2519
原创 QOS学习笔记
（工作时间之余，总结了这些，累的食指快脱节了，现在还在恢复中，为的就是让文章质量再提高点，希望对大家有帮助！文章太长，为方便，我附件上文章原文。）QOS，服务质量。顾名思义，就是为了给现有的网络提供一个更好的性能，让各种网络应用更加顺畅的运作。当然了，如果你想让网络运作的更好，那你就得了解你自己的网络啊。看看这个网络中都运行着什么网络应用，且这些网络应用比较关心的网络因素有那些，比如网络延迟、抖动、丢包率等等因素。我们就是通过控制这些对网络应用有着关键作用的因素来调节网络的正常、高速运行的。可以这样说：
2021-11-13 17:29:10
2331
原创 NotSQL 之 Redis（四）（性能管理之内存优化篇）
前言Redis 是基于内存的 key-value 数据库，内存的大小是有限制的 在生产环境中，偶尔会遇到 Redis 服务器内存不够的情况，那对于这种情况 Redis 的内存是如何回收处理的呢？如果内存满了，Redis 会怎么办呢一、查看 Redis 内存使用#使用 192.168.126.15:6379 连接本机上的 Redis 数据库[root@localhost ~]# redis-cli -h 192.168.126.15 -p 6379192.168.126.15:6379>
2021-11-13 15:52:19
2555
原创 三层网络架构
前言三层网络架构是现在网络构成方式的一个结构分层，也就是将复杂的网络设计分成三个层次——接入层、汇聚层和核心层。核心层主要用于网络的高速交换主干；汇聚层着重于提供基于策略的连接，位于接入层和核心层之间；而接入层则负责将包括电脑、AP等在内的工作站接入到网络。这样的设计能够将一个复杂的大而全的网络分成三个层次进行有序的管理。**核心层交换机**核心层是网络的主干部分，保障整个网络性能，相当于公司架构里的管理高层。核心层交换机的主要目的在于通过高速转发通信，提供快速、可靠的骨干传输结构，因此核心
2021-11-13 15:13:06
6860
原创 消息队列（MQ）
一、消息队列(MQ)概述消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为：当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。消息队列主要解决了应用耦合、异步处理、流量削锋等问题。当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。二、消息队列使用场景消
2021-11-13 14:24:36
2713
原创 redis击穿，穿透，雪崩以及解决方案
前言关于Redis雪崩，穿透，击穿的问题，第一次接触名字有点陌生，听上去还比较相似，难以理解，过去做的很多项目中也都是用过Redis，但是第一次听到这几个关于Redis的坑还是一脸懵逼，直到这些坑真正显灵的时候才彻底意识到搞明白。Redis 雪崩：雪崩就是指缓存中大批量热点数据过期后系统涌入大量查询请求，因为大部分数据在Redis层已经失效，请求渗透到数据库层，大批量请求犹如洪水一般涌入，引起数据库压力造成查询堵塞甚至宕机。解决办法：将缓存失效时间分散开，比如每个key的过期时间是随机，
2021-11-13 14:16:20
1732
原创 Rsync下行同步+Inotify实时同步(理论详解+实验步骤)
目录一、Rsync–数据镜像备份工具1.Rsync 概述2.Rsync 特性3.Rsync 同步源4.Rsync 配置流程5.Rsync 使用语法及参数详解二、Inotify–Linux 特性1.Inotify 简介2.Inotify 的使用三、配置 Rsync 下行同步1.环境准备2.将 Master 服务器数据备份到 Slave 服务器3.实现下行同步四、配置 Rsync+Inotify 实时同步1.Master 关闭只读模式并为共享...
2021-11-13 14:07:30
1796
原创 mysql 级联复制
mysql 级联复制级联复制的使用场景：myql主服务器有多个从服务器（2个+），当主服务器因为向多个从服务器，发送更新的二进制日志（过程是串行的），而造成主服务器的压力大时，推荐使用级联复制级联服务器的特殊设置： 级联服务器，需要开启log_slave_updates 选项，用于将master 中二进制日志的更新写入到到自己的二进制日志中。正常情况下，一个slave节点是不会将其从master节点同步的数据更新操作记录至自己的二进制日志bin-log中的。搭建级联..
2021-11-12 16:31:19
1855
原创 Redis 大型攻略之主从复制、哨兵模式、群集模式（理论详解+搭建步骤）
前言主从复制：主从复制是高可用 Redis 的基础，哨兵和集群都是在主从复制基础上实现高可用的 主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复 缺陷是故障恢复无法自动化，写操作无法负载均衡，且存储能力受到单机的限制哨兵：在主从复制的基础上，哨兵实现了自动化的故障恢复 缺陷是写操作无法负载均衡，存储能力受到单机的限制 且哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作集群：通过集
2021-11-11 19:01:20
1930
原创 Redis 五大数据类型（总结表）
前言redis提供了5种数据类型：String（字符串）、Hash（哈希）、List（列表）、Set（集合）、Zset（有序集合） 理解每种数据类型的特点对于redis的开发和运维非常重要一、String-字符串对象命令 应用 描述 EXISTE EXISTS mykey 判断该键是否存在，存在返回1，否则返回0 APPEND APPEND mykey “hello” 若该键并不存在，则创建key，存在则将内容追加，append命令返回当前Va..
2021-11-11 18:40:53
1797
原创 NoSQL 之 Redis（三）（RDB 持久化与 AOF 持久化及二者的优缺点）
目录一、RDB 持久化1.触发条件1.1 手动触发1.2 自动触发2.执行流程3.启动时加载二、AOF 持久化1.开启 AOF2.执行流程2.1 命令追加（append）2.2 文件写入（write）和文件同步（sync）2.3 文件重写（rewrite）3.启动时加载三、RDB 与 AOF 的优缺点1.RDB 持久化2.AOF 持久化一、RDB 持久化RDB 持久化是指在指定的时间间隔内将内存中当前进程中的数据生成快照保存到硬..
2021-11-09 20:04:15
2624
原创 NotSQL 之 Redis（二）（Redis 的数据库常用命令与多数据库常用命令，Redis 高可用及持久化）
目录一、Redis 数据库常用命令1.SET 与 GET2.KEYS3.EXISTS4.RENAME5.RENAMENX6.DBSIZE二、Redis 多数据库常用命令1.多数据库间切换2.多数据库间移动数据3.清除数据库内数据三、Redis 高可用1.持久化2.主从复制3.哨兵4.集群四、Redis 持久化1.持久化的功能2.Redis 提供两种方式进行持久化一、Redis 数据库常用命令1.SE...
2021-11-09 19:25:22
1698
原创 网络文件系统(NFS)
定义NFS是基于UDP/IP协议的应用，其实现主要是采用远程过程调用RPC机制，RPC提供了一组与机器、操作系统以及低层传送协议无关的存取远程文件的操作。RPC采用了XDR的支持。XDR是一种与机器无关的数据描述编码的协议，他以独立与任意机器体系结构的格式对网上传送的数据进行编码和解码，支持在异构系统之间数据的传送。特点（1）提供透明文件访问以及文件传输（2）容易扩充新的资源或软件，不需要改变现有的工作环境（3） 高性能，可灵活配置工作原理NFS的工作原理是使用C/S架构，由一个
2021-11-09 15:19:49
3674
原创 NoSQL 之 Redis（一）
目录一、关系数据库和非关系数据库1.关系型数据库2.非关系型数据库3.区别3.1 数据存储方式不同3.2 扩展方式不同3.3 对事务性的支持不同4.非关系型数据的产生背景5.小结二、Redis 简介1.Redis 概述2.Redis 的优点3.Redis 与 Memcached 的区别三、Redis 安装部署1.解压软件包2.源码编译安装3.设置 Redis 相关配置文件4.查看运行状态四、Redis 常用工具1.Redi.
2021-11-08 11:25:41
1737
原创 MHA 高可用配置（故障切换）
目录前言一、MHA 的概述二、MHA 的特点三、组成及原理四、搭建步骤1.实验思路2.实验环境3.实验步骤3.1 准备3.2 修改 Master、Slave1、Slave2 的主机名3.3 修改 Master、Slave1、Slave2 的主配置文件 /etc/my.cnfSlave1、Slave2：3.4 配置 MySQL 一主两从3.5 验证主从复制3.6 安装 MHA3.7 在所有服务器上配置无密码认证3.8 在 Manager.
2021-11-08 10:44:28
1746
原创 Squid 代理服务器应用（一）（Web 代理的工作机制、代理的基本类型、使用代理的好处及安装 Squid 服务）
目录一、Squid 代理服务器1.Web 代理的工作机制2.代理的基本类型2.1 传统代理2.2 透明代理2.3 反向代理3.使用代理的好处二、安装 Squid 服务1.编译安装 Squid2.修改 Squid 的配置文件3.Squid 的运行控制4.创建 Squid 服务脚本一、Squid 代理服务器Squid 主要提供缓存加速、应用层过滤控制的功能1.Web 代理的工作机制代替客户机向网站请求数据，从而可以隐藏用户的真实IP地址。 将
2021-11-08 10:23:12
1803
原创 squid 正向代理-传统代理-透明代理
squid 代理服务器保护后端服务器的安全，为后端web服务器提供代理请求百度公司使用的是全squid的架构代理服务器大部分代理服务器都具有缓冲的功能，就好象一个大的Cache，它有很大的存储空间，它不断将新取得数据储存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。代理功能可以突破自身IP访问限制，访问国外站点。教育网、169网等网络用户可以通过
2021-11-05 18:42:27
597
原创 MySQL 数据库--SQL 语句（二）
一、SQL 语句用来测试内查询有没有产生任何结果，类似布尔值是否为真 如果有的话，系统就会执行外查询中的SQL语句 若是没有，那整个SQL语句就不会产生任何结果 用法：SELECT 字段1 FROM 表1 WHERE EXISTS (SELECT * FROM 表2 WHERE 条件);例：use train_ticket;select money from class01 where exists (select * from class01 where money = '80')
2021-11-02 14:19:57
1814
原创 MySQL 数据库--主从复制与读写分离
一、案例分析在实际的生产环境中，如果对 MySQL 数据库的读和写都在一台数据库服务器中操作，无论在安全性、高可用性，还是高并发性等各个方面都是完全不能满足实际需求的 因此，一般来说都是通过主从复制（Master-Slave）的方式来同步数据，再通过读写分离来提升数据库的并发负载能力这样的方案进行部署与实施 如下图所示，一台主 MySQL 带着两台从 MySQL 进行了数据复制，前端应用在进行数据库写操作时，对主设备进行操作，在进行数据库读操作时，对两台从设备进行操作，这样大量减轻了对主设备的压力
2021-11-02 10:08:53
2672
3
原创 MySQL 数据库--SQL 语句（一）
一、准备1.源码编译安装 MySQL必须先准备好软件包至/opt目录下软件包资源传送门：百度网盘 请输入提取码 提取码：u4vw#!/bin/bashsystemctl stop firewalld.servicesystemctl disable firewalld.servicesetenforce 0#关闭防火墙（开机禁用）及安全访问策略yum -y install gcc gcc-c++ ncurses ncurses-devel bison cmake#安装 My
2021-10-28 22:44:05
1831
原创 MySQL 数据库备份（增量备份与恢复）
一、MySQL 增量备份增量备份可以在完全备份的基础上，减少备份文件的大小，从而加快备份和恢复的速度1.增量备份的概念1.1 为什么使用增量备份前面章节讲到了完全备份有两种方式，一种是使用 tar 打包数据文件，另一种是 使用 mysqldump 进行完全备份 完全备份存在的问题很容易看到，每次都是把所有的数据内容进行备份，备份数据中有大量的重复数据，并且完全备份的时间与恢复的时间很长 解决完全备份存在的问题就是使用增量备份的方式，增量备份就是备份自上一次备份之后增加或改变的文件或者内
2021-10-27 19:16:26
4907
原创 MySQL 数据库备份（完全备份与恢复）
前言随着办公自动化和电子商务的飞速发展，企业对信息系统的依赖性越来越高，数据库作为信息系统的核心，担当者重要的角色数据库备份，是在数据丢失的情况下，能及时恢复重要数据，防止数据丢失的一种重要手段一个合理的数据库备份方案，能够在数据丢失时，有有效地恢复数据，而且也需要考虑技术实现难度和有效地利用资源一、MySQL 完全备份1.数据库备份方式精讲1.1 数据库备份的重要性生产环境中，数据的安全性是至关重要的，任何数据的丢失都可能产生严重的后果数据库备份的重要性主要体现在：提高系
2021-10-26 22:19:20
23676
原创 MySQL 数据库管理（日志管理）
前言由于日志文件是掌握数据库运行状态的重要参考，因此日志文件的维护也有十分重要的意义 MySQL 日志的默认保存位置为 /usr/local/mysql/data 日志开启方式有两种：通过配置文件或者是通过命令 通过命令修改开启的日志是临时的，关闭或重启服务后就会关闭一、MySQL 的日志类型MySQL 的日志类型有错误日志、通用查询日志、二进制日志、慢查询日志1.错误日志错误日志主要用于记录当 MySQL 启动和停止时，以及在运行过程中发送任何错误时的相关信息 错误日志默认.
2021-10-26 16:15:03
1976
原创 MySQL 数据库--存储引擎
前言存储引擎的实质就是如何实现存储数据，为存储的数据建立索引以及查询、更改、删除数据等技术实现的方法 不同于很多数据库系统仅仅选择一种类型的数据存储方式，MySQL 数据库支持多种不同的数据引擎 可以根据具体的要求，针对每一个表使用不同的数据引擎，摒弃了很多其他数据库采取的“一个尺码满足一切需求”的解决方案 正是这种灵活性，使得 MySQL 数据库更加受欢迎 一、MyISAM 存储引擎1.存储引擎介绍MySQL 中的数据用各种不同的技术存储在文件中 这些技术中心的每一种技术都使用.
2021-10-26 01:13:05
1879
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人