- 博客(81)
- 收藏
- 关注
RSS订阅原创 codis集群部署
codis简介Codis是一个分布式的Redis解决方案，对于上层的应用来说，连接Codis Proxy和连接原生的Redis Server没有明显的区别（不支持的命令列表），上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工 作，所有后边的一切事情，对于前面客户端来说是透明的，可以简单的认为后边连接是一个内存无限大的Redis服务。cod...
2019-05-06 20:20:18
258
原创 基于Redis缓存数据库实现lnmp架构高速访问
Redis作mysql缓存服务器redis 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了 Python,Ruby,Erlang,PHP 客户端,使用很方便。Redis 的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化...
2019-05-06 20:19:59
349
原创 Redis集群部署
Redis集群介绍Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令. Redis 集群的优势:自动分割数...
2019-05-06 20:19:30
174
原创 Redis主从复制及Sentinel机制
配置Redis实现主从复制环境配置：rhel7.3Server1：172.25.81.1 MasterServer2：172.25.81.2 Slave1.Redis的源码编译安装Master、Slave主机安装Redis：从网站下载redis源码包，解压后进入redis目录，进行如下操作：[root@server1 ~]# tar zxf redis-4.0.13.ta...
2019-05-06 20:19:03
195
原创 虚拟机与真机网不通的可能情况以及解决方法
本机与虚拟机互相都不能ping通问题可能出在：本机与虚拟机是否在同一个网段？虚拟机的网络方式是否选择的桥接？虚拟机与本机的网卡是否是同一张？虚拟机的ifcfg文件是否配置正确？在上述配置都无误的情况下：1.首先使用brctl show命令查看如果br0的桥接接口都断掉的话，可以使用brctl addif br0 enp2s0 命令加上接口也可以使用相同的命令将虚拟接...
2019-05-06 20:18:18
1129
原创 QEMU-KVM
在所谓的kvm技术中，应用到的其实有2个东西：qemu+kvmkvm负责cpu虚拟化+内存虚拟化，实现了cpu和内存的虚拟化，但kvm不能模拟其他设备；qemu是模拟IO设备（网卡，磁盘），kvm加上qemu之后就能实现真正意义上服务器虚拟化。因为用到了上面两个东西，所以一般都称之为qemu-kvm。libvirt则是调用kvm虚拟化技术的接口用于管理的，用libvirt管理方便，直接用q...
2019-05-06 20:17:45
212
原创 saltstack建立top-master主机
Top master搭建top master用来管理各个master，实现了master端的横向扩展，减轻了master端的负载压力：通过建立top-master主机管理salt-master端及其salt-minion节点，同时可以进行salt-master主 机的横向扩展，从而通过一个或几个top-master管理多个salt-master及其salt-minion，实现大规模的集群管...
2019-05-06 20:16:57
231
原创 saltstack的推送返回数据存储到数据库
在上篇的基础上：server1 172.25.81.1 salt-master salt-minion server2 172.25.81.2 salt-minion server3 172.25.81.3 salt-minion server4 172.25.81.4 salt-minion 利用saltstack结合mysql数据库测试返回值：mysql数据库可以部署在任...
2019-05-06 20:16:44
210
原创 Saltstack一键部署高可用负载均衡集群
在上篇的基础上，salt-master节点向server2与server3分别推送了httpd和nginx服务：向两台节点机的相关服务上配置默认发布页面：准备第四台虚拟机，安装配置并开启salt-minion服务：在master端接受该minion节点的minion-key服务部署：前端代理使用haproxy+keepalived,后端web server使...
2019-05-06 20:16:07
267
原创 自动化运维工具salt-stack
saltstack简介：• Saltstack是基于python开发的一套C/S架构配置管理工具• 使用SSL证书签方的方式进行认证管理• 底层使用ZeroMQ消息队列pub/sub方式通信– 号称世界上最快的消息队列ZeroMQ能快速在成千上万台主机上进行各种操作– 采用RSA Key方式确认身主要功能• Saltstack最主要的两个功能是:配置管理...
2019-05-06 20:15:42
809
原创 Ansible自动部署nginx＋keepalived高可用负载均衡
Ansible自动化部署nginx的负载均衡高可用，前端代理使用nginx+keepalived,后端web server使用2台httpd用于负载效果的体现Ansible控制机：172.25.81.1 Ansible nginx：172.25.81.3 172.25.81.4 Ansible Keepalived: 172.25.81.3 172.25...
2019-04-29 11:23:07
759
原创 Ansible(Roles)自动化部署 lamp+zabbix
[root@server1 ansible]# lsansible.cfg hosts roleshosts文件是用来指定被ansible管理的文件roles是用来指定每一个角色ansible.cfg核心配置文件 Roles简介Ansible为了层次化、结构化地组织Playbook，使用了角色 （roles）。Roles能够根据层次型结构自动装载变量文件、task以及h...
2019-04-29 11:22:51
289
原创 自动化运维工具Ansible
ansible简介Ansible 简单的说是一个配置管理系统(configuration management system)。你只需要可以使用 ssh 访问你的服务器或设备就行。它也不同于其他工具，因为它使用推送的方式，而不是像 puppet 等 那样使用拉取安装agent的方式。你可以将代码部署到任意数量的服务器上!ansible是新出现的自动化运维工具，基于Python开发，集合了众...
2019-04-29 11:22:22
403
原创 Hadoop完全分布式文件系统搭建&&hadoop高可用
实验环境：Namenode：server1：172.25.81.1Datanode：server2：172.25.81.2 server3：172.25.81.3实验准备：在三台虚拟机上面均创建hadoop用户并且要求id 完全一致。Namenode配置部署：<1>对于Namenode节点，删除上一实验部署中...
2019-04-29 11:05:03
1306
原创 Hadoop 启动/停止集群和节点的命令
集群启动/停止Hadoop集群：start-all.sh stop-all.sh1) 启动NameNode, DataNode2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步3) 启动DFSZKFailoverController, HA会启用ZooKeeper F...
2019-04-29 11:04:48
913
原创 Hadoop安装与部署(本地模式 伪分布模式)
Hadoop的搭建方式有三种，本地模式，伪分布模式和完全分布式模式<1>下载hadoop、jdk安装包到hadoop用户家目录[root@server1 ~]# useradd -u 800 hadoop[root@server1 ~]# mv hadoop-3.0.3.tar.gz jdk-8u181-linux-x64.tar.gz /home/hadoop/...
2019-04-29 11:04:28
325
原创 mfsmaster 热备
配置集群的前提：时间同步节点间相互的dns解析实验环境部署新增一台虚拟机serve5(172.25.81.5)作备master主机IP 作用 172.25.81.1 mfsmaster server 172.25.81.5 mfsmaster server 172.25.81.3 mfschunk server 172.25.81.4...
2019-04-10 10:12:59
260
原创 MFS分布式文件系统部署
软件下载地址：https://moosefs.com/support/#documentationmooseFS（moose 驼鹿）是一款网络分布式文件系统。它把数据分散在多台服务器上，但对于用户来讲，看到的只是一个源。MFS也像其他类unix文件系统一样，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时间），可以创建特殊的文件（块设备，字符设备，管道，套接字），符号链接，...
2019-04-10 10:12:39
558
原创 k8s docker集群搭建
什么是kubernetes 首先，他是一个全新的基于容器技术的分布式架构领先方案。Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性。 Kubernetes是一个完备的分布式系统支撑平台，具有完备的集群管理能力，多...
2019-04-03 10:30:09
252
原创 Docker三剑客--Docker Swarm集群实现负载均衡
环境部署：三台rhel7.3主机server11：172.25.81.1server12：172.25.81.2server13：172.25.81.31、三个节点安装Docker并开启服务[root@server1 ~]# systemctl start docker[root@server2 ~]# systemctl start docker[root@server3 ...
2019-04-03 10:29:47
702
2
原创 Docker三剑客--Docker compose（多容器架构实现负载均衡）
Docker-compose简介Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker Compose 将所管理的容器分为三层,工程(project),服务(service)以及容器(contaienr)。Docker Compose 运行的目录下的所有文件(docker-compose.yml, extends 文件或环境变量...
2019-04-03 10:29:25
1092
原创 Docker资源限制
Linux的Cgroup:Linux系统中经常有个需求就是希望能限制某个或者某些进程的分配资源。也就是能完成一组容器的概念，在这个容器中，有分配好的特定比例的cpu时 间，IO时间，可用内存大小等。于是就出现了cgroup的概念，cgroup就是controller group，最初由google的工程师提出，后来被整合进Linux内核中。Cgroup是将任意进程进行分组化管理的Linux...
2019-04-03 10:28:53
939
原创 Docker数据卷管理--docker卷插件convoy
实验环境：虚拟机server1 server2<1>两台主机安装并配置NFS[root@server1 ~]# yum install -y nfs-utils[root@server2 ~]# yum install -y nfs-utils确保以下程序处于运行状态：server1配置:[root@server1 ~]# mkdir /mnt/nfs...
2019-04-03 10:28:25
142
原创 Docker网络管理（容器的四种网络模式）
Docker 的网络实现其实就是利用了 Linux 上的网络命名空间和虚拟网络设备（特别是 veth pair）．首先，要实现网络通信，机器需要至少一个网络接口（物理接口或虚拟接口）来收发数据包；此外，如果不同子网之间要进行通信，需要路由机制。Docker 中的网络接口默认都是虚拟的接口。虚拟接口的优势之一是转发效率较高。 Linux 通过在内核中进行数据复制来实现虚拟接口之间的数据转发，...
2019-04-03 10:28:06
1045
原创 Docker搭建仓库
若物理机没有registry镜像，则需下载registry.tar，并将其导入容器为registry镜像。1、导入仓库镜像2、开启容器[root@foundation81 ~]# mkdir /opt/registry[root@foundation81 ~]# docker run -d --name registry -p 5000:5000 -v /opt/registr...
2019-04-03 10:27:47
188
原创 Docker镜像仓库Harbor之搭建及配置
部署 harbor 私有仓库环境、软件准备本次演示环境，我是在虚拟机Linux RedHat7上操作，以下是安装的软件及版本： Docker：version 18.06.1 Docker-compose： version 1.12.0 Harbor： version 1.1.21.Docker-compose 安装[root@foundation81 ~...
2019-04-03 10:27:26
645
原创 Dockerfile编写
Dockerfile是由一系列命令和参数构成的脚本，这些命令应用于基础镜像并最终创建一个新的镜像。它们简化了从头到尾的流程并极大的简化了部署工 作。Dockerfile从FROM命令开始，紧接着跟随者各种方法，命令和参数。其产出为一个新的可以用于创建容器的镜像。Dockerfile一般由一条条语句组成,并支持以 # 开头的注释行一般来说Dockerfile分为四部分部分 命令 ...
2019-04-03 10:27:03
281
原创 Docker安装与部署
Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化，容器是完全使用沙箱机制，相互之间不会有任何接口。Docker是什么？docker是一个开源的软件部署解决方案； docker也是轻量级的应用容器框架； docker可以打包、发布、运行任何的应用。一个完整的Docker有以下几个部分...
2019-04-03 10:26:42
109
原创 为分布式监控系统Zabbix配置TiDB数据库
TiDB 简介TiDB 是 PingCAP 公司基于 Google Spanner / F1 论文实现的开源分布式 NewSQL 数据库。TiDB 具备如下 NewSQL 核心特性：TiDB 的整体架构:TiDB 集群主要分为三个组件：TiDB ServerTiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 ...
2019-04-01 11:04:36
175
原创 Zabbi Agent 主被动 && Proxy 的代理
Agent 主动 与 被动1、zabbix agent主动模式与被动模式的区别zabbix agent的运行模式有以下两种：1）、被动模式：此模式为zabbix默认的工作模式，由zabbix server 向zabbix agent 发出指令获取数据，zabbix agent被动地去获取数据并返回给zabbix server，zabbix server会周期性地向agent索取数据。此模...
2019-04-01 11:03:56
821
原创 zabbix部署jmx监控tomcat
zabbix提供了一个java gateway的应用去监控jmx（Java Management Extensions，即Java管理扩展）是一个为应用程序、设备、系统等植入管理功能的框架。JMX可以跨越一系列异构操作系统平台、系统体系结构和网络传输协议，灵活的开发无缝集成的系统、网络和服务管理应用。Zabbix gateway 是用Java语言写成。要查得一台主机特定的JMX计数器值，Zab...
2019-04-01 11:03:30
246
原创 Zabbix云告警
前面的文章里，我们已经配置好了Server和Agent，并且server能够自动发现agent。邮件告警的前提：你已经配置好了server和agent之间的关系，server能够从agent抓取数据（能够监控到客户端）在zabbix的使用中，最重要的一点就是完善的报警机制，作为监控平台，需要时刻关注机器和服务的运行状态，更重要的是发现故障之后需要及时的报警给相关人员，早点发现问题，将...
2019-04-01 11:03:07
364
原创 Zabbix通过percona监控Mysql
1、安装percona-zabbix-templates[root@zabbix-server ~]# rpm -ivh percona-zabbix-templates-1.1.8-1.noarch.rpm2、配置zabbix agent[root@zabbix-server ~]# cd /var/lib/zabbix/percona/templates/[root@za...
2019-04-01 11:02:41
178
原创 Zabbix监控MYSQL服务器性能
zabbix server主机设定mysql[root@zabbix-server ~]# mkdir /var/lib/zabbix[root@zabbix-server ~]# cd /var/lib/zabbix/[root@zabbix-server zabbix]# vim .my.cnf[mysql]host = localhostuser = rootpass...
2019-04-01 11:02:07
94
原创 Zabbix添加监控项nginx
user --> webui --> zabbix server --> zabbix agent --> shell --> zabbix server--> mysql-->webui具体部署：1.zabbix agent端配置nginx[root@server6 ~]# tar zxf nginx-1.15.8.tar.gz[...
2019-04-01 11:01:49
109
原创 Zabbix通过API管理监控主机
Zabbix API允许以编程方式检索和修改Zabbix的配置，并提供对历史数据的访问。它广泛用于： 创建新的应用程序以使用Zabbix； 将Zabbix与第三方软件集成； 自动执行常规任务。 Zabbix API提供两项主要功能：远程管理Zabbix配置 远程检索配置和历史数据Zabbix API是基于Web的API，作为Web前端的一部分提供。它使用JSO...
2019-04-01 11:01:23
253
原创 zabbix的安装和部署
zabbix简介Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix 由 server、agent、web、proxy 以及 db 组成。server：是监控代理程序报告系统可用性、系统完成整性和统计信息的核心组件。agent：部署在监控目标上，能够主动监控本地资源和应用程序，并将收集到的数据报告给Zabbix Server。web：为...
2019-04-01 11:00:59
179
原创 haproxy负载均衡配置
负载均衡集群：四层：lvs, nginx(stream)，haproxy(mode tcp)七层：http: nginx(http, ngx_http_upstream_module), haproxy(mode http), httpd, ats, perlbal, pound...haproxy:HAProxy 是一款高性能TCP/HTTP 反向代理负载均衡服务器，具有如下功...
2019-02-20 14:20:53
455
原创 LVS集群NAT模式
LVS/NATLVS/NAT模式原理:(重点理解数据包的改变)NAT工作模式，简单来说就是传统的NAT，进出流量都需要经过调度器，调度器会选择一个目的服务器，将进入流量的目标IP改写为负载均衡到的目标服务器，同时源IP地址也会改为调度器IP地址。机制简单，但限制大，IPVS需要维护每个映射关系，而且进出入流量都需要经过调度器，实际上这个会成为瓶颈。LVS/NAT模式过程:(a)...
2019-02-12 21:27:26
155
原创 LVS集群TUN模式
LVS/TUNLVS-Tun模型原理在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)LVS-Tun模型过程(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。(b) PREROU...
2019-02-12 21:26:59
292
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人