- 博客(69)
- 收藏
- 关注
RSS订阅原创 Elasticsearch与Logstash的日志采集（应用模块、按格式输出）
Logstash 是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用。此篇博客是在前一篇博客搭好集群和安装好head 插件的基础上做的具体请看Elasticsearch单机存储和多节点分布式存储配置一、数据采集[root@server1 ~]# cd elk/[root@server1 elk]# rpm -ivh logstash-2.3.3-1.n...
2018-08-27 23:12:26
1244
原创 Elasticsearch单机存储和多节点分布式存储配置
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎， 基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布， 是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。一、单机存储配置server1: 安装elastics...
2018-08-27 21:05:10
2923
原创 Github和Jenkins定时触发搭建
实验环境：真机、虚拟机：rhel7.3 真机： 客户端 虚拟机： server1 172.25.10.1 配置Gitlab server2 172.25.10.2 配置Jenkins一、Gitlab配置1、Gitlab安装并配置安装Gitlab[root@server1 ~]# yum install policycoreutil...
2018-08-25 22:18:21
678
原创 Git基本操作
一、git init初始化$ mkdir demo$ cd demo/注：使用git命令必须在初始化目录下初始化一个Git仓库[kiosk@foundation10 demo]$ git initInitialized empty Git repository in /home/kiosk/demo/.git/查看多了一个隐藏目录/.git，是Git的版本库。没事千万不要手动修改...
2018-08-25 01:02:19
262
原创 docker集群——swarm、docker-machine一键部署
实验环境： 虚拟机：rhel7.3 物理机：镜像私有仓库 虚拟机节点安排： server1 172.25.10.1 swarm manager server2 172.25.10.2 swarm agent server3 172.25.10.3 swarm agent 真机：设置好Docker私有仓库 详情请看搭建Docker私有仓...
2018-08-23 15:39:39
1566
原创 Docker Compose
Docker Compose 将所管理的容器分为三层,工程(project),服务(service)以及容器 (contaienr)。Docker Compose 运行的目录下的所有文件(docker-compose.yml, extends 文 件或环境变量文件等)组成一个工程,若无特殊指定工程名即为当前目录名。一个工程当 中可包含多个服务,每个服务中定义了容器运行的镜像,参数,依赖。一个...
2018-08-23 11:34:19
472
1
原创 Docker安全之cgroups、搭建Docker私有仓库
一、设置特权级运行的容器:–privileged=true有的时候我们需要容器具备更多的权限,比如操作内核模块,控制 swap 交换分区,挂载 USB 磁盘,修改 MAC 地址等。[root@foundation10 test]# docker run -it --name vm3 --privileged=true ubunturoot@233a3ed7c3df:/# ip addr...
2018-08-22 01:07:49
506
原创 Dockerfile定制镜像、Dockerfile应用示例、CMD 与 ENTRYPOINT
Dockfile简介镜像的定制实际上就是定制每一层所添加的配置、文件。如果我们可以把每一层修改、安装、构建、操作的命令都写入一个脚本，用这个脚本来构建、定制镜像，那么无法重复的问题、镜像构建透明性的问题、体积的问题就都会解决。这个脚本就是 Dockerfile。 Dockerfile 是一个文本文件，其内包含了一条条的指令(Instruction)，每一条指令构建一层，因此每一条指令的...
2018-08-20 21:55:12
5388
原创 Docker简介、Docker基本管理命令、如何从网上获取Docker镜像、Docker数据卷挂载、Docker间互联
安装dockeryum install docker-engine-17.03.1.ce-1.el7.centos.x86_64.rpm docker-engine-selinux-17.03.1.ce-1.el7.centos.noarch.rpm -y打开docker[root@foundation10 Desktop]# systemctl start docker一...
2018-08-20 21:30:20
993
原创 Saltstack将执行的结果、Saltstack添加扩展模块、SaltstackSSH文件远程部署、SaltAPI实现多级master、Saltstack-API
一、salt执行的结果返回数据库 方法一：Minion端将内容返回master端和数据库 server2: 编辑Minion端配置文件[root@server2 ~]# vim /etc/salt/minion815 mysql.host: '172.25.10.1'816 mysql.user: 'salt'817 mysql.pass: 'westos'818 mysql...
2018-08-20 15:35:05
623
原创 Saltstack之grains组件、pillar组件、jinja模板、一键部署haproxy高可用
一、grains：静态GRAINS 组件是saltstack中非常重要的一个组件，其主要用于记录Minion的一些静态信息，在master端通过Grains可以获得minion对应的变量值，比如：CPU、内存、磁盘、网络等。grains信息是每次客户端启动后自动上报给master的，一旦这些静态信息发生改变需要重启minion 或者 重新同步下 grains。除此之外我们还可以自定义Grain...
2018-08-18 00:28:00
354
原创 saltstack自动化部署Apache安装、nginx源码安装、haproxy实现负载均衡
一、Saltstack简介saltstack是基于python开发的一套C/S架构配置管理工具，它的底层使用ZeroMQ消息队列pub/sub方式通信，使用SSL证书签发的方式进行认证管理。ZeroMQ使SaltStack能快速在成千上万台机器上进行各种操作。 在SaltStack架构中服务器端叫作Master，客户端叫作Minion，传统C/S架构为：客户端发送请求给服务器端，服务器端接收...
2018-08-17 23:56:39
294
原创 Zabbix实现对nginx状态的监控、Zabbix通过percona监控Mysql、Zabbix实现对tomcat的监控、OneAlert监控Zabbix告警
一、zabbix实现对nginx状态的监控nginx内置了一个status状态的功能，通过配置可以看到nginx的运行情况，status显示的内容包括当前连接数，处于活动状态的连接数，已经处理的请求数等等。我们这里使用zabbix监控nginx服务，以下是配置过程： agent端 server2: 1、网页查看nginx状态 解压nginx rpm包[root@server2 ~]...
2018-08-16 21:19:38
951
原创 Zabbix和agent端部署、图示Zabbix Web端搭建以及添加设备的4种方法、Zabbix API
Zabbixzabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。 zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。 zabbix由2部分构成，zabbix server与可选组件zabbix agent。 zabbix server可以通过SNMP，zabbix agent，...
2018-08-16 11:12:16
3196
原创 mysql-proxy实现数据库读写分离
mysql实现读写分离 实验环境 server1和2：安装5.7版本数据库 虚拟机：6.5版本 实验需求 首先在server1和server2实现主从复制 实现server1:master server2:slave server3:mysql-proxy调度器 server1中mysql配置： mysql> grant replication slave on . to...
2018-08-14 22:58:35
222
原创 Codis集群的搭建与使用
一、Codis简介 Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一...
2018-08-14 00:42:21
248
原创 redis实现主从复制和集群、利用Gearman进行Mysql到Redis的复制
一、redis主从复制 1、安装服务与配置 server1、2、3：解压redis安装包get redis-4.0.8.tar.gztar zxf redis-4.0.8.tar.gzcd redis-4.0.8yum install gcc -y开始编译[root@server1 redis-4.0.8]# make [root@server1 redis-4.0.8]#...
2018-08-14 00:32:18
619
原创 mysql高可用架构之MHA
MySQL MHA架构介绍：MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行...
2018-08-13 20:04:05
160
原创 mysql主从复制、GTID复制、半同步复制、多主复制
一、mysql的主从复制 原理图： 一主一从 MySQL之间数据复制的基础是二进制日志文件（binary log file），这个日志会记录下所有修改了数据库的SQL语句（insert,update,delete,ALTER TABLE,grant等等）。 一台MySQL数据库一旦启用二进制日志后，其作为master，它的数据库中所有操作都会以“事件”的方式记录在二进制日志中，其他数据库...
2018-08-13 19:06:55
1336
原创 nginx+tomcat+memcache、session共享、nginx网页加密、网页重定向、盗链和防盗链的实现
一、安装JAVA运行环境 打开服务[root@server1 ~]# /etc/init.d/php-fpm start[root@server1 ~]# nginx查看进程[root@server1 ~]# ps ax 1060 ? Ss 0:00 php-fpm: master process (/usr/local/lnmp/php/etc/p...
2018-08-09 17:02:15
322
原创 mysql、php、nginx源码编译、LNMP架构、memcached缓存配置、openresty+memcached实现缓存
一、mysql源码编译 server1:get mysql-boost-5.7.17.tar.gzget cmake-2.8.12.2-4.el6.x86_64.rpmtar zxf mysql-boost-5.7.17.tar.gz yum install cmake-2.8.12.2-4.el6.x86_64.rpm -y[root@server1 ~]# cd mys...
2018-08-09 10:27:13
429
原创 haproxy负载均衡以及haproxy和pacemaker结合corosync实现负载均衡高可用
一、haproxy实现负载均衡主机get haproxy-1.6.11.tar.gz 传给server1、server4server1:安装服务yum install -y rpm-buildyum install -y pcre-develyum install -y gcc1、haproxy配置过程 解压[root@server1 ~]# rpmbuild -t...
2018-08-07 23:23:06
355
原创 rhcs套件和nginx 实现nginx、iscsi磁盘、mysql的高可用
RHCS（Red Hat Cluster Suite），也就是红帽子集群套件，RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合，它将集群系统中三大集群架构融合一体，可以给web应用、数据库应用等提供安全、稳定的运行环境。更确切的说，RHCS是一个功能完备的集群应用解决方案，它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现，通过RHCS...
2018-08-03 17:50:56
254
原创 nginx实现负载均衡以及nginx的扩展模块——sticky算法
真机：get nginx-1.14.0.tar.gz server1:tar zxf nginx-1.14.0.tar.gz cd nginx-1.14.0/src/core/[root@server1 core]# vim nginx.h 14 #define NGINX_VER "nginx" ##改名字cd nginx-1.14.0/auto/...
2018-08-03 12:53:54
2968
原创 Linux内核编译
实验环境把所有虚拟机都关掉 server1内存改为2048打开server1df -h 查看根内存 17G 如果虚拟机初始设定为默认的9G大小，则需lvs拉伸内存实验内容一、重新编译内核真机中：1、get安装包get kernel-2.6.32-220.23.1.el6.src.rpm get Lvs-fullnat-synproxy.tar.gz...
2018-08-03 11:22:45
238
原创 lvs模式之NAT模式和TUN隧道模式实现负载均衡
一、NAT模式的数据走向client–>vs–>rs–>vs–>clent(原路返回)用户请求为客户端IP到调度器的虚拟IP，（CIP-VIP）—->LVS调度DIRECTOR，在此处调度器会将报文再次封装一个RS的IP头，即此时的数据包是（（CIPVIP）+RIP），调度器将再次封装后的数据发到RS，—>用户请求到达RS，RS解包数据相应处理再发...
2018-08-03 10:34:53
524
原创 lvs（DR模式）高可用负载均衡
Keepalived：什么是Keepalived呢，keepalived观其名可知，保持存活，在网络里面就是保持在线了，也就是所谓的高可用或热备，用来防止单点故障(单点故障是指一旦某一点出现故障就会导致整个系统架构的不可用)的发生，那说到keepalived时不得不说的一个协议就是VRRP协议，可以说这个协议就是keepalived实现的基础。一、配置高可用的负载均衡 实验环境...
2018-08-03 09:43:11
598
原创 lvs模式一之DR模式
1、先在6.5镜像挂载文件中查看参数2、修改yum源文件vim /etc/yum.repos.d/rhel-dvd.repo yum repolist虚拟机1中：添加ipvsadm策略yum install ipvsadm -yipvsadm -A -t 172.25.10.100:80 -s rripvsadm -a -t 172.25.10.100:80 ...
2018-08-03 09:41:03
308
原创 CDN加速之varnish
本篇博客是在前一篇博客的母虚拟机创建的子虚拟机上进行的在创建新的虚拟机时需做2个操作：1、设置网络和IPvim /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE='eth0'ONBOOT='yes'IPADDR=172.25.0.2PREFIX=24重启网络/etc/init.d/network restart查看IPip a...
2018-07-28 16:05:50
1213
原创 Linux系统之图解装6.5版本虚拟机和虚拟机基本配置
首先，电脑里得有6.5的镜像virt-manager 打开虚拟机管理界面1、点左上角——"创建虚拟机"2、选择第一个选项—"安装本地镜像"3、点击"Forward"进行下一步1、添加镜像地址2、下面选项默认打勾——自动识别系统3、点击"Forward"进行下一步1、
2018-07-28 14:55:59
462
原创 Python之与mysql的基本搭建、多线程、socket连接
一、mysql数据库与python的基础搭建 1、安装服务安装数据库服务、开启服务yum install mariadb-server -ysystemctl start mariadb安装其他服务yum install gcc -yyum install MySQL-python -y网络下载所需内容；前提：电脑安装好ipythonpip install Mysql...
2018-07-26 11:43:40
879
原创 Python之异常、模块、文件、数据存储——json
一、异常异常演练一知识点：在程序开发中,如果对某些代码的执行不确定（程序的语法完全正确）可以增加try来捕获异常try: 尝试执行的代码except: 出现错误的处理异常演练二知识点：当python解释器抛出异常时,最后一行错误信息的第一个单词,就是错误类型需求：1.提示用户输入一个整数2.使用10除以用户输入的整数并且输出异常演练三...
2018-07-24 22:35:09
180
原创 Python之面向对象的封装、内置方法、私有属性和私有方法
一、面向对象类的设计：在程序开发中,要设计一个类,通常需要满足以下三个要求：1.类名 这类事物的名字,满足大驼峰命名法2.属性 这类事物具有什么样的特征3.方法 这类事物具有什么样的行为面向对象的基础语法：定义简单的类：定义只包含方法的类：class 类名： def 方法1（self,参数列表）： pass def 方法2（self,参数列...
2018-07-23 22:36:19
490
原创 Python之面向对象的继承和多态、类属性
一、继承继承演练一继承演练二继承的传递性：（爷爷 父亲 儿子）1.C类从B类继承,B类又从A类继承2.那么C类就具有B类和A类的所有属性和方法子类拥有父类以及父类的父类中封装的所有属性和方法 继承演练三重写父类方法有两种情况：1.覆盖父类的方法2.对父类方法进行扩展1.覆盖父类的方法如果在开发中，父类的方法的实现和子类方法的实现完全不同，就可以使用覆...
2018-07-23 22:35:33
252
原创 Python之设计模式
设计模式使用类名（）创建对象时,python的解释器首先会调用__new__方法为对象分配空间__new__是一个由object基类提供的内置的静态方法,主要有两个作用： 在内存中为对象分配空间 返回对象的引用python的解释器获得对象的引用后,将引用作为第一个参数,传递给__init__方法#__new__：负责给对象分配空间 __init__(初始化方法）负责给对...
2018-07-23 22:35:22
116
原创 Python之列表、元组、字典、字符串
####列表####我们引入一个新的概念：数据机构数据结构是通过某种方式组织在一起的数据元素的集合，这些数据元素可以是数字或字符，甚至可以是其他数据结构>，在python中，最基本的数据结构是序列，序列中的每个元素匾被分配一个序号--即元素的位置，也称为索引，第一>个索引是0，第二个则是1，以此类推列表是什么列表由一系列特定顺序排列的元素组成，你可以创建包含字母表中所有字母，数...
2018-07-19 14:28:18
174
原创 Python之函数、变量的引用、装饰器
函数所谓函数，就是把具有独立功能的代码块组织成为一个小模块，在需要的时候调用函数的使用包含两个步骤 1.定义函数--封装独立的功能 2.调用函数--享受封装的成果函数的作用:在开发时，使用函数可以提高编写的效率以及代码的重用‘’函数：函数是带名字的代码块，用于完成具体的工作需要在程序中多次执行同一项任务时，你无需反复编写完成该任务的代码，而只需调用...
2018-07-19 14:15:39
519
原创 Python之if判断语句和while循环语句
一、if判断语句####if 判断语句的基本语法####if 要判断的条件: 条件成立时,要做的事情#注意:代码的缩进为一个 tab 键,或者四个空格(pycharm 自动帮我们增加) #在 python 开发中,Tab 和空格不要混用if_01.py ####else####else,格式如下 #注意 else 必须配合 if 使用,而其 else 后不跟...
2018-07-19 13:59:55
583
原创 Python之变量
####什么是变量?#####变量名只有在第一次出现才是定义变量(变量名再次出现,不是定义变量,而是直接使用之前定义的变量)####变量的定义####在 python 中,每个变量在使用前都必须赋值,变量赋值以后该变量才会被创建等号(=)用来给变量赋值=左边是一个变量名=右边是存储在变量中的值变量名 = 值#变量定义之后,后续就可以直接使用了####变量的类型###...
2018-07-19 13:44:52
144
原创 Shell脚本中的运算和脚本应用示例
一、运算方式及运算符号 运算符号 意义( * 标示常用) +,- 加法,减法 *,/,% 乘法,除法,取余 ** 幂运算 ++ , -- 自增加,自减少 <,<=,&...
2018-06-28 12:55:01
1155
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人