- 博客(173)
- 收藏
- 关注
RSS订阅原创 ELK——ELK日志架构学习
一.ELK简介 ELK是目前微服务技术下，专门为日志收集、分析的一套架构。ELK是三个开源软件的缩写，分别表示：Elasticsearch，Logstash和Kibana。目前又新增了一个FileBeat，它是一个轻量级的日志收集处理工具（Agent），Filebeat占用资源少，适合于各个服务器上搜集日志后传输给Logstash。ELK架构图如下：Elasticsearch是个开...
2020-01-17 16:56:33
317
原创 Mysql主从数据库的搭建并实现MHA高可用，并通过zabbix对其监控
实验环境主机名（IP）服务server1（172.25.254.1）server2（172.25.254.2）server3（172.25.254.3）server4（172.25.254.4）一.基于gtid的数据库的主从复制1.在官网下载Mysql5.7的相应的安装包并在server1-4上进行数据库的安装//在server1上：/...
2019-07-18 19:50:01
1025
原创 kibana部署及其elk开源日志分析平台实现对httpd的分析
server1：elasticsearch，kibanaserver2：elasticsearch，httpd，logstashserver3：elasticsearch，redis，logstashhttpd的日志过滤及其相应的配置具体可参考上2篇博文1.官网下载kibana并且在server1上进行安装并且查看端口[root@server1 ~]# rpm -ivh kibana-...
2019-06-25 19:33:08
342
1
原创 logstash过滤apache的日志到数据库（redis）再到elasticsearch
server1：elasticsearchserver2：httpd，logstashserver3：redis1.在server3上安装redis并且开启redis[root@server3 ~]# lsredis-5.0.3.tar.gz[root@server3 ~]# tar zxf redis-5.0.3.tar.gz [root@server3 ~]# cd redis-...
2019-06-25 11:40:49
284
1
原创 logstash采集apache的日志到elksticsearch
server1：elasticsearchserver2：logstash，apache1.在server2上编辑logstash的的文件[root@server2 conf.d]# pwd/etc/logstash/conf.d[root@server2 conf.d]# vim test.confinput { stdin {}}filter { grok ...
2019-06-25 11:31:21
235
1
原创 elasticsearch集群搭建
部署如下：集群环境：主机名服务server1（172.25.254.1）elasticsearchserver2（172.25.254.2）elasticsearchserver3（172.25.254.3）elasticsearch1.在server1上开启已经搭建好的elasticsearch,查看端口,具体可查看上篇博文[root@serve...
2019-06-25 10:14:32
174
1
原创 企业— elk开元日志分析平台之elasticsearch简介及其部署
一.ELK简介1.基本概念 Elasticsearch 是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful 风格接口,多数据源,自动搜索负载等。 Logstash 是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索) Kibana 也是一个开源和免费的工具,它 Kibana 可以为 Logstash...
2019-06-21 17:06:23
181
原创 saltstack之saltssh及其API的应用
一.saltssh简介1.基本定义 salt-ssh是通过ssh协议执行命令进行管理服务器，不需要在服务器端安装minion客户端，如果有安装minion也可以调用minion模块，salt-ssh有点类似ansible无客户端基与ssh协议进行管理服务器，通过roser(/etc/salt/roser)配置文件。2.应用场景主要作用是不需要安装minion,只要ssh协议开放,即可远...
2019-06-21 16:27:24
209
原创 saltstack远程执行模块（python）及其salt syndic（topmaster）的应用）
一.编写远程执行模块1.在server1上编写远程执行模块（python模块）[root@server1 ~]# mkdir /srv/salt/_modules[root@server1 ~]# cd /srv/salt/_modules/[root@server1 _modules]# ls[root@server1 _modules]# vim my_disk.py#!/usr/...
2019-06-21 13:06:30
358
1
原创 企业—saltstack将执行结果存储到mysql服务器的两种方式
一.把执行结果存储到mysql服务器 在master端向minion端推送之后，minion端会保存推送信息24小时，可是为了日后便于查看推送的信息，我们应该将这些信息长期存储起来，而存放在数据库中是个不错的选择saltstack把执行的结果保存到mysql中，以便进行命令安全审计mysql负责存储数据，mysql-python负责收集数据master需要安装mysql和M...
2019-06-21 11:37:37
180
原创 企业—saltstack的实现keepalive高可用集群
部署如下实验环境：主机名（IP）服务server1（172.25.254.1）salt-masterserver2（172.25.254.2）salt-minion，keeplivedserver3（172.25.254.3）salt-minion，keeplived1.在server1上的saltstack的配置目录/srv/salt下建立相应的k...
2019-06-20 20:32:18
138
原创 saltstack之jinja模版的应用
jinja1模版有多种应用方式，以apache的端口和ip为例：1.调用jinja1.编辑配置文件添加jinja模版[root@server1 apache]# pwd/srv/salt/apache[root@server1 apache]# lsfiles install.sls service.sls[root@server1 apache]# vim install.sl...
2019-06-20 19:46:57
128
原创 企业—saltstack数据系统Grains和Pillar
一.grains简介grains是Saltstack最重要的组件之一，grains的作用是收集被控主机的基本信息，这些信息通常都是一些静态的数据，包括CPU、内核、操作系统、虚拟化等，在服务器端可以根据这些信息进行灵活定制，管理员可以利用这新信息对不同业务进行个性化配置。Grains是SaltStack当中的一个数据系统，当Minion启动时Grains会把Minion的数据收集起来，...
2019-06-20 17:46:52
165
原创 企业—saltstack简介及其部署应用及其推送相应的服务
一.saltstack简介1.saltstack简介Saltstack是基于Python开发的一套C/S架构，具备Puppet、Ansible功能于一身的配置管理工具，功能十分强大，各模块融合度及复用性极高；使用号称世界上最快的消息队列ZeroMQ使得Saltstack能够秒级在数万台服务器上进行各种操作，而且使用RAS Key方式确认身份，传输采用AES加密，安全性能更高；Salt...
2019-06-19 20:26:38
269
原创 ansible实现远程批量创建用户并且对其密码进行加密设置
1.远程批量创建用户1.编写yaml配置文件[devops@server1 ansible]$ vim adduer.yml文件编辑内容如下：---- hosts: all tasks: - name: create users user: name: "{{ item }}" state: present p...
2019-06-18 20:08:52
1170
1
原创 企业—ansible的playbook应用
一.为什么要引入playbook我们完成一个任务，例如安装部署一个httpd服务，我们需要多个模块（一个模块也可以称之为task）提供的功能来完成。而playbook就是组织多个task的容器，它的实质就是一个文件，有着特定的组织格式，它采用的语法格式是YAML（Yet Another Markup Language）。YAML语法能够简单的表示散列表，字典等数据结构。二.yuml基本语法...
2019-06-18 19:11:42
325
原创 ansible的简介及其部署
一.ansible的简介1.定义ansible是新出现的自动化运维工具，基于Python开发，集合了众多运维工具（puppet、cfengine、chef、func、fabric）的优点，实现了批量系统配置、批量程序部署、批量运行命令等功能。ansible是基于模块工作的，本身没有批量部署的能力。真正具有批量部署的是ansible所运行的模块，ansible只是提供一种框架。A...
2019-06-18 14:06:44
313
1
原创 企业—ansible模块应用
ansible 默认提供了很多模块来供我们使用。在 Linux 中，我们可以通过 ansible-doc -l 命令查看到当前 ansible 都支持哪些模块通过ansible-doc -s 模块名 又可以查看该模块有哪些参数可以使用。1.ansible常用的几个模块及其相应的参数设置copy file ron group user yum ...
2019-06-18 14:06:35
177
原创 企业—gitlab私有仓库的搭建
GitLab 是一个用于仓库管理系统的开源项目。使用Git作为代码管理工具，并在此基础上搭建起来的web服务。可通过Web界面进行访问公开的或者私人项目。它拥有与Github类似的功能，能够浏览源代码，管理缺陷和注释。可以管理团队对仓库的访问，它非常易于浏览提交过的版本并提供一个文件历史库。团队成员可以利用内置的简单聊天程序(Wall)进行交流。它还提供一个代码片段收集功能可以轻松实现代码复用。...
2019-06-06 19:07:43
2227
原创 企业—github远程仓库的搭建
登陆https://github.com网站创建一个用户1.新建仓库2.在github上上传key//在主机server1上生成key//将公钥上传在web界面点击settings–>SSH and GPG key将server1上的公钥复制并且点击添加3.在本地添加远程仓库//在web界面查看要添加远程仓库的命令//在本地执行相应命令进行添加，并且保证本地...
2019-06-05 18:15:35
490
原创 企业—git简介部署及其应用
一.git简介1.git基础Git 和其它版本控制系统（包括 Subversion 和近似工具）的主要差别在于 Git 对待数据的方法。 概念上来区分，其它大部分系统以文件变更列表的方式存储信息。这类系统将它们保存的信息看作是一组基本文件和每个文件随时间逐步累积的差异。存储每个文件与初始版本的差异Git 不按照以上方式对待或保存数据.反之，Git 更像是把数据看作是对小型文件系统的一组...
2019-06-05 16:55:27
608
原创 企业—Docker容器之k8s集群
部署如下：部署文档可参考：https://kubernetes.io/zh/docs/setup/independent/install-kubeadm实验环境每台机器 2 GB 或更多的 RAM (如果少于这个数字将会影响您应用的运行内存)2 CPU 核心或更多集群中的所有机器的网络彼此均能相互连接(公网和内网都可以)可以将 SELinux 设置为 permissive 模式(将其...
2019-06-04 20:39:38
358
原创 企业—Docker容器之swarm集群
一.swarm集群高可用简介1.swarmSwarm 在 Docker 1.12 版本之前属于一个独立的项目，在 Docker 1.12 版本发布之后，该项目合并到了 Docker 中，成为 Docker 的一个子命令Swarm是Docker官方提供的一款集群管理工具，其主要作用是把若干台Docker主机抽象为一个整体并且通过一个入口统一管理这些Docker主机上的各种Docker资源。Sw...
2019-06-04 17:38:12
323
原创 企业—Docker容器之haproxy实现Docker容器（nginx）的负载均衡
部署如下：1.添加docker-compose环境变量[root@server1 ~]# lsdocker-compose-Linux-x86_64-1.22.0 [root@server1 ~]# mv docker-compose-Linux-x86_64-1.22.0 /usr/local/bin/[root@server1 ~]# cd /usr/local/bin/[roo...
2019-06-03 19:48:33
276
原创 企业—Docker容器之docker安全
Docker容器的安全性,很大程度上依赖于Linux系统自身,评估Docker的安全性时,主要考虑以下几个方面:Linux内核的命名空间机制提供的容器隔离安全Linux控制组机制对容器资源的控制能力安全。Linux内核的能力机制所带来的操作权限安全Docker程序(特别是服务端)本身的抗攻击性。其他安全增强机制对容器安全性的影响。一.docker安全简介1.命名空间隔离的安全...
2019-06-03 18:51:12
425
原创 企业—Docker容器之数据卷管理器及卷插件
一.docker挂载管理bind mount必须指定host文件系统路径,限制了移植性。docker managed volume 不需要指定mount源。1.正常运行容器会自动生成挂载点，不需要指定挂载源//运行容器//查看挂载点source就是volume在host中的目录,是docker自动为容器生成的目录,如果挂载时指向的已有目录,原有数据会被复制到volume中。...
2019-05-30 22:33:41
174
原创 企业—docker网络之容器之间的互连
1.创建一个bridge模式的网桥,并且查看网桥的ip2.再创建一个人bridge网络，自定义ip和网关发现俩个网络之间的网桥不同那么使用这俩种网络运行的容器之间就是不通的，解决如下：1.使用my_net1运行容器2.使用my_net2运行容器发现俩个容器之间的网络是不通的3.建立俩个容器之间的连接,发现俩个网段不同的容器是可以ping通的docker跨主机网络解决方案...
2019-05-30 17:45:48
325
原创 企业—Docker容器之docker网络
一.Docker网络模式docker的镜像是令人称道的地方,但网络功能还是相对薄弱的部分。docker安装后会自动创建3种网络:bridge、host、none可以使用以下命令查看:二.基本网路配置bridge:docker安装时会创建一个名为 docker0 的Linux bridge,新建的容器会自动桥接到这个接口。如果不指定网络的话默认为bridge默认桥接...
2019-05-30 16:09:14
201
原创 企业—Docker容器之私有仓库registry的创建
一.registry私有仓库简介1.Registry工作原理一次docker pull 或 push背后发生的事情index服务主要提供镜像索引以及用户认证的功能。当下载一个镜像的时候,首先会去index服务上做认证,然后查找镜像所在的registry的地址并放回给docker客户端,docker客户端再从registry下载镜像,在下载过程中 registry会去index校验客户端to...
2019-05-30 11:49:50
387
原创 企业—Docker容器之仓库简介及公共仓库的搭建及其使用
导语：仓库在docker架构里是很重要的一部分。镜像会因为业务的需要以不同类型的方式存在。所以，这么多类型的镜像如果没有一个很好的机制去管理，那么肯定会乱套。好比一生产车间，生产需要各种各样的螺丝钉、齿轮等配件，如果没有一个很好的仓库管理员负责对配件进行管理，那么车间里将乱七八糟。同样的，docker 镜像也需要标准化管理，那么负责这块功能的模块就是Registry。Docker的仓库分为共有...
2019-05-29 20:31:01
924
原创 企业—Docker容器中镜像的构建shell和exec格式的区别
1.下载busybox镜像并且导入本地2.重新编辑dockfile文件,以shell格式编写,并且验证//编写dockerfile文件[root@server1 ~]# cd /tmp/docker/[root@server1 docker]# vim Dockerfile 文件编辑的内容如下：FROM busyboxENV name worldENTRYPOINT echo "...
2019-05-28 20:46:58
772
原创 企业—Docker容器之Dockfile及其镜像的构建和优化
一.Dockfile的简介及其参数介绍1.Dockerfile简介Dockfile是一种被Docker程序解释的脚本，Dockerfile由一条一条的指令组成，每条指令对应Linux下面的一条命令。Docker程序将这些Dockerfile指令翻译真正的Linux命令。Dockerfile有自己书写格式和支持的命令，Docker程序解决这些命令间的依赖关系，类似于Makefile。...
2019-05-28 20:17:04
353
原创 企业—Docker容器ubuntu镜像的简介及其强制退出容器之后的数据恢复
一.ubuntu系统简介在本地测试部署hadoop或者ceph存储集群的时候用的是centos，但是生产环境服务器上的系统都是Ubuntu，运维在按照我们的安装文档从开发测试环境转移到生产环境的时候就会遇到一些centos转Ubuntu的问题。Centos与Ubuntu的使用习惯和命令上还是有很多的不同，下面简单列举一下：centos中新建的非root用户是没有sudo的权限的，如果需要...
2019-05-28 17:07:00
461
原创 企业—Docker简介及其部署及应用（下载本地镜像和创建容器）
一.Docker简介1.Docker简介Docker是2013发起的一个项目，早在2013年，Docker自诞生起，就是整个技术界的明星项目，当时我还在上海实习，就在各种技术媒体上看到了Docker的介绍文章，很多技术媒体宣称docker是一项技术突破，并且是一次技术革命，可惜当时由于本身是一个Android Framework开发者，眼界很低，对于这种OS虚拟化技术有点不屑一顾，而今转后台后...
2019-05-28 12:04:13
390
原创 企业—hadoop yarn组件介绍及其yarn配置
一.yarn简介1.Yarn的产生单点故障扩展效率低资源利用率高降低运维成本方便数据共享多计算框架支持2.Yarn的架构图Yarn运行流程的描述:1由client端向ResourceManager 发送job请求，该job请求需要在java环境下2ResourceManager 也就是namenode节点启动一个Contariner（容器）用于运行Applicatio...
2019-05-27 11:56:22
221
原创 企业—habor docker镜像仓库的搭建
一.Harbor核心组件解释Proxy：他是一个nginx的前端代理，代理Harbor的registry,UI, token等服务。db：负责储存用户权限、审计日志、Dockerimage分组信息等数据。UI：提供图形化界面，帮助用户管理registry上的镜像, 并对用户进行授权。UI：提供图形化界面，帮助用户管理registry上的镜像, 并对用户进行授权。UI：提供图形化界面，帮...
2019-05-25 22:29:39
3914
原创 企业—hadoop+zookeeper+yarn组件高可用的简介及其部署
一.技术背景影响HDFS集群不可用主要包括以下两种情况：一是NameNode机器宕机，将导致集群不可用，重启NameNode之后才可使用；二是计划内的NameNode节点软件或硬件升级，导致集群在短时间内不可用。 为了解决上述问题，Hadoop给出了HDFS的高可用HA方案：HDFS通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Act...
2019-05-23 21:00:15
659
原创 企业—hadoop简介及其部署
一.hadoop简介及其原理HDFS原理介绍HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文翻版的。1.HDFS的组成：NameNode：Master节点（也称元数据节点），是系统唯一的管理者。负责元数据的管理(名称空间和数据块映射信息);配置副本策略；处理客户端请求DataNode：数据存储节点(...
2019-05-22 18:14:22
1117
原创 企业—Mfs高可用部署（pacemaker+corosync+iscsi+fence）
由于MFS自身的Mfslogger本身的的不可靠性,这里的高可用是对于单节点mfs master来进行配置的,mfs master 处理用户的挂载请求,并且分发数据,很容易成为节点的故障所在; 这里来配置MFS+pacemaker+corosync+iscsi集群的高可用性 本次部署是基于MFS文件系统环境已经搭建好，具体可参考博文：https://mp.csdn.net/wei...
2019-05-21 21:04:46
325
原创 企业—MFS分布式文件系统简介及其部署
一.MFS分布式文件系统简介1.简介mooseFS(moose驼鹿)是一款网络分布式文件系统，它把数据分散到多台服务器上，但对于用户来讲，看到的只是一个源.MFS也像其他类unix文件系统，包含了层级结构（目录树），存储着文件属性（权限，最后访问和修改时）可以创建特殊的文件（块设备，字符设备，管道，套接字）符号链接.MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器...
2019-05-20 20:13:12
1046
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人