- 博客(156)
- 收藏
- 关注
RSS订阅原创 Nginx作为高性能的HTTP和反向代理web服务器的基础知识
1.什么是nginx？Nginx (engine x) 是一个高性能的HTTP和反向代理web服务器，同时也提供了IMAP/POP3/SMTP服务Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru站点（俄文：Рамблер）开发的第一个公开版本0.1.0发布于2004年10月4日其将源代码以类BSD许可证的形式发布，因它的稳定性、丰富的功能集、示例配置文件和低系统资源的...
2019-11-27 19:47:42
578
原创 Haproxy（2）——动静分离和读写分离
搭建环境实验环境：rhel7.5主机信息作用server1(172.25.8.1)haproxyserver2(172.25.8.2)读的功能server3(172.25.8.3)写的功能真机测试#1 Haproxy设置黑名单当某主机被添加到黑名单里面的时候，报错让他转移到其他的页面连接[root@server1 ~]# vim /etc...
2019-11-07 20:12:50
465
原创 企业级Hadoop大数据平台实战（4）——搭建hdfs和yarn模块
搭建环境实验环境:RHEL7.5 selinux and iptables is disabledHadoop 、jdk、zookeeper 程序使用 nfs 共享同步配置文件软件版本:hadoop-3.2.1.tar.gz jdk-8u181-linux-x64.tar.gz#将server5和server9调成2G内存,并且是namenode客户端：server6/7/...
2019-11-07 20:12:38
348
原创 企业级Hadoop大数据平台实战（3）——Hadoop分布式的实现
#1 搭建实验环境实验环境：rhel7.5主机信息作用server5(172.25.8.5)Namenode（master）server6(172.25.8.6)Datanode(slave)server7(172.25.8.7)Datanode(slave)真机（172.25.8.250）测试Hadoop篇章的第二篇实现了单机版的hadoo...
2019-11-07 20:12:26
500
原创 企业级Hadoop大数据平台实战（2）——Hadoop单机版和伪分布式的实现
1.基础知识Hadoop的架构核心，Hadoop主要有两个层次，即：加工/计算层(MapReduce)和存储层(Hadoop分布式文件系统)除了上面提到的两个核心组件，Hadoop的框架还包括以下两个模块：Hadoop通用：这是Java库和其他Hadoop组件所需的实用工具Hadoop YARN ：这是作业调度和集群资源管理的框架Hadoop Streaming 是一个实用程序，它允许...
2019-11-07 20:10:25
177
原创 企业级Hadoop大数据平台实战（1）——基础知识说明
#1 hadoop定义Hadoop是一个由Apache基金会所开发的分布式系统基础架构用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFSHDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上而且它提供高吞吐量（...
2019-11-07 20:10:14
792
原创 Git版本管理系统实战（5）——gitlab 忘记了root密码，无法登陆gitlab
gitlab重置root的密码环境：gitlab 忘记了root密码，无法登陆gitlab解决：gitlab-ctl start 保证gitlab处于启动状态，&保证redis处于启动状态gitlab-rails console production 进入gitlab串口环境下irb(main):001:0>user = User.where(id: 1).first 定位...
2019-11-07 20:09:39
722
原创 ELK（4）——环境部署及ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台
3台虚拟机内存：2G，cpu:2#6.6版本#ELK stack:是软件集合elksticsearch\logstash\kibana的集合，都是开源软件#这是集群cluster，若为单机节点，直接起；一个master 两个：worker node搭建实验环境3台虚拟机内存：2G，cpu:2主机信息作用server1(172.25.8.1)master节点...
2019-11-07 20:06:14
611
原创 ELK（3）——Logstash6.x 入门
简介Logstash是一个开源的服务器端数据处理管道，可以同时从多个源获取数据。面对海量的日志量，rsyslog和sed，awk等日志收集，处理工具已经显的力不从心。logstash是一个整合型的框架，可以用以日志的收集，存储，索引构建（一般这个功能被ES取代）。工作机制logstash的服务器端从redis/kafka/rabbitmq等（broker）消息队列获取数据。一条数据一条数据...
2019-11-07 20:05:37
171
原创 ELK（2）——ElasticSearch节点(角色)类型node.master和node.data
一般地，ElasticSearch集群中每个节点都有成为主节点的资格，也都存储数据，还可以提供查询服务。这些功能是由两个属性控制的（node.master和node.data）。默认情况下这两个属性的值都是true。在生产环境下，如果不修改ElasticSearch节点的角色信息，在高数据量，高并发的场景下集群容易出现脑裂等问题，下面详细介绍一下这两个属性的含义以及不同组合可以达到的效果。一、...
2019-11-07 20:05:06
675
原创 ELK（1）——基础理论知识
系统概要我们常说的ELK日志收集系统，完整的应该称为：ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件,目前称为：Elastic Stack，其是ELK Stack 在 5.0 版本加入 Beats 套件后的新称呼。新增得FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上...
2019-11-07 20:04:47
215
原创 MFS分布式文件系统实战（5）——mfs重新启动后，将资源恢复成启动状态
#1 将server2重新挂载#打开server3的存储共享#重启server1的iscsid服务登陆#将其资源组设置成自启动服务#打开集群服务#打开server4的服务#打开fence服务...
2019-11-07 20:03:44
170
原创 MFS分布式文件系统实战（4）——MFS高可用（pacemaker+corosync+vmfence+mfsmaster）
1.什么是pacemaker?Pacemaker是一个集群资源管理器。它利用集群基础构件（OpenAIS 、heartbeat或corosync）提供的消息和成员管理能力来探测并从节点或资源级别的故障中恢复，以实现群集服务（亦称资源）的最大可用性。它可以做几乎任何规模的集群，并带有一个强大的依赖模式，让管理员能够准确地表达群集资源之间的关系（包括顺序和位置）。几乎任何可以编写的脚本，都可...
2019-11-07 20:03:28
574
原创 MFS分布式文件系统实战（3）———MooseFS异常关闭，重新启动服务会导致失败
问题：关闭电脑后，重新打开,发现mfsmaster服务无法启动问题原因：因为异常关闭mfsmaster后，导致imfsmaster和moosefs-chunkservers数据不同步，以至于导致的mfsmaster服务无法启动；解决办法1：#1查看日志，报错信息：输入：vim /var/log/messages报错信息：cat’t find metadata.mfs - try usi...
2019-11-07 20:01:25
972
原创 MFS分布式文件系统实战（2）——搭建基本的MFS系统（client端+master端+chunk端）
1.搭建实验环境实验环境：rhel7.3主机信息作用sevrer1(172.25.8.1)mfs master节点sevrer2(172.25.8.2)mfs chunk节点sevrer3(172.25.8.3)mfs chunk节点真机（172.25.8.250）mfs client客户端9421 # 对外的连接端口9420 ...
2019-11-07 20:01:16
373
原创 MFS分布式文件系统实战（1）——基础知识
1.MFS概述MooseFS是一个具有容错性的网络分布式文件系统。它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源常规特征对标准的文件操作来说，mfs用起来跟其它的类unix系统类似：1、分层次的结构（目录树）2、存储POSIX文件属性（权限、最后访问和修改时间）3、支持特殊文件（块和字符设备、管道以及套接字）4、符号连接和硬连接5、对文件系统的访问可以通过IP...
2019-11-07 20:01:02
128
原创 Git版本管理系统实战（4）——gitlab(搭建私有仓库)
github是搭建共有仓库1.gitlab的简介GitLab 是一个用于仓库管理系统的开源项目，使用Git作为代码管理工具，并在此基础上搭建起来的web服务安装方法是参考GitLab在GitHub上的Wiki页面2.git、gitlab、github的区别和SVN类似，Git是一个版本控制系统（Version Control System，VCS）不同的是SVN为集中式版本控制系统,为...
2019-11-07 20:00:35
515
原创 Git版本管理系统实战(3)——Git本地仓库的搭建与使用
搭建实验环境实验环境：redhat7.5主机信息作用内存：cpuserver1(172.25.8.1)搭建git仓库4G:4server2(172.25.8.2)2G:2(1)准备两台新的虚拟机[root@foundation8 images]# qemu-img create -f qcow2 -b rhel7.5-1.qcow2 redhat1 ...
2019-11-07 20:00:22
227
原创 Git版本管理系统实战(2)——Git命令详解
Git常用命令详解命令名称含义git add将工作区的从修改提交到暂存区git commit将暂存区的修改提交到当前分支git reset回退到某一版本git stash保存某次修改git pull从远程更新代码git push将本地代码更新到远程分支上git reflog查看历史命令git status...
2019-11-07 20:00:05
164
原创 Git版本管理系统实战(1)——基础理论知识
1.什么是git？GIT （分布式版本控制系统）Git是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。Git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。Torvalds 开始着手开发 Git 是为了作为一种过渡方案来替代 BitKe。开源的最先进的分布式版本控制系统，没有之一用以高效、高速的...
2019-11-07 19:59:51
145
原创 原创 SaltSack自动化运维（14）——在saltstack工具中添加自己想要的模块
saltstack这个自动化运维工具中具有大量的模块和方法实现自动化运维其实就是调用工具中的模块和方法来实现自动化部署
2019-11-07 19:59:20
108
原创 SaltSack自动化运维（12）——saltstack建立top-master主机：实现大规模的集群管理（topmaster+（syndic+master）+minion1+minion2）
1.为什么要使用topmaster？
2019-11-07 19:58:00
125
原创 LNMP架构之动态缓存（nginx +tomcat+memcache）
以下所有的实操是在rhel7.3上关于tomcatTomcat是Apache软件基金会（Apache Software Foundation）的Jakarta项目中的一个核心项目，由Apache、Sun和其他一些公司及个人共同开发而成。Tomcat是一个轻量级应用服务器。java程序写的网站用tomcat+jdk来运行。tomcat是一个中间件，真正起作用的，解析java脚本的是jdk...
2019-11-07 19:55:53
82
原创 zabbix监控apache
以下所有的实操都是在rhel7.3上zabbix简介zabbix（[`zæbiks]）是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。zabbix能监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix由2部分构成，zabbix server与可选组件zabbix agent。zabbi...
2019-11-07 19:55:40
428
原创 zabbix监控nginx，mysql，java
zabbix 支持的主要监控方式（1）agent代理程序 在Agent监控方式下，zabbix-agent会主动收集本机的监控信息并通过TCP协议与zabbix-server传递信息。Agent 监控方式分为主动和被动模式。在被动模式下，zabbix-agent监听10050端口，等待zabbix-server的监控信息收集 信息请求；在主动模式下，zabbix-agent收集监控信...
2019-11-07 19:55:29
131
原创 redis实现mysql的数据缓存
1.在base2(nginx+php)上配置nginx和php(这里的nginx只是提供了负载均衡，所以版本要求不高)[root@base2 ~]# killall redis-server[root@base2 ~]# lsgearmand-1.1.12-18.el7.x86_64.rpmphp-fpm-5.4.16-46.el7.x86_64.rpmlibevent-devel-2...
2019-11-07 19:55:11
157
原创 redis的集群部署
redis简介:redis 是一个高性能的 key-value 数据库。 redis 的出现,很大程度补偿了memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了 Python,Ruby,Erlang,PHP 客户端,使用很方便。Redis 的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”);...
2019-11-07 19:55:02
63
原创 redis的主从复制
以下的所有实操都是在redhat7.3上配置环境server1172.25.70.1masterserver2172.25.70.2slaveserver3172.25.70.3slave1.配置一主二从环境在server1上[root@server1 redis-5.0.3]# mkdir redis[root@server1 redis-5...
2019-11-07 19:52:42
91
原创 转载————超详细！使用 LVS 实现负载均衡原理及安装配置详解
负载均衡集群是 load balance 集群的简写，翻译成中文就是负载均衡集群。常用的负载均衡开源软件有nginx、lvs、haproxy，商业的硬件负载均衡设备F5、Netscale。这里主要是学习 LVS 并对其进行了详细的总结记录。一、负载均衡LVS基本介绍LB集群的架构和原理很简单，就是当用户的请求过来时，会直接分发到Director Server上，然后它把用户的请求根据设置好的调...
2019-11-07 19:44:46
167
原创 ansible自动化运维（3）——编写ansible的playbook文件
以下所有的实验来都是在redhat7.3上1.playbook简介Playbook与ad-hoc相比,是一种完全不同的运用playbook是一种简单的配置管理系统与多机器部署系统的基础，且非常适合于复杂应用的部署playbook中可以编排有序的执行过程，甚至于做到在多组机器间来回有序的执行特别指定的步骤，并且可以同步或异步的发起任务使用playbook可以方便的重用这些代码，可以移植...
2019-10-26 13:16:00
212
原创 SaltSack自动化运维（7）——配置nginx的自动化部署（从基本部署到各项优化）
1.为什么要配置nginx的自动化部署？nginx在实际生产环境当中意义巨大，因此自动化部署nginx是必须要会的！！！2.具体过程如下已经做过apache的自动化部署了，今天接着来学习nginx打开4台虚拟机的服务[root@server5 salt]# mkdir nginx[root@server5 salt]# mkdir pkgs[root@server5 sal...
2019-10-18 04:56:44
115
原创 SaltSack自动化运维（6）——SaltStack配置文件详解
1.master配置文件详解saltstack大部分配置都已经指定了默认值，只需要根据实际需求进行修改就行 vim /etc/salt/master2. minion配置文件详解vim /etc/salt/minion...
2019-10-18 04:56:35
103
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人