- 博客(199)
- 收藏
- 关注
RSS订阅原创 Linux企业实战（六十三）——Hadoop（五）
Hadoop+Zookeeper实验背景：在典型的 HA 集群中,通常有两台不同的机器充当 Namenode（在接下来简称为NN）。在任何时间,只有一台机器处于Active 状态;另一台机器是处于 Standby 状态。Active NN 负责集群中所有客户端的操作;而 Standby NN 主要用于备用,它主要维持足够的状态,如果必要,可以提供快速的故障恢复。为了让 Standby NN 的状态和 Active NN 保持同步,即元数据保持一致,它们都将会JournalNodes 守护进程通
2021-01-21 00:05:48
299
1
原创 Linux企业实战（六十一）——Hadoop（三）
HDFS之完全分布式部署完全分布式的部署实验环境：主机角色server2namenodeserver3dadanodeserver4dadanodeserver5dadanode步骤一：首先关闭server2上之前的伪分布式步骤二：各节点安装nfs，并且在server2上进行设置注意：这里我们需要考虑如何让新加的结点，同步之前结点的数据?这里我们采用nfs来完成#在所有节点上安装nfsyum install -y nfs-utils
2021-01-10 21:23:49
198
原创 Linux企业实战（六十）——Hadoop（二）
单机版部署Hadoop实验环境：在server2上部署步骤一：创建普通用户，解压软件包，创建软链接，编辑hadoop环境变量文件步骤二：运行hadoop，进行测试[bdkl@server2 bin]$ ./hadoopUsage: hadoop [OPTIONS] SUBCOMMAND [SUBCOMMAND OPTIONS] or hadoop [OPTIONS] CLASSNAME [CLASSNAME OPTIONS] where CLASSNAME is a us
2021-01-10 00:56:03
307
原创 Linux企业实战（五十九）——Hadoop（一）
Hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程
2021-01-05 23:24:38
184
原创 Linux企业实战（五十七）——分布式文件系统MFS（二）
恢复客户端删除的文件实验环境：本文的实验环境是在Linux企业实战（五十六）——分布式文件系统MFS（一）的基础上来进行的步骤一：删除在客户端server10中mfs目录中的文件步骤二：创建元数据目录并进行挂载mount #查看挂载信息步骤三：进入挂载元数据的目录中，进入其回收站，查找之前删除的文件步骤四：对数据进行恢复给chunkserver创建标签...
2020-12-29 01:03:20
176
原创 Linux企业实战（五十六）——分布式文件系统MFS（一）
一、MFS简介MooseFS是一款Linux下的开源存储系统，是OpenStack开源云计算项目的子项目之一，被称为对象存储，提供了强大的扩展性、高可靠性和持久性。它能够将文件分布存储于不同的物理机器上，对外却提供的是一个透明的接口的存储资源池。它还具有在线扩展、文件切块存储、节点无单点故障、读写效率高等特点。MFS分布式文件系统由元数据服务器(Master Server)、元数据日志服务器(Metalogger Server)、数据存储服务器(Chunk Server)、客户端(Client)
2020-12-24 00:30:37
494
原创 Linux企业实战（五十五）——ELK日志分析平台（五）
xpack简介在配置好es集群之后，可以选择开启安全认证功能。X-Pack 提供以下几个级别保护elastic集群用户验证；授权和基于角色的访问控制；节点/客户端认证和信道加密；审计。部署过程实验目的：为es集群开启 xpack安全认证，并在logstash和Kibana开启相应的用户认证。实验环境：主机角色server2es的master 节点server9es主机server10es主机server3logstash+kib
2020-12-23 17:15:55
131
原创 Linux企业实战（五十四）——ELK日志分析平台（四）
kibana 实现数据可视化kibana简介kibana，elasticsearch项目的产品之一。它是数据可视化工具，提供网页与人交互，将查询语句交给ES处理并将结果可视化。Kibana 核心产品搭载了一批经典功能：柱状图、线状图、饼图、旭日图，等等。也可以将地理数据融入任何地图精选的时序性 UI，对您Elasticsearch 中的数据执行高级时间序列分析。利用 Graph 功能分析数据间的关系Kibana 开发工具为开发人员提供了多种强大方法来帮助其与 Elastic Stac
2020-12-22 23:25:28
101
原创 Linux企业实战（五十三）——ELK日志分析平台（三）
logstash数据采集Logstash简介Logstash是一个开源的服务器端数据处理管道。Logstash拥有200多个插件，能够同时从多个来源采集数据，转换数据，然后将数据发送到您最喜欢的 “存储库” 中（大多都是 Elasticsearch）。Logstash管道有两个必需的元素，输入和输出，以及一个可选元素过滤器。输入：采集各种样式、大小和来源的数据Logstash 支持各种输入选择 ，同时从众多常用来源捕捉事件；能够以连续的流式传输方式，轻松地从您的日志、指标、
2020-12-22 01:26:43
202
原创 Linux企业实战（五十二）——ELK日志分析平台（二）
elasticsearch节点角色和节点优化elasticsearch节点角色Master：主要负责集群中索引的创建、删除以及数据的Rebalance等操作。Master不负责数据的索引和检索，所以负载较轻。当Master节点失联或者挂掉的时候，ES集群会自动从其他Master节点选举出一个Leader。Data Node：主要负责集群中数据的索引和检索，一般压力比较大。Coordinating Node：原来的Client node的，主要功能是来分发请求和合并结果
2020-12-20 19:26:28
101
原创 Linux企业实战（五十一）——ELK日志分析平台（一）
ELK是什么ELK Stack 是Elasticsearch、Logstash、Kiban三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。ELK Stack成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点：处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用；配置简易上手。Elasticse
2020-12-20 01:51:15
220
1
原创 Linux企业实战（五十）——持续集成与持续交付（七）
Jenkins+Ansible的使用实验环境主机角色server2gitlab仓库server10Jenkins主机和Ansible主机server9需要被远程控制的主机步骤一：在server10上安装好ansibleyum install -y ansible步骤二：在gitlab仓库中新建一个项目，并将其克隆至本地，进行配置cd playbook/vim playbook.yml #创建yml文件vim
2020-12-17 23:14:42
109
原创 Linux企业实战（四十九）——持续集成与持续交付（六）
Jenkins使用tls方式连接docker构建主机实验环境主机角色server1harbor仓库server2gitlab仓库server10Jenkins主机server9docker主机（新添加）说明：实验环境接着上一篇博客的实验环境继续我们在之前的实验中经docker主机和Jenkins主机部署在同一台虚拟机上，而现实的生产环境中一般不会这样进行部署，这样会增加Jenkins主机的负担。所以在这里我们新增一台docker主机步骤一：在d
2020-12-16 22:41:21
115
原创 Linux企业实战（四十八）——持续集成与持续交付（五）
使用 jenkins自动构建docker镜像，并上传至harbor仓库实验环境：主机角色server1harbor仓库server2gitlab仓库server10jenkins主机，docker主机说明：本次实验环境，是在上一篇博客的基础上来进行的Linux企业实战（四十七）——持续集成与持续交付（4）步骤一：在jenkins主机上安装docker插件步骤二：进入之前在jenkins上创建的项目test1，修改其配置注意：这里
2020-12-14 18:40:12
107
原创 Linux企业实战（四十七）——持续集成与持续交付（四）
CI/CD简介CI(Continuous integration，中文意思是持续集成)是一种软件开发时间。持续集成强调开发人员提交了新代码之后，立刻进行构建、（单元）测试。根据测试结果，我们可以确定新代码和原有代码能否正确地集成在一起。CD(Continuous Delivery， 中文意思持续交付)是在持续集成的基础上，将集成后的代码部署到更贴近真实运行环境(类生产环境)中。比如，我们完成单元测试后，可以把代码部署到连接数据库的Staging环境中更多的测试。如果代码没有问题，可以继续手动部署到生
2020-12-12 23:27:36
165
原创 Linux企业实战（四十五）——持续集成与持续交付（二）
git工具（一）（1）什么是gitgit是一个开源的分布式版本控制系统，可以有效、高速地处理从很小到非常大的项目版本管理。git 是 Linus Torvalds 为了帮助管理 Linux 内核开发而开发的一个开放源码的版本控制软件。（2）git的特点速度快、灵活；简单的设计；对非线性开发模式的强力支持（允许成千上万个并行开发的分支）；完全分布式；有能力高效管理类似 Linux 内核一样的超大规模项目（速度和数据量）。（3）git和其他版本控制器的差异直接记录快照，而非差异比
2020-12-02 00:35:09
120
原创 Linux企业实战（四十五）——持续集成与持续交付（一）
什么是版本控制系统（1）概念版本控制是一种记录一个或若干文件内容变化，以便将来查阅特定版本修订情况的系统。你可以对任何类型的文件进行版本控制。版本控制（Revision control）是一种在开发的过程中用于管理我们对文件、目录或工程等内容的修改历史，方便查看更改历史记录，备份以便恢复以前的版本的软件工程技术。（2）版本控制的作用有了它你就可以将某个文件回溯到之前的状态，甚至将整个项目都回退到过去某个时间点的状态，你可以比较文件的变化细节，查出最后是谁修改了哪个地方，从而找出导致怪异问题出
2020-11-30 23:49:16
94
原创 Linux企业实战（四十四）——网络基础（2）
1、两种传输层的协议TCP/UDP（1）TCP协议TCP协议是一种面向有连接的、可靠的、基于字节流的传输层通信协议。这里所谓的面向连接接即一定是一对一才能连接，而不能是一个主机同时面向多个主机发消息，一对多是无法做到的；而所谓的可靠是指，无论在网络链路中出现了怎样的链路变化，TCP都可以保证一个报文一定能够到达接收端；字节流，因为消息是没有边界的，无论消息有多大都可以进行传输。并且消息是有序的，当前一个消息没有收到的时候，即使收到了后面的字节，即使这样也不会交给应用层来处理，同时对重复的报文
2020-11-16 22:11:39
92
原创 Linux企业实战（四十三）——网络基础（1）
一、网络基础知识1、OSI参考模型在这一模型中，每一个分层都接受由它下一层所提供的特定服务，并且负责为自己的上一层提供特定的服务。上下层之间进行交互时所遵循的约定叫做“接口”。同一层之间的交互所遵循的约定叫做“协议”。OSI参考模型各层的分工OSI七层各层的功能（1）应用层：应用层是OSI标准模型的最顶层，是直接为应用进程提供服务的。其作用是在实现多个系统应用进程相互通信的同时，完成一系列业务处理所需的服务。包括文件传输、电子邮件远程登录和远端接口调用等协议。（2）表示层：表示层向上对应用进
2020-11-13 15:29:22
71
原创 Linux企业实战之监控（十）——使用 Grafana 可规化工具美化Prometheus监控数据显示效果
使用 Grafana 可规化工具美化监控数据显示效果1、安装并配置Grafana步骤一：安装Grafanayum install -y ./grafana-5.4.3-1.x86_64.rpmgrafana-cli plugins install grafana-piechart-panelsystemctl restart grafana-server 步骤二：在浏览器中访问http://http://192.168.0.102:3000/login,配置数据源弹出上
2020-09-21 22:34:50
234
原创 Linux企业实战之监控（九）——Prometheus
Prometheus1、Prometheus 概述Prometheus（普罗米修斯）是一套开源的监控&报警&时间序列数据库的组合，起始是由SoundCloud 公司开发的。现在最常见的 Docker、Mesos、Kubernetes 容器管理系统中，通常会搭配Prometheus 迚行监控。Prometheus 基本原理是通过 HTTP 协议周期性抓取被监控组件的状态，这样做的好处是任意组件只要提供 HTTP 接口就可以接入监控系统，丌需要任何 SDK 戒者其他的集成过程。这样做非常
2020-09-20 23:54:46
220
1
原创 Linux企业实战（四十二）——Haproxy（4）
Haproxy实现负载均衡—读写分离1、在haproxy端写入读写分离策略vim /etc/haproxy/haproxy.cfg2、在后端服务器在server2和server3中进行配置在默认发布目录下放入index.php(选择图片的静态页面)和upload_file.php（上传图片的动态页面），存放上传图片的目录upload目录。cd /var/www/htmlmkdir uploadchmod 777 uploadcd /var/www/htmlvim index.ph
2020-09-18 01:04:58
65
1
原创 Linux企业实战（四十）——Haproxy（2）
Haproxy实现负载均衡—动静分离1、动态资源和静态资源静态资源：可以理解为前端的固定页面，这里面包含HTML、CSS、JS、图片等等，不需要查数据库也不需要程序处理，直接就能够显示的页面，如果想修改内容则必须修改页面，但是访问效率相当高。动态资源：需要程序处理或者从数据库中读数据，能够根据不同的条件在页面显示不同的数据，内容更新不需要修改页面但是访问速度不及静态页面。2、在Haproxy上实现动态资源和静态资源的分离步骤一：在haproxy端配置动静分离策略vim /etc/hapr
2020-09-15 22:36:12
103
1
原创 Linux企业实战（三十九）——Haproxy（1）
Haproxy实现反向代理及负载均衡1、Haproxy介绍Haproxy是一个特别适用于高可用性环境的TCP/HTTP开源的反向代理和负载均衡软件。在七层负载均衡方面的功能很强大(支持cookie track, header rewrite等等)，支持双机热备，支持虚拟主机，支持健康检查，同时还提供直观的监控页面，可以清晰的监控服务集群的运行状况。2、Haproxy的配置HAproxy的配通过程分为三个主要部分：命令行参数，这是最优先的；global (全局)段，设置进程级参数;代理配置
2020-09-14 23:15:13
325
1
原创 Linux企业实战之监控（六）——Zabbix（6）
zabbix通过mail发送告警信息到运维人员的QQ邮箱以及结合第三方平台，将告警信息转发给运维人员当我们部署好zabbix监控，为监控主机添加各种监控项完毕之后，如果一个主机出了问题，我们怎么能在第一时间获得报警信息，然后及时处理？1、zabbix通过mail发送告警信息到运维人员的QQ邮箱可以让zabbix通过邮件的方式把告警信息发送给我们步骤一：配置zabbix-server服务器能够上网，安装邮件并测试能够成功发送yum install mailx -ynetstat -antlp
2020-09-12 18:58:30
268
原创 Linux企业实战之监控（五）——Zabbix（5）
1、监控http服务httpd是zabbix自带的监控模块步骤一：在server2中安装http在server2中安装http步骤二：在web界面依次点击配置、主机、server2、模版、添加、Template App HTTP service、更新步骤三：在web界面依次点击配置、模版、Template App HTTP service...
2020-09-12 01:46:28
418
原创 Linux企业实战之监控（三）——Zabbix（3）
zabbix监控配置自动发现1、自动发现规则自动发现规则主要针对企业批量添加主机，如果使用传统办法去单个添加设备、分组、项目、图像…这是一个任务量巨大的一个工程，由此引入自动发现规则。自动发现规则由服务端主动发起，Zabbix Server开启发现进程，定时扫描局域网中IP。服务器、设备，实现自动发现主机、自动将主机添加到主机组、自动加载模板、自动创建项目(item)、自动创建图像等功能。...
2020-09-09 20:18:56
212
原创 Linux企业实战之监控（一）——Zabbix（1）
1、什么是zabbix我们监控的初衷就是当某些指标不符合我们的需求时，我们能够在第一时间发现异常。所以，监控工具需要定期的对被监控主机进行检查、信息收集等操作，当被监控主机出现异常时，能够及时报警、通知管理员，并且需要记录这些异常，以便我们分析这些数据，查漏补缺。那么。一个监控工具就应该具备采集信息、存储信息、展示信息、报警通知等功能，而zabbix就可以做到这些。除了zabbix，你可能还听说过cacti、nagios、 ganglia等类似的监控系统，但是此处，我们只聊zabbix。2、zabbix
2020-09-07 20:04:15
262
原创 Linux企业实战之自动化运维工具（二十二）——Ansible（16）
playbook（ansible-过滤器）1、过滤器是什么过滤器是一种能够帮助我们处理数据的工具，其实ansible中的过滤器功能来自于jinja2模板引擎，我们可以借助jinja2的过滤器功能在ansible中对数据进行各种处理，而上例中的upper就是一种过滤器， 这个过滤器的作用就是将小写字母变成大写。当我们想要通过过滤器处理数据时，只需要将数据通过管道符传递给对应的过滤器即可。当然，过滤器不只有upper，还有很多其他的过滤器，这些过滤器有些是jinja2内置的，有些是ansible特有的
2020-09-04 00:37:13
90
原创 Linux企业实战之自动化运维工具（二十）——Ansible（14）
playbook（判断）when关键字绝大多数语言中，都使用if作为条件判断的关键字，而在ansible中，条件判断的关键字是when，我们可以使用when关键字为任务指定条件，条件成立，则执行任务，条件不成立，则不执行任务。只输出大于1的数字在ansible中，我们可以使用如下比较运算符== :比较两个对象是否相等，相等为真!= :比较两个对象是否不等，不等为真> : 比较两个值的大小，如果左边的值大于右边的值，则为真< :比较两个值的大小，如果左边的值小于右边
2020-08-30 23:00:50
221
原创 Linux企业实战之自动化运维工具（十九）——Ansible（13）
playbook（循环）我们在编写playbook的时候，不可避免的要执行一些重复性操作，比如指安装软件包，批量创建用户，操作某个目录下的所有文件等。正如我们所说，ansible一门简单的自动化语言，所以流程控制、循环语句这些编程语言的基本元素它同样都具备。首先编辑一下我们的ansible清单文件with_items如果我们不想从返回的信息列表中循化，而想要循环自己定义的列表，可以使用以下方式也可以这样写---- hosts: testB remote_user:
2020-08-26 20:45:36
164
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人