- 博客(79)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 Hadoop,HDFS原理入门
Hadoop概述 - Apache Hadoop官方定义是：Hadoop项目是一套可靠的，可扩展的，支持分布式计算的开源软件。 Hadoop的设计规模从单一服务器到数千台机器，每个都提供本地计算和存储，框架本身提供计算机集群高可用的服务而不是依靠硬件来提供高可用性。 Hadoop是一个基础框架，允许用简...
2020-09-21 14:19:55
915
原创 巡检脚本 全面
#!/bin/bash# 设置检测环境变量。source /etc/profileexport LC_ALL=CTMP_FILE=/tmp/check_tmp_fileCHECK_ID=$(id|sed -e 's/(.*$//' -e 's/^uid=//')if [ $CHECK_ID -ne 0 ]then echo -e "\t你不是root用户！！"exit 0...
2019-11-19 10:02:12
450
1
原创 实现一套灰度发布系统需要考虑哪些问题？
仔细考虑一下灰度发布系统要达到哪些目的，基本就能有答案了。需要注意的是，客户端应用（无论PC端还是移动端）的灰度发布要比Web应用的灰度发布更为复杂，因为应用运行在用户持有的终端上，数据采集和回滚都更为困难（但可采集的数据类型要更加丰富。注：本人缺乏移动客户端产品的经验，下述内容可能不适用于移动客户端产品。我所理解的灰度发布系统，主要任务是从产品用户群中按照一定策略选取部分用户，让他们先行体...
2019-11-19 09:48:09
668
原创 服务器常见页面访问返回错误信息
常见的400 错误请求 — 请求中有语法问题，或不能满足请求。404 找不到 — 服务器找不到给定的资源；文件不存在500 内部错误 — 因为意外情况，服务器不能完成请求 或者出问题了2xx 成功200 正常；请求已完成。201 正常；紧接 POST 命令。202 正常；已接受用于处理，但处理尚未完成。203 正常；部分信息 — 返回的信息只是一部分。204 正...
2019-11-15 13:59:21
1525
原创 16个最佳软件配置管理工具
（2019年为SCM工具）配置管理（CM）是一种系统工程方法，用于在产品的整个生命周期内建立和维持产品的性能，功能和物理属性与其设计，要求和操作信息的一致性。它们为您的组织带来了成本效益和更好的时间管理。当今市场上充斥着各种配置管理工具。以下是精选的16种精选配置管理软件的列表，这些软件具有流行的功能和最新的下载链接。此比较列表包含开源和商业工具。1）CFEngine配置工具CFEngi...
2019-11-09 09:13:15
15480
原创 Zabbix监控web访问量Pv与Uv
1、首先安装完zabbix监控、详细安装请看以下链接安装zabbix2、首先要监控web pv和uv 访问量、点击量编写脚本并加执行权限vim /etc/zabbix/pv_uv.sh#/bin/bashcase $1 inuv|UV)cat /var/log/httpd/access_log |awk ‘{print $1}’|sort|uniq|wc -l;;pv|PV)...
2019-10-24 14:13:31
810
原创 Hbase表迁移-元数据逆向恢复
Hbase迁移方法较多，本次使用的是逆向恢复，即直接将hbaes数据目录get到本地，并put到新集群的hdfs目录下，并进行元数据恢复，简单粗暴，以下为详细步骤在源集群上将hbase表整个目录get到本地磁盘hdfs dfs -get /apps/hbase/data/data/namespace/tablename 或者hadoop fs -copyToLocal /apps/hbase/data/data/namespace/tablename 将本地磁盘当前目录下的数据put到目标
2021-07-27 16:03:45
371
转载 HBase——Snapshot（快照）
一. 基于Hbase snapshot数据快速备份方法1)创建快照(查看快照->查看快照snapshot命令相关参数->创建快照—>查看快照)查看snapshothbase(main):002:0> list_snapshotsSNAPSHOT TABLE + CREATION TIME0 row(s) in 0.0290 seconds查看help
2021-04-21 11:32:53
2289
原创 ceph 1 pool(s) have non-power-of-two pg_num
执行ceph –s 发现集群状态并非ok，具体信息如下：[ceph-admin@ceph-node1 cluster]$ ceph -wcluster:id: a2e7e83b-8319-4d28-957f-27c8d7b62fa8health: HEALTH_WARN1 pool(s) have non-power-of-two pg_num由于是新配置的集群，只有一个pool$ sudo ceph osd lspools0 rbd,查看rbd pool的PGS$ sudo
2020-11-23 15:31:55
2306
原创 Ceph日常运维管理
Ceph日常运维管理集群监控管理集群整体运行状态[root@cephnode01 ~]# ceph -scluster:id: 8230a918-a0de-4784-9ab8-cd2a2b8671d0health: HEALTH_WARNapplication not enabled on 1 pool(s)services:mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 27h)mgr: cephnode
2020-11-23 15:11:55
1572
2
原创 ceph方式部署三节点集群
一、部署准备本次使用Ceph版本：• Ceph：Nautilus（14.2.9）• Ceph-deploy：2.0.1IP地址 主机名 附加磁盘（OSD） 集群角色192.168.220.130 ceph-node1 mon，mgr，（主节点）（也可以再加一块磁盘 ）192.168.220.131 ceph-node2 一块20G磁盘（/dev/sdb） osd1192.168.220.132 ceph-node3 一块20G磁盘（/dev/sdb） osd2本次测试节点信息：如果环境允
2020-11-19 15:22:26
2219
原创 Hadoop平台组件部署
Hadoop平台组件部署目录引言 51.1. 目的 51.2. 术语与缩写解释 61.3. 参考资料 6系统配置 62.1. 运行环境 62.2. 硬件配置 72.3. 硬件安排 72.4. 配置架构图 72.5. 平台组件介质 72.6. 第三方依赖包 8组件部署 83.1. 部署说明 83.2. 部署要点 83.3. 环境配置 83.3.1. 主机免密登陆配置 83.3.2. 主机名配置 93.3.3. HOSTS配置 103.3.4. 关闭防火墙 103.3
2020-11-19 14:51:29
1904
1
原创 将存储在本地的大量分散的小文件，合并并保存在hdfs文件系统中。
import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.net.URI;import org.apache.hadoop.conf.Configuration;import org.apach
2020-09-21 15:38:25
214
1
转载 linux下各个文件夹作用
各个文件夹简述/bin 二进制可执行命令/dev 设备特殊文件/etc 系统管理和配置文件/etc/rc.d 启动的配置文件和脚本/home 用户主目录的基点，比如用户user的主目录就是/home/user，可以用~user表示/lib 标准程序设计库，又叫
2020-09-21 15:32:31
274
原创 Iptables四表五链及规则组成
iptables组成：四张表 + 五条链(Hook point) + 规则Iptables和Netfilter的关系：Netfilter: Netfilter是linux操作系统核心层内部的一个数据包处理模块Hook point： 数据包在Netfilter中的挂载点（INPUT、OUTPUT、FORWARD、PREROUTING、POSTROUTING ）Iptables只是Li...
2020-01-08 09:58:18
257
原创 Linux服务器性能查看分析调优
一，linux服务器性能查看1.1 cpu性能查看1、查看物理cpu个数：cat /proc/cpuinfo |grep "physical id"|sort|uniq|wc -l2、查看每个物理cpu中的core个数：cat /proc/cpuinfo |grep "cpu cores"|wc -l3、逻辑cpu的个数：cat /proc/cpuinfo |grep "proc...
2020-01-07 14:27:03
209
原创 KVM 虚拟机操作
// 1. Windows本地安装Tear-Term，手机上可以安装Termius，用于ssh连接主机访问的端口参见查看ip：ip addr查看端口（通常是22，但一般会修改端口）：cat /etc/ssh/sshd_config// 2. 安装http server，测试时使用浏览器直接打开ip即可访问yum install httpdservice httpd start/...
2020-01-07 14:02:07
442
原创 KVM虚拟化部署
KVM部署1.配置系统1.检查是否开启虚拟化lsmod | grep kvm12.安装远程桌面访问依赖yum -y install libX11yum -y install xorg-x11-server-utilsyum -y install xorg-x11-proto-develyum -y install dbus-x11yum -y install xorg-x11-...
2020-01-07 13:54:47
185
原创 Zabbix监控LVS状态及Keepalived VIP漂移
一、监控目标lvs的每秒会话连接数lvs的每秒包转发数lvs每秒转发带宽VIP切换情况keepalived进程的存活二、zabbix_sender汇报脚本主要汇报内容：会话连接数，每秒包转发数，每秒转发带宽，VIP值采用zabbix_sender+trapper的模式上报数据，在进一步探讨之前有必要先了解下什么是zabbix_sender+trapper模式 ,介绍如下：用过n...
2020-01-06 11:25:33
1116
1
原创 简谈Tomcat 、Apache、 Nginx的区别及优缺点
简述说明tomcat 、apache、 nginx的定义、区别及优缺点一、 定义：ApacheApache HTTP服务器是一个模块化的服务器，可以运行在几乎所有广泛使用的计算机平台上。其属于应用服务器。Apache支持支持模块多，性能稳定，Apache本身是静态解析，适合静态HTML、图片等，但可以通过扩展脚本、模块等支持动态页面等。（Apche可以支持PHPcgiperl,但是要...
2019-12-31 14:03:11
291
原创 LNMP+Memcached缓存(memcached做php缓存)
一、首先准备LNMP环境1、配置yum源echo '[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck=0enabled=1'>/etc/yum.repos.d/nginx.repo2、下载LNMP环境yum -y install nginx php php...
2019-12-30 10:28:59
226
原创 LAMP+Redis缓存(Redis做Mysql的缓存)
一、部署LAMP环境（关闭防火墙 和 SELinux）关闭防火墙 systemctl stop firewalld1、安装httpd,php,mysqlyum -y install httpd httpd-devel php php-devel php-mysql mariadb mariadb-server2、配置httpd+php整合vim /etc/httpd/conf/ht...
2019-12-24 11:31:12
145
原创 常见的Raids类型
磁盘阵列raid类型及含义raid0:多块盘同时进行读写；优点是读写效率高，缺点是没有数据冗余；最少需要两块盘。raid1:将数据盘都做镜像；优点是有数据冗余；缺点是读写效率低，磁盘利用率低；最少需要两块盘。raid3:一块盘单独做奇偶校验盘，其余盘做raid0；优点是读写效率高，一定程度上提供数据冗余，缺点是校验盘损坏后无法恢复数据；最少需要三块盘。raid5:一块盘...
2019-12-19 14:07:26
2168
原创 Rsync搭建部署和配置文件详解
环境：Centos 7[root@localhost ~]# uname -aLinux localhost.localdomain 3.10.0-693.el7.x86_64 #1 SMP Tue Aug 22 21:09:27 UTC 2017 x86_64 x86_64 x86_64 GNU/Linuxip： 192.168.192.129 rsync服务端ip ：192.16...
2019-12-16 11:31:25
283
原创 Nginx添加用户认证
1、编辑Nginx配置文件,添加认证，源码，yum都是一样vim /etc/nginx/conf.d/default.conflocation / { auth_basic "Please input password"; #这个是提示信息 auth_basic_user_file /usr/share/nginx/html/htpasswd; #存放...
2019-12-14 08:55:50
231
原创 Tomcat内存优化
1、Tomcat内存优化主要是对 tomcat 启动参数优化，我们可以在tomcat 的启动脚本 catalina.sh 中设置 java_OPTS 参数2、JAVA_OPTS参数说明 -server 启用jdk 的 server 版 -Xms java虚拟机初始化时的最小内存 -Xmx java虚拟机可使用的最大内存 -XX: PermSize 内存永久保留区域 -XX:M...
2019-12-14 08:39:38
482
转载 awk sed grep 详解
Linux的文本处理工具浅谈awk【功能说明】用于文本处理的语言（取行，过滤），支持正则NR代表行数，n取某一列，n取某一列，n取某一列，NF最后一列NR20,NR30 从20行到30行FS竖着切，列的分隔符RS横着切，行的分隔符【语法格式】awk [–F] [“[分隔符]”] [’{print1，1，1，NF}’] [目标文件]awk ‘BEGIN{FS=...
2019-12-10 14:34:23
291
原创 MHA介绍和基础、原理、架构、工具介绍
一.MHA简介软件简介MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在10~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程...
2019-12-03 11:01:12
382
原创 服务端高并发分布式架构演进之路
1. 概述本文以淘宝作为例子，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知，文章最后汇总了一些架构设计的原则。特别说明：本文以淘宝为例仅仅是为了便于说明演进过程可能遇到的问题，并非是淘宝真正的技术演进路径2. 基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对几个最基础的概念进行介...
2019-11-29 15:39:23
126
转载 Oracle简介
Oracle数据库简介一、介绍Oracle数据库系统是美国Oracle（甲骨文）公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的客户/服务器（Client/Server，C/S）或浏览器/服务器（Browser/Server，B/S）体系结构的数据库之一。Oracle数据库是目前世界上使用最为广泛的数据库管理系统，作为一个通用的数据库系统，它具有完整的数据管理功能；作为一个关系数...
2019-11-29 13:58:10
584
原创 阿里云安全规则配置
自己买着玩玩阿里云服务器为了安全着想，需要配置安全规则，如果你不将端口设置安全规则，浏览器是无法访问到的。怎么配置呢？（1）登录阿里云，找到【云服务器ECS】，点击；（2）点击云服务器后面的数字；（3）点击【安全组】，找到对应服务器实例的【配置规则】；（4）点击【添加安全组规则】（5）以80端口为例进行配置，让所有人 ip 都可以访问80端口；（6）然后配置好久能多出一条...
2019-11-29 09:57:56
508
原创 Redis 主要数据类型及命令
Redis的数据类型redis是以key:value格式存储数据的，其中key都是字符串，value有5中不同的数据类型字符串（String）列表（List）- 元素可重复集合（Set）- 不允许重复元素有序集合（sorted set）哈希（Hash）命令操作字符串（String）字符串类型是Redis的最基本类型，它可以存储任何形式的字符串。其它的四种类型都是字符串类型的不同形...
2019-11-29 09:02:46
123
原创 Shell脚本在Centos系统编写MySQL主从
执行之前配好ssh免密和关闭防火墙注意改成自己的IPCentos6vim mysql-MS.sh#!/bin/bashyum -y install mysql mysql-server #主安装mysqlsed -i '/0/a\server-id=1' /etc/my.cnf #sed修改主配置sed -i '/1/a\log-bin=mysql-bin' /etc/my....
2019-11-26 16:35:56
162
原创 Linux系统简单的优化
1、更改yum源mv -f /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo2、关闭selinuxsed -i 's/...
2019-11-25 17:43:16
167
原创 RabbitMQ 简介以及使用场景
目录一. RabbitMQ 简介二. RabbitMQ 使用场景解耦（为面向服务的架构（SOA）提供基本的最终一致性实现）异步提升效率流量削峰三. 引入消息队列的优缺点优点缺点总结一. RabbitMQ 简介MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接...
2019-11-25 16:18:37
377
原创 Zabbix配置邮件报警
1、编辑脚本，将绑定的邮箱地址和密码写上cd /usr/lib/zabbix/alertscriptsvim zabbix-email.sh163的邮箱#!/usr/bin/python# _*_ coding:utf-8 _*_import smtplib, sysfrom email.mime.text import MIMETextfrom email.utils im...
2019-11-25 15:52:10
227
原创 压力测试分析
1.从压力测试说起压力测试的理解，xxx的性能10w/s，对你有意义么？没有那家卖瓜的会说自己家的不甜，同样，没有哪个开源项目愿意告诉你在对它条件最苛刻的时候压力情况是多少，一般官网号称给你看的性能指标都是在最理想环境下的，毫无参考意义。举个栗子,Redis官网压测的例子，256字节的读速度11w/s,写速度8.1w/s,都知道redis优点是多变的数据结构，string、List、has...
2019-11-14 14:15:53
373
原创 Nginx配置文件及模块解析
一、Nginx是什么？Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件（IMAP/POP3）代理服务器，在BSD-like 协议下发行。其特点是占有内存少，并发能力强，事实上nginx的并发能力在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：百度、京东、新浪、网易、腾讯、淘宝等 Nginx 是异步框架的网页服务器，也可以用作反向代理、负载平衡器和 HTTP 缓存...
2019-11-14 09:22:05
419
原创 蓝绿部署和滚动部署
海豚的秘密大家都知道海豚这种可爱的海洋动物。但又有多少人知道，海豚可以永远不睡觉。是什么样的能力，使得海豚可以永远保持清醒呢？依靠的是海豚大脑特殊的运作方式。像人一样，海豚的大脑也分为左脑和右脑两个部分。在海豚活跃的状态下，左脑和右脑都是清醒的：当然，海豚也是血肉之躯，也是需要休息的。在海豚休息的状态下，其中一半大脑会进入睡眠，另一半大脑仍然保持清醒，以面对各种外界情况。 每隔两...
2019-11-09 10:02:44
296
原创 Ansible自动化运维详细教程及playbook详解
Ansible 一种集成 IT 系统的配置管理、应用部署、执行特定任务的开源平台，是 AnsibleWorks 公司名下的项目，该公司由 Cobbler 及 Func 的作者于 2012 年创建成立。Ansible 基于 Python 语言实现，由 Paramiko 和 PyYAML 两个关键模块构建。Ansible 特点：部署简单，只需在主控端部署 Ansible 环境，被控端无需做任何操...
2019-11-09 09:44:13
898
不安装趋势连VPN。
2020-11-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人