wayne342175926-CSDN博客

原创 cdh大数据集群缩容，hdfs坏块处理,kudu坏表修复

参考官方文档：https://docs.cloudera.com/documentation/manager/5-1-x/Cloudera-Manager-Managing-Clusters/Managing-Clusters-with-Cloudera-Manager.html环境：CM和CDH版本5.13根据官方文档提示：停止的服务器数量不能少于设置的副本数。本次100台机器减少一半不用担心这个问题1、节点下线操作admin用户登陆CM页面1）修改相关配置java堆栈大小调整为4G2)

2021-07-23 16:10:06 1329

原创 linux环境用python/shell将日志文件内容解析导入oracle数据库

一、背景日志文件部分内容2020-12-25 00:02:58.049 INFO [job-0] com.alibaba.datax.core.statistics.container.communicator.job.StandAloneJobContainerCommunicator:50 - Total 1043200 records, 218743048 bytes | Speed 0B/s, 0 records/s | Error 0 records, 0 bytes | All Tas

2021-03-19 21:21:35 487

原创 svn数据迁移

1. 安装yum install subversion2. 创建仓库建一个svn的仓库，所有的代码都放在这里# mkdir /opt/svn/# cd /opt/svn/# svnadmin create /opt/svn[root@node1 svn]# lltotal 8drwxr-xr-x 2 root root 54 Oct 29 00:11 confdrwxr-sr-x 7 root root 266 Oct 29 01:13 db-r--r--r-- 1 root ro

2021-02-18 16:41:59 555

原创 zabbix 自定义监控,自动化运维远程处理主机程序

zabbix 自定义监控,自动化运维远程处理主机程序zabbix_agent配置[ops@seg0* etc]$ cat zabbix_agentd.conf | egrep -v "^#|^$"EnableRemoteCommands=1 //开启执行远程命令LogRemoteCommands=1LogFile=/var/log/zabbix/zabbix_agentd.logServer=10.92.208.**,10.92.208.*ListenPort=10080ServerA

2021-02-18 16:29:34 219 1

原创 oracle 19c linux环境图形化安装

oracle 19c linux环境图形化安装oracle安装需要的依赖会比较多，这里这用的是rhel7.5的系统安装前先准备好图形界面工具xmanagerwindows上安装xmanger(步骤略)linux上作如下操作yum install xorg-x11-xauth xorg-x11-fonts-* xorg-x11-font-utils xorg-x11-fonts-Type1 xterm打开xstart安装oracle 19c我的环境安装过的依赖包如下：yum

2020-11-30 16:22:49 1018

原创 Hadoop常用组件zookeeper,kafka

Hadoop常用组件zookeeper,kafkaZooKeeper是一个开源的分布式应用程序协调系统。简称ZK，ZK是一个典型的分布式数据一致性解决方案，分布式应用程序可以基于它实现数据的发布/订阅、负载均衡、名称服务、分布式协调/通知、集群管理、Master选举、分布式锁盒分布式队列等等功能。它运行在JAVA环境之中，并具有JAVA和C的绑定。zookeeper集群集群角色•**Leader：**领导者，通过集群选举产生的主节点，负责集群的读与写工作•**Follower：**追随者，有资格参

2020-07-14 23:19:31 695

原创 hadoop-2.7.7分布试集群

环境准备1.centos7.5,配置静态ip,关闭防火墙，配置免密登陆，准备hostssystemctl stop firewalld && setenforce 0[root@hadoop1 ~]# vim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localh

2020-06-09 16:42:03 157

原创用python将txt文件中的内容导入到excel文件中

背景日志文件中的内容不方便阅读统计，需要用excel表格的形式显示出来日志文件内容如下：info***LCAM_SC.DM_RP_DIS_DEVICE_TEMP*1*1*0*0*0*0*N*Y*/data2/20200514114048/OGG_ZC_SZ09_12/DM_RP_DIS_DEVICE_TEMP/根据日志文件创建excel表头TABLEPNSNFNZNROWSSIZE(MB)SCPK PATH1DATEIPFLAGREMARK实现代码

2020-05-18 12:14:24 6276

原创 ceph集群添加新的节点mon,osd

背景：添加osd时使用了已挂载的磁盘导致服务器重启起不了，于是删掉该节点，增加一个新节点ceph1 192.168.72.30 （主节点）ceph2 192.168.72.31ceph3 192.168.72.32 （新增节点）ceph4 192.168.72.33 (坏的节点)ceph4安装ceph1.准备环境# 配置yum源（需要电脑能上网），时间同步，关...

2020-02-28 21:05:12 2951

原创 ansible 部署 zabbix-agent

1. 配置yum源，安装ansible用阿里云镜像站]# [root@node5 yum.repos.d]# ls CentOS-Base.repo ]# yum -y install --downloadonly --downloaddir=/root/ansible ansible //下载便于离线安装 ]# yum -y install ansible ]# /etc/...

2020-01-25 22:30:54 280

原创 ceph块存储部署笔记

一. 环境部署测试客户端 client 192.168.4.20ceph 集群 node1 192.168.4.21 node2 192.168.4.22 node3 192.168.4.23集群节点增加两块磁盘，一块作为缓存盘，一块作为共享盘在node1上创建密钥，将公钥传给node2,node3,配置无密码连接修...

2019-10-01 21:49:04 484

原创堡垒机Jumpserver搭建

**堡垒机Jumpserver搭建**主要参考官方文档https://jumpserver.readthedocs.io/zh/master/step_by_step.html一. 生产环境部署Jumpserver 环境要求：硬件配置: 2个CPU核心, 4G 内存, 50G 硬盘（最低）操作系统: Linux 发行版 x86_64Python = 3.6.xMysql Serv...

2019-09-23 22:25:37 509

wayne342175926的博客