- 博客(71)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Zabbix 使用（n）:自定义邮件告警
文章目录一、检查服务，如果有就关闭二、安装服务三、编辑配置文件四、测试配置自定义邮件脚本五、测试六、zabbix 对hadoop namenode报警6.1 创建 Items6.2 创建 Trigger6.3 关闭HDFS会出现如下警报6.4 创建 Media Type6.4 Email 绑定收件人6.5 创建 Action6.6 修改 mail.sh 文件一、检查服务，如果有就关闭sendmailsystemctl status sendmailpostfixsystemctl status
2020-06-01 23:06:30
741
2
原创 Hadoop数据迁移
文章目录一、需求说明二、找需要迁移的数据三、迁移脚本五、注意事项一、需求说明把A集群上的数据迁移到B集群上。需要预先知道A集群主节点的ip地址，和B集群主节点的ip地址。二、找需要迁移的数据然后点击可以查看文件目录树，这里以进入 /user/hive/warehouse/transpass_std.db/s_phone_inter_trip/source=cm/start_city=440300/year=2019/month=03/day=12 文件夹为例根据实际迁移需求，找到你所想要
2020-06-01 11:40:13
687
原创 Spark源码之-CDH6下Spark2.4写Hive分区表异常
文章目录一、组件版本二、问题描述三、问题分析四、解决办法一、组件版本组件版本Hadoop3.0.0+cdh6.1.1Hive2.1.1+cdh6.1.1spark2.4.0+cdh6.1.1二、问题描述在 Spark 向 Hive分区表 写入数据时，抛出异常如下：org.apache.spark.SparkException: Requested partitioning does not match the test_table_name table
2020-06-01 10:27:12
1323
原创 Zabbix5.0 中文乱码
字体文件目录:zabbix 4.0：/usr/share/zabbix/fonts/zabbix 4.2：/usr/share/zabbix/assets/fonts/zabbix5.0：/usr/share/zabbix/assets/fontsphp 脚本文件位置:/usr/share/zabbix/include/defines.inc.php将Win10操作系统 C:\Windows\Fonts目录下的任意字体，拷贝到/usr/share/zabbix/assets/fonts/目.
2020-05-29 23:46:30
2758
原创 Centos7.7 二进制文件安装使用 Zabbix5.0（zabbix-agent）
文章目录一、配置阿里云yum源二、Zabbix5.0 YUM源三、安装 Zabbix agent四、修改配置文件五、测试是否成功加入agent（在server端检查）5.1 安装 zabbix-get一、配置阿里云yum源[root@zabbix2 ~]# curl -o /etc/yum.repos.d/epel.repos http://mirrors.aliyun.com/repo/epel-7.repo[root@zabbix2 ~]# curl -o /etc/yum.repos.d/Ce
2020-05-29 23:10:55
1491
原创 Centos7.7 二进制文件安装使用 Zabbix5.0（zabbix-server）
文章目录一、系统环境二、配置阿里云yum源三、Zabbix5.0 YUM源四、Zabbix5.0 YUM 源开启web前端安装五、创建 Zabbix 用户六、导入初始数据七、Zabbix server 配置修改八、更改fpm配置九、启动Zabbix server和agent进程一、系统环境Centos7.7、关闭防火墙、关闭selinux二、配置阿里云yum源curl -o /etc/yum.repos.d/epel.repos http://mirrors.aliyun.com/repo/
2020-05-29 17:44:41
858
原创 Centos7.7 安装 Zabbix
一、Centos7.7 安装使用 Zabbix（Server节点）二、Centos7.7 安装使用 Zabbix（agent 节点）
2020-05-28 22:37:19
188
原创 Centos7.7 编译源码安装使用 Zabbix4.4（agent 节点）
文章目录一、新建Zabbix用户二、编译环境准备三、去官网下载编译安装的Zabbix四、修改zabbix-agent配置文件五、启动Zabbix-Agent一、新建Zabbix用户[root@zabbix ~]# groupadd zabbix[root@zabbix ~]# useradd zabbix -g zabbix -s /sbin/nologin二、编译环境准备[root@zabbix ~]# yum install -y gcc libxml2-devel libevent-d
2020-05-28 22:36:09
409
原创 Centos7系统更换yum源镜像为国内镜像
cd /etc/yum.repos.d/mv CentOS-Base.repo CentOS-Base.repo.bakwget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum makecacheyum -y update
2020-05-28 21:27:59
392
原创 Centos7.7 编译源码安装使用 Zabbix4.4（Server节点）
文章目录一、安装环境二、关闭SElinux三、关闭防火墙四、在线安装 mariadb五、安装PHP环境一、安装环境操作系统：CentOS7.7WEB：Apache/2.4.6PHP：7.0.33数据库：MySQL二、关闭SElinux[root@zabbix ~]# setenforce 0[root@zabbix ~]# vim /etc/selinux/config SELINUX=enforcing #将enforcing替换为disabledSELINUX=disa
2020-05-28 21:24:26
679
原创 useradd: cannot open /etc/shadow
问题描述:useradd -g mysql mysqluseradd: cannot open /etc/shadow解决问题:chattr -i /etc/gshadowchattr -i /etc/groupchattr -ai /etc/shadowchattr -ai /etc/passwd
2020-05-27 13:14:17
2251
原创 centos7安装mysql问题
异常信息:warning: user mysql does not exist - using root解决办法:yum install -y perl-Module-Install.noarch
2020-05-27 12:56:20
222
原创 CDH安全之Sentry权限管理
文章目录一、Sentry概述1.1 Sentry是什么1.2 Sentry中的角色二、Sentry安装部署三、Sentry与Hive/Impala集成3.1 修改配置参数3.2 配置Hive使用Sentry3.3 配置Impala使用Sentry3.4 配置HDFS权限与Sentry同步四、Sentry 授权4.1 基于 Hue4.2 基于 命令行一、Sentry概述cdh 版本的 hadoop 在对数据安全上的处理通常采用 Kerberos+Sentry 的结构。kerberos 主要负责平台用户
2020-05-21 16:15:35
3504
原创 hue: There are currently no roles defined
这个原因是这个用户没有查看的权限，hive，hue就可以，因为sentry中没有配置default组为超级组在hue中创建hive账号、hive组，使用该账号登陆, 即可添加角色
2020-05-21 14:19:31
293
原创 二、Flink基础之 部署模式
文章目录一、Standalone模式1.1 下载flink安装包1.2 安装 flink1.3 配置文件二、Yarn模式三、Kubernetes部署一、Standalone模式1.1 下载flink安装包https://flink.apache.org/downloads.html1.2 安装 flink解压即可1.3 配置文件vim conf/flink-conf.yam...
2020-04-13 13:12:36
190
原创 window10 下使用 nc 工具
文章目录一、下载地址二、使用一、下载地址https://eternallybored.org/misc/netcat/二、使用将解压后的单个文件全部拷贝到 C:\Windows\System32 的文件夹下。注意：不是拷贝整个文件夹，而是文件夹里面的全部文件。nc -l -p 7777...
2020-04-13 12:25:13
1970
1
原创 一、Flink基础 之 wordcount
文章目录一、搭建maven工程1.1 pom 文件1.2 添加scala框架 和 scala文件夹1.3 批处理wordcount1.4 流处理 wordcount一、搭建maven工程1.1 pom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4...
2020-04-13 12:22:38
269
原创 CentOS 修改主机名和IP
文章目录一、修改主机名二、修改 ip一、修改主机名hostnamectl set-hostname 主机名二、修改 ipvim /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticIPADDR=192.168.161....
2020-04-04 22:59:58
277
原创 Centos7.7 CDH6.2.1 安装教程
文章目录此教程以 6.2.0 的版本为例一、下载此教程以 6.2.0 的版本为例一、下载CDH下载地址下载cdh选择对应linux的下载，例如我下载的是 centos7.7 下使用的cdh6.2.0下载cm...
2020-04-04 22:34:45
1836
原创 定时清空 HBase 表
文章目录一、 需求二、实现一、 需求业务上需要将当天的数据写入hbase 提供给后台查询前台展示，第二天清空前一天的数据二、实现vim truncateGpsToDay.shtruncate 'TBL_GPS_TODAY'executorTruncateToDay.shhbase shell /root/truncateGpsToDay.sh配置定时任务0 0 ...
2020-04-03 09:56:42
506
原创 Spark 任务停止后自动重启
#! /bin/bashstatus="RUNNING"programStatus=`yarn application -list |grep YARN-NAME| awk '{print $6}'`if [ "$status" == "$programStatus" ]then #"程序正在运行..."else echo `date "+%Y-%m-%d...
2020-03-26 22:36:33
1258
原创 mysql 5.7.20下载、安装和配置方法及简单操作技巧(window绿色版)
下载： https://dev.mysql.com/downloads/mysql/ 直接下载，无需注册和登录。安装： 将下载的mysql压缩包解压后的整个目录放在指定目录 配置： 新建一个ini文件，并命名为my.ini，放置到mysql安装目录中。文件内容是：[mysql] # 设置mysql客户端默认字符集 default-character-set=utf8 [my
2020-03-18 14:34:59
1062
转载 Hive on Spark 参数调优
文章目录前言executor参数spark.executor.coresspark.executor.memory/spark.yarn.executor.memoryOverheadspark.executor.instancesspark.dynamicAllocation.enabledDriver参数spark.driver.coresspark.driver.memory/spark.d...
2020-03-16 14:48:33
697
原创 CentOS7 下安装 Docker
文章目录一、前提条件二、卸载旧版本三、安装一、前提条件操作系统要求要安装Docker Engine-Community，您需要一个CentOS 7的维护版本。不支持或未测试存档版本。二、卸载旧版本较旧的Docker版本称为docker或docker-engine。如果已安装这些程序，请卸载它们以及相关的依赖项。$ sudo yum remove docker docker-client...
2020-03-08 15:07:12
166
原创 CDH 平台安装 Apache Phoenix
文章目录下载 Phoenix解压拷贝指定 jar到 HBase 的lib目录在 CDG - hbase配置中加入相关参数将 hdfs 和 hbase 相关配置文件拷贝到 Phoenix/bin目录下重启 Hbase即可连接Phoenix下载 Phoenixhttp://phoenix.apache.org/download.html解压[root@bigdata-5 ~]# tar -z...
2020-03-02 20:25:49
359
原创 Hive beeline连接
启动hiveserver2服务[[email protected] hive]$ bin/hiveserver2启动beeline[[email protected] hive]$ bin/beelineBeeline version 1.2.1 by Apache Hivebeeline>连接hiveserver2beeline> !connect ...
2020-02-29 22:49:35
479
原创 This account is currently not available（用户当前不可用）
在安装好 CDH 之后，使用安装时自动创建的 hdfs 用户登录不了[root@bigdata-3 ~]# su hdfsThis account is currently not available.原因是此用户的shell是/sbin/nologin需修改成/bin/bash...
2020-01-13 11:50:32
1658
原创 Hive 导出 csv 文件
hive -e "set hive.cli.print.header=true; select * from data_table where some_query_conditions " | sed 's/[\t]/,/g' > outputData.csv参数说明:- set hive.cli.print.header=true：输出表头- sed 's/[\t]/,/g：将...
2019-12-23 18:11:54
706
原创 windows 下彻底删除免安装版mysql
1、本方法是基于免安装版的mysql5.6.4 2、方法： 1）、删除mysql文件夹 2）、开始-运行里面输入regedt，打开注册表.注册表里MySQL的项就是这三项： HKEY_LOCAL_MACHINE/SYSTEM/ControlSet001/Services/Eventlog/Application/MySQL HKEY_LOCAL_MACHINE/SYSTEM/Control
2019-12-04 18:29:11
477
原创 Java split 指定切割个数
Java split 在特殊业务下切割数组String ids2 = "100,,,,";// java 按, 切割成数组。String[] id = ids1 .split(",");String idA = id[0];String idB = id[1];String idC = id[2];String idD = id[3];// 然后就..... java....
2019-12-04 18:19:30
2310
原创 二分查找法的实现及源码
二分查找：给定数组是有序的，给定一个key值。每次查找最中间的值，如果相等，就返回对应下标，如果key大于最中间的值，则在数组的右半边继续查找，如果小于，则在数组左半边查找，。最终有两种结果，一种是找到并返回下标，第二种是没找到。例如有一组给定数组是有序的数据: int[] arr102030405060708090100定义两个边界, 下标low表示左边...
2019-12-04 18:05:11
404
原创 Java集合: asList 的缺陷
Arrays.toList(T t) 方法在开发中用起来非常方便, 却存在几个缺陷…1. 不要使用8中基本数据类型数组转换为集合2. asList产生的集合不可操作(不可以做出结构上的改变)上述例子是将 Integer类型的数组转为 List 集合, 并且在 list 中 add 一个新的参数, 这个过程很简单, 但是结果出乎意料的不是 size=6, 而是:从报错信息看到, 在 4...
2019-12-04 18:05:02
290
2
原创 Linux 集群分发脚本
文章目录一、scp（secure copy）安全拷贝1.1 scp定义1.2 基本语法1.3 案例实操二、 rsync 远程同步工具2.1 基本语法2.2 案例实操三、 xsync集群分发脚本前提: 需要有多个虚拟机, 名字保持相似性，例如: linux01、linux02、linux03.....3.1 需求：循环复制文件到所有节点的相同目录下3.2 需求分析一、scp（secure copy...
2019-12-04 18:03:11
350
原创 CentOS7 离线安装 MySql5.7
文章目录一、下载地址二、 解压安装一、下载地址https://download.csdn.net/my二、 解压安装将安装包剪切到 /opt/software/ 目录下mv mysql-libs.zip /opt/software/ 解压mysql-libs.zip文件到 当前目录下[root@hadoop102 software]# unzip mysql-libs....
2019-12-04 17:57:30
203
原创 Linux下卸载 MySQL
文章目录一、 查看安装的 mysql二、卸载一、 查看安装的 mysql[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64二、卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_64...
2019-12-04 17:57:17
215
原创 Hive DDL 数据定义
文章目录一、创建数据库一、创建数据库创建一个数据库, 数据库在 HDFS 上的默认存储路径是 /user/hive/warehouse/*.db。hive (default)> create database db_hive;避免要创建的数据库已经存在错误，增加 if not exists 判断。（标准写法）hive (default)> create database ...
2019-12-04 17:56:56
191
原创 Hive 查询
文章目录一、 基本查询1.1 全表和特定列查询1.2 列别名1.3 算术运算符1.4 常用函数1.5 Limit 语句二、Where 语句2.1 比较运算符2.2 Like 和 Rlike2.3 逻辑运算符（and/or/not）三、分组3.1 Group By 语句3.2 Having 语句四、Join语句4.1 等值 Join4.2 表的别名4.3 内连接4.4 左外连接4.5 右外连接4.6...
2019-12-04 17:56:45
318
mysql-libs.zip
2019-08-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人