桃橙柳-CSDN博客

原创 Swagger Editor编写

Swagger Editor编写一、Swagger Editor编辑器1.在线编写2.IDEA安装插件3.两种方式优缺点二、语法规则1.字段类型与格式定义三、示例说明1.编写get-yaml示例1.1可视化界面2.编写post-yaml示例2.1可视化界面一、Swagger Editor编辑器1.在线编写https://editor.swagger.io/其是官方提供的编写swagger yaml文件的在线编辑器，且可以实时看见编写的yaml文件的可视化页面2.IDEA安装插件在插件库中搜索sw

2021-06-22 16:04:45 1456

原创批量剔除consul无效服务

批量剔除consul无效服务一、剔除consul无效服务1.脚本2.java服务一、剔除consul无效服务正常情况下,若是没有设置服务的健康检查剔除时间，则 consul不会主动的去清除掉失效的服务,所以就需要手动的来清理, 但是往往一个consul上又有多个失效的服务，一个一个剔除效率又太低，那么就需要通过脚本等形式进行批量剔除。1.脚本vi clean_consul.sh加入以下内容：#!/bin/bash# tiki 2021-06-22#consul的地址CONSUL_ADDR

2021-06-22 15:40:06 2158

原创 OpenTsdb安装使用

OpenTsdb安装使用一、简介二、安装准备1.操作环境2.hadoop生态部署3.安装gnuplot4.下载opentsdb安装包1.解压安装包2.编译3.执行创建hbase表脚本4.配置5.在build目录下创建jaas.conf6.在build目录下创建启动脚本start_tsdb.sh7.启动8.集群高可用四、初步验证1.插入数据2.web页面查看3.查询数据一、简介OpenTSDB是一个时间序列数据库，由一个 Time Series Daemon (TSD) 和一系列命令行实用程序组成。与Op

2021-04-20 19:28:02 2596

原创 azkaban安装使用

azkaban安装使用一、安装1.准备工作2.配置2.1软件配置一、安装1.准备工作下载软件源码：https://github.com/azkaban/azkaban或是https://github.com/azkaban/azkaban/releases下载插件源码https://github.com/azkaban/azkaban-plugins下载的.zip包，则安装环境中需要在root用户下安装unzip，用于解压，命令如下：yum -y install unzip本文选择的软件

2021-03-10 11:39:24 2227

原创 sqoop安装使用

sqoop安装使用一、安装1.准备工作2.配置2.1解压2.2配置环境变量2.3配置sqoop2.4加入mysql驱动包二、使用1.数据导入1.1导入数据到hdfs1.1.1全量导入（1）全表导入，--table子句：（2）数据子集导入①--where子句:②按需导入--query子句③--column子句1.1.2增量导入1.1.2.1 Append方式1.1.2.2 LastModify方式1.1导入数据到hbase1.1.11.1.2.3 增量更新导出一、安装1.准备工作下载地址：官网：htt

2020-12-31 20:33:25 327

原创漏洞解决

漏洞解决一、允许Traceroute探测1.Q：漏洞名称：允许Traceroute探测2.A：解决途径：二、ICMP timestamp请求响应漏洞1.Q：漏洞名称：ICMP timestamp请求响应漏洞2.A：解决途径：三、SSH版本信息可被获取1.Q：漏洞名称：SSH版本信息可被获取2.A：解决途径：四、远端WEB服务器上存在/robots.txt文件1.Q：漏洞名称：远端WEB服务器上存在/robots.txt文件2.A：解决途径：有待补充一、允许Traceroute探测1.Q：漏洞名称：允许T

2020-12-31 18:58:47 9316 1

原创 hadoop生态的kerberos认证系列5-kylin

hadoop生态的kerberos认证系列5-kylin一、准备工作二、配置三、验证1.启动2.验证一、准备工作停掉hadoop集群；安装好kerberos认证服务；二、配置本文节点名为node参考文章：1.Kylin开启Kerberos安全认证2.【大数据安全】Apache Kylin 安全配置(Kerberos)通过这两篇文章可以知道kylin其实不用配置什么东西，直接启动运行即可三、验证1.启动kylin.sh start能正常启动[root@node hadoop]# j

2020-12-25 14:33:58 284

原创 hadoop生态的kerberos认证系列4-hive

hadoop生态的kerberos认证系列4-hive一、准备工作二、hive配置1.创建主体文件/凭证2.修改hive的配置文件3.修改hadoop的core-site.xml配置文件三、验证1.启动2.验证一、准备工作停掉hadoop集群；安装好kerberos认证服务；二、hive配置本文的节点名为node1.创建主体文件/凭证kadmin.local: addprinc hive/nodekadmin.local: ktadd -norandkey -k /usr/data//k

2020-12-25 14:23:47 398

原创 hadoop生态的kerberos认证系列3-hbase

hadoop生态的kerberos认证系列3-hbase一、准备工作二、hbase配置1.修改hbase-site.xml文件2.修改habse-env.sh文件3.新增hbase-jaas.conf文件4.修改zoo.cfg三、验证1.启动2.验证一、准备工作停掉hadoop集群；安装好kerberos认证服务；二、hbase配置1.修改hbase-site.xml文件添加如下内容：<property> <name>hbase.master.kerberos.

2020-12-23 20:36:40 1275 3

原创 hadoop生态的kerberos认证系列2-hadoop

hadoop生态的kerberos认证系列2-hadoop一、准备工作二、配置1.hdfs配置kerberos认证1.1一、准备工作停掉hadoop集群；安装好kerberos认证服务；二、配置注意：hadoop全部生态集群中，若要配置kerberos认证，则hadoop的kerberos认证必须先配置好，否则先配置其他集群的会出现问题，如：不配置hadoop的kerberos，先配置hive的kerberos认证的话，在配置过程没问题的情况下，beeline连接时会报错，提示不支持kerbero

2020-12-23 20:20:46 534

原创 Linux虚拟机用xshell连接不上解决方式

Linux虚拟机用xshell连接不上解决方式问题解决方案问题问题：Linux虚拟机用xshell连接不上然后直接用VMware里打开该虚拟机，在终端中运行ifconfig可以发现该台虚拟机ip没了或者说是网卡没了解决方案按顺序运行以下命令：#停止NetworkManagersystemctl stop NetworkManager#禁用NetworkManagersystemctl disable NetworkManager#启动网卡服务service network start

2020-12-17 10:20:11 867

原创 hadoop生态的kerberos认证系列1-zookeeper

hadoop生态的kerberos认证一、zookeeper1.准备工作2.配置2.1创建服务端用户2.2导出凭证：2.3修改zookeeper的配置文件2.4生成jaas.conf文件2.5创建client的priincipal并导出2.6配置client-jaas.conf文件3.验证zk的kerberos一、zookeeper1.准备工作停掉hadoop集群；安装好kerberos认证服务；2.配置节点名为node，本文以单节点为例说明，集群一般也差不多，只要配置文件统一、凭证区分开即可（

2020-12-17 09:59:36 1376

原创 kerberos认证搭建安装

kerberos认证搭建安装一、Kerberos简介1.Kerberos2.Kerberos认证流程2.1客户端认证2.2服务授权2.3服务请求3.kdc集群3.1安装包3.2术语二、安装搭建1.服务器安装1.1安装命令1.2修改配置1.2.1修改KDC的配置文件1.2.2配置KDC服务的权限管理文件1.2.3修改Kerberos的配置文件信息1.3初始化KDC数据库1.4启动1.5KDC 服务器上添加超级管理员账户2.搭建Kerberos客户端环境3.登录验证三、基本命令操作1.登录管理员模式2.基本操作

2020-12-14 15:58:17 2694

原创 hive之beeline连接与操作

hive之beeline连接与操作一、连接配置1.连接测试1.1前提1.2启动hive服务1.3测试连接2.问题解决1.解决方式2.连接二、操作1.beeline操作一、连接配置1.连接测试1.1前提hadoop集群、hive已正常安装，hadoop集群已启动1.2启动hive服务先启动 metastore 服务：nohup metastore 2>/usr/data/hive/log/metastore/metastore.err &再启动 hiveserver2 服务：noh

2020-12-03 19:31:38 26605 1

原创 tmpfs探索与虚拟机扩容

tmpfs探索与虚拟机扩容一、tmpfs1. tmpfs简介2.参考资料进行更改二、扩容（1）方案一1）单纯扩大某一硬盘容量①LVM方式：1.开始分区：fdisk /dev/sda2.此时使用lsblk命令查看：3.使用命令partprobe刷新，再查看：4.创建物理卷pvcreate /dev/sda4（此步骤可省略）5.查看已有卷组 vgdisplay 得到卷组名为 centos6.添加 sda4 到 centos 卷组中 vgextend centos /dev/sda47.查看需要被扩容的文件路径

2020-10-26 16:43:09 1324

原创 Hive主键、唯一约束

Hive主键、唯一约束等条件探索一、官网查看二、探索1.官网操作2.查找资料3.官网验证4.探索意义一、官网查看点击此处查看官方文档其中Create table：CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name -- (Note: TEMPORARY available in Hive 0.14.0 and later) [(col_name data_type [column_constrai

2020-10-13 16:54:27 26643 7

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一(Nginx负载均衡篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十一（Nginx负载均衡篇）十三、Nginx负载均衡1.Nginx安装环境2.编译3.启动测试4.nginx实现kylin集群的负载均衡全文请看：https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包：https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2：https://do

2020-10-09 10:30:04 222

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建十(kylin集群搭建篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八（kylin集群搭建篇）十二、kylin集群搭建1.配置2.启动验证2.1启动2.2验证3.文档叙述3.1Kylin 集群模式部署3.2任务引擎高可用3.3配置CuratorScheculer进行任务调度4.帮助理解4.1 Job Scheduler4.1.1 为什么需要Job Scheduler ？4.1.2 kylin中有哪些调度程序？4.1.3 不同的作业调度程序有什么区别？全文请看：https://blog.csdn.ne

2020-10-09 10:27:55 208

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建九(Hive拓展客户端篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建九（Hive拓展客户端）十一、Hive拓展客户端1.准备工作2.配置变量3.验证全文请看：https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包：https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2：https://download.csdn.net/download/tktttt/12

2020-10-09 10:25:13 88

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建八(Hadoop客户端节点篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建八（Hadoop客户端节点篇）九、hadoop集群客户端节点全文请看：https://blog.csdn.net/tktttt/article/details/108578804大数据集群搭建安装包：https://download.csdn.net/download/tktttt/12879318大数据集群搭建安装包2：https://download.csdn.net/download/tktttt/12879355九、h

2020-09-24 10:55:59 80

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建七(Hadoop扩容缩容篇)

Zookeeper+Hadoop+Hbase+Hive+Kylin集群搭建七（Hadoop扩容缩容篇）八、Hadoop集群动态扩容、缩容1.动态扩容1.1准备工作：1.2添加datanode1.3datanode负载均衡服务1.4添加nodemanager2.动态缩容2.1添加退役节点2.2刷新集群2.3停止进程八、Hadoop集群动态扩容、缩容1.动态扩容1.1准备工作：克隆一台虚拟机，也可以是全新的（只要安装了jdk即可，可以参考最初的虚拟机安装部分）；在新的虚拟机上修改hostname为no

2020-09-23 16:33:57 335

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建六(Kylin篇)

@TOC八、Kylin搭建1.安装下载相应适配版本的安装包：官网地址上传到新建文件目录/usr/local/kylin下，并解压：tar -zxvf apache-kylin-3.1.0-bin-hbase1x.tar.gz2.配置环境变量vi /etc/profile#加入以下内容export KYLIN_HOME=/usr/local/kylin/apache-kylin-3.1.0-bin-hbase1x#path后添加export PATH=$PATH:$KYLIN_HOME

2020-09-22 10:15:06 342

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建五(Hive篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建（五、Hive篇）七、Hive安装配置1.准备工作2.安装hive七、Hive安装配置1.准备工作在前文基础上，继续安装MySQL数据库包下载：官网地址下载rpm类型安装包（注意版本选择），例如本文选择的：mysql-community-common-5.7.31-1.el7.x86_64.rpmmysql-community-libs-5.7.31-1.el7.x86_64.rpmmysql-community-cli

2020-09-21 15:19:26 221

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建四(Hbase篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建（四、Hbase篇）五、Hbase集群搭建1.安装解压2.环境变量配置3.文件配置六、启动Hbase1.启动zookeeper2.启动Hadoop2.1格式化HDFS2.2启动HDFS2.3启动YARN2.4Hadoop启动校验3.Hbase启动4.问题五、Hbase集群搭建官网下载合适的hbase版本，要求能与上面安装的zookeeper、hadoop版本兼容安装hbase之前必须要保证的是三台服务器的时间保持同步，推荐使用nt

2020-09-21 15:16:30 175

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建三(zookeeper篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建（三、zookeeper篇）四、Zookeeper集群搭建1.下载安装zookeeper安装包2.文件配置3.启动测试四、Zookeeper集群搭建1.下载安装zookeeper安装包zookeeper版本需要能与Hadoop版本兼容创建文件夹，将安装包上传至此并解压：mkdir /usr/local/zookeepertar -zxvf 安装包名如tar -zxvf zookeeper-3.4.14.tar.gz之后

2020-09-21 15:13:08 118

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建二(Hadoop篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建三、搭建Hadoop集群1.hadoop安装2.配置修改3.克隆并配置其他虚拟机4.启动测试5.可能遇到的问题在前文的基础继续进行三、搭建Hadoop集群此处集群搭建我们不按host映射来，直接使用的ip1.hadoop安装首先，在/usr/local目录下创建hadoop文件夹，之后将hadoop安装到这里，安装之后进入hadoop文件夹：cd /root #进入/root文件夹mkdir hadoop

2020-09-21 15:10:54 315

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建一(虚拟机篇)

虚拟机+Zookeeper+Hadoop+Hbase+Hive集群搭建（一、虚拟机篇）一、虚拟机安装Centos71.准备工作2.centos7安装过程3.关闭防火墙(关键)二、安装jdk1.卸载镜像自带jdk2.安装自己的jdk3.配置多机器间免密登录一、虚拟机安装Centos71.准备工作使用软件：VMware Workstation；该软件的安装一直下一步就行。下面开始阐述镜像的安装：可以直接去官网下载一个需要的镜像，本文操作时选择的是CentOS-7-x86_64-DVD-2003.iso

2020-09-21 15:06:44 205

原创 Zookeeper+Hadoop+Hbase+Hive+Kylin+Nginx集群搭建

虚拟机+Zookeeper+Hadoop+Hbase+hive+kylin+nginx集群搭建，本文详细的从自身搭建时遇到的问题出发讲述了虚拟机安装、jdk安装、zookeeper、Hadoop、hbase、hive、kylin、nginx安装与配置、集群设置等方面的内容，作为学习路上的参考

2020-09-14 20:34:06 1595

tiki的博客