- 博客(17)
- 收藏
- 关注
RSS订阅原创 maven中setting.xml 标签 mirror，repository的配置
配置一优先从mirror拉取资源，再从下面的repository依次读取<?xml version="1.0" encoding="UTF-8"?><settings xmlns="http://maven.apache.org/SETTINGS/1.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache
2022-03-07 21:24:37
3787
原创 kudu表数据的导入导出,处理null值问题
kudu to csv to hive to kudu1 建表kuducreate table default.kudu_table(aid string not null,ts bigint,count bigint,primary key(aid))PARTITION BY HASH (aid) PARTITIONS 6 STORED AS KUDU;2 插入数据insert into default.kudu_table values (“1”, 11, 11), (“2”, 22
2022-01-17 17:47:57
2041
转载 Docker详细教程
docker一、Docker介绍1.1引言为什么使用docker？传统环境： 1.环境不一致。 2.在多用户的操作系统下，会相互影响。 3.运维成本过高。 4.安装软件成本过高。1.2Docker的由来一帮年轻人创业，创办了溢价公司，2010年的专门做PAAS平台。到了2013年的时候，像亚马逊，微软，Google开始做PAAS平台。2013年将核心技术开源，核心技术就是Docker。1.3Docker的思想1.集装箱： 会将所有需要的内容放到不...
2022-01-10 17:49:12
368
转载 ldap删除重装启动报错main: TLS init def ctx failed: -1处理
参考文档连接https://www.cnblogs.com/students/p/12900846.html 由于ldap之前安装的配置信息有问题，去修改配置信息发现不生效，所以直接删除重装了，但是重装后启动死活起不来，一直报错 以下是排查过程 1、首先查看日志文件 默认安装日志文件/var/log/slapd.log 两个错误，一个checksum 配置文件错误和main: TLS init def ctx failed: -1错误 2、检测配...
2021-10-29 13:56:37
778
1
原创 flink1.13安装配置，flink on yarn
flink1.13安装配置1 下载解压2 配置hadoop_classpath3 添加依赖 common-cli、hadoop…4 启动、测试flink on yarn三种部署模式启动命令per job# flink旧版本./bin/flink run -m yarn-cluster -yjm 1024 -ytm 1024 -yqu root.up ./examples/streaming/TopSpeedWindowing.jar./examples/batch/WordCount
2021-10-16 10:27:49
1411
原创 sentry安装配置
第一部分：1.在mysql中配置数据库create database sentry deault character set utf8;grant all on sentry.* to ‘sentry’@’%’ identified by ‘sentry’;flush privileges;2.先在CDH中安装Sentry组件，gateway不用安装。server选择主节点。安装完成后3.hive 配置中启用Sentry服务，关闭Hive的用户模拟功能，集群未启用安全认证环境下，需要配置以下参
2021-10-16 10:15:47
513
原创 ldap安装卸载
ldap安装配置第一步 yum安装ldapyum -y install openldap compat-openldap openldap-clients openldap-servers openldap-servers-sql openldap-devel migrationtools第二步 查看是否安装成功slapd -VV第三步 设置管理员密码输入如下命令设置密码，注意需要输入两次, 将加密后的SSHA保存，下面配置文件中会用到[root@localhost ~]# slappass
2021-10-16 10:08:09
1317
原创 mysql5.7 查看修改密码策略
查看密码策略SHOW VARIABLES LIKE 'validate_password%';修改为弱密码策略set global validate_password_policy=0;set global validate_password_length=1;
2021-09-11 08:34:32
282
原创 sqoop 导入和导出脚本
导入#! /bin/bash/bin/sqoop import \-Dmapreduce.job.queuename=dev \--connect jdbc:mysql://node1:3306/test \--username root \--password 000000 \--target-dir /test/order/2021-07-25 \--delete-target-dir \--query "select id, xxx from order where (date_f
2021-07-25 18:03:27
220
原创 centos安装mysql
MySql安装1 安装包准备1）卸载自带的Mysql-libsrpm -qa | grep -i -E mysql|mariadb | xargs -n1 sudo rpm -e --nodeps2）将安装包和JDBC驱动上传01_mysql-community-common-5.7.29-1.el7.x86_64.rpm02_mysql-community-libs-5.7.29-1.el7.x86_64.rpm03_mysql-community-libs-compat-5.7.29-1.
2021-07-18 16:13:57
104
原创 shell
特殊变量$nn为数字，0代表该脚本名称，1-9代表第一到第九个参数，十以上的参数需要用大括号包含，如${10}#!/bin/bashecho "$0 $1 $2 ${11}"$#获取所有输入参数个数，常用于循环$?最后一次执行的命令的返回状态。如果这个变量的值为0，证明上一个命令正确执行；如果这个变量的值为非0（具体是哪个数，由命令自己来决定），则证明上一个命令执行不正确了$*获取命令行所有的参数，看做整体$@获取命令行所有的参数，分区...
2021-07-18 15:36:58
76
转载 mysql 查询日期相关数据
上周的数据SELECT * FROM t_order WHERE YEARWEEK(date_format(create_time,’%Y-%m-%d’),1) = (YEARWEEK(now(),1)-1) ;今天select * from 表名 where to_days(时间字段名) = to_days(now());昨天SELECT * FROM 表名 WHERE TO_DAYS( NOW( ) ) - TO_DAYS( 时间字段名) <= 1近7天SELECT * FRO
2021-07-04 15:28:20
69
原创 hive create table as select
1 注意分区字段create table test2 as select * from testtest2分区字段变为普通字段2 注意新建的表存储格式create table xxx stored as parquet as select ...
2021-06-11 22:19:02
1538
2
原创 kafka
启动kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties关闭bin/kafka-server-stop.sh查看topic列表bin/kafka-topics.sh --zookeeper hadoop102:2181/kafka --list创建topicbin/kafka-topics.sh --zookeeper hadoop102:2181/kafka \--create --replication
2021-02-05 11:27:27
338
原创 java线程池的一些概念
package com.hello.world.mock.test;import com.google.common.util.concurrent.ThreadFactoryBuilder;import org.apache.commons.lang3.concurrent.BasicThreadFactory;import org.junit.Test;import java.ut...
2020-04-08 17:11:43
157
原创 ExceptionAdvice
DefaultExceptionAdvice使用ControllerAdvice使其生效package com.xx.common.exception;import com.xx.common.core.domain.Result;import lombok.extern.slf4j.Slf4j;import org.springframework.http.HttpStatus;i...
2020-04-06 10:13:19
676
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人