- 博客(79)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 CDH 6.3.2 离线安装部署详细教程 （亲妈级别教学，有手就行）
CDH6.3.2安装手册文章目录CDH6.3.2安装手册@[toc]官网地址1 下载CM和CDH2 CDH 6.2.1组件版本信息3 搭建步骤1.1 硬件检查1.2 基础环境搭建1.2.1 配置ip（本地环境）1.2.2 修改主机名1.2.3 安装jdk1.2.4 关闭防火墙1.2.5 关闭selinux1.2.6 安装时间同步服务1.2.7 安装mysql1.2.8 配置 mysql-connector-java 包1.2.9 配置ssh免密登陆1.2.10 下载第三方依赖包1.2.11 创建Clou
2021-07-26 21:41:49
13343
5
原创 Linux Centos7.2 搭建 redis 集群及常见问题(阿里云主机)
一、环境1.Centos7.2 x32.Redis集群要求至少要有三个节点，我这里配置3台，每台一主一备。3.端口号 6379-6384 需要在阿里云 安全策略中开通端口，同时要开通16379-16384(集群总线端口为redis客户端连接的端口 + 10000)二、安装过程1.安装路径mkdir /opt/redis2.进入安装路径，执行下载安装编译yum...
2018-09-28 16:09:04
716
1
原创 Impala
交互式查询工具 Imapala第1部分 Impala 概念1.1 Impala 是什么Impala是Cloudera提供的一款开源的针对HDFS和HBASE中的PB级别数据进行交互式实时查询(Impala速度快)，Impala是参照谷歌的新三篇论文当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。Impala最大卖点和最大特点就是快速，Impala中文翻译是高角羚羊。1.2 Im
2022-05-04 14:37:08
1003
原创 BI分析工具 Apache Superset 安装部署
1 Superset概述https://superset.apache.orghttps://github.com/apache/supersetsuperset是一个开源的、现代的、轻量级BI分析工具，支持多种数据源、拥有丰富的图表展示形式、支持自定义仪表盘。superset能够对接常用的大数据分析工具，如Hive、Kylin、Durid等，支持自定义仪表盘，可作为数仓的可视化工具。2 Superset安装部署superset是由python语言开发的web应用，要求python3.6环境
2022-04-14 15:58:56
1256
原创 PostgreSql 获取表的字段多主键备注
SELECT A.table_schema, A."table_name", A.ordinal_position, A.COLUMN_NAME,CASE A.is_nullable WHEN 'NO' THEN 0 ELSE 1 END AS is_nullable, A.data_type, COALESCE ( A.character_maximum_length, A.numeric_precision, - 1 ) AS LENGTH, A.numeric_s
2021-10-14 13:14:03
258
原创 Oracle 11g XE 安装 （仅供学习测试）
1.下载链接：https://pan.baidu.com/s/1EtI7jdktSgAD2WXt6kgwZQ提取码：biae2. 系统环境yum -y install bcyum install libaio*yum -y install unzip3.解压安装unzip oracle-xe-11.2.0-1.0.x86_64.rpm.zipcd Disk1rpm -ivh oracle-xe-11.2.0-1.0.x86_64.rpm如果出现This system does n
2021-07-07 18:46:36
764
原创 RocketMQ 4.7.1 部署安装单机版（搭建学习环境准备篇）
环境要求1.jdk1.8+1.下载wget https://archive.apache.org/dist/rocketmq/4.3.2/rocketmq-all-4.3.2-bin-release.zip --no-check-certificate2.解压unzip rocketmq-all-4.3.2-bin-release.zip3.修改配置文件
2021-06-22 16:13:20
919
原创 层级结构 Excel 转结构化 Json
Excel 如图所示结果展示话不多说，上代码pom.xml <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.47</version> </dependency>
2021-04-15 15:12:39
724
原创 Mysql 5.7 安装完成后，无法使用默认密码登陆
1、修改 /etc/my.cnf，在 [mysqld] 小节下添加一行：skip-grant-tables=1这一行配置让 mysqld 启动时不对密码进行验证2、重启 mysqld 服务：systemctl restart mysqld3、使用 root 用户登录到 mysql -u root4、切换到mysql数据库:use mysql;更新 user 表：将密码更改为 123456update user set authentication_string = password('r
2020-12-23 16:29:30
778
原创 HDFS 面试篇（超全超详细） 欢迎补充
HDFS 简介HDFS （全称：Hadoop Distribute File System，Hadoop 分布式文件系统）是 Hadoop 核心组成，是分布式存储服务。分布式文件系统横跨多台计算机，在大数据时代有着广泛的应用前景，它们为存储和处理超大规模数据提供所需的扩展能力。HDFS是分布式文件系统中的一种。Hdfs的block和spark的partition有什么区别吗？1.在hdfs中的block是分布式存储的最小单元，等分，并且可以设置冗余，这样设计会出现一部分磁盘空间的浪费，但是整齐
2020-12-03 16:48:17
570
原创 Docker 安装 kafka
1.下载镜像a) 下载 zookeeperdocker pull wurstmeister/zookeeperb) 下载 kafkadocker pull wurstmeister/kafka:2.11-0.11.0.32.启动镜像a) 启动zookeeperdocker run -d --name zookeeper --publish 2181:2181 --volume /etc/localtime:/etc/localtime wurstmeister/zookeeperb)
2020-07-01 19:26:43
442
1
原创 Centos 7 安装 Docker (阿里云)
卸载旧版本 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \
2020-07-01 13:30:06
665
原创 windwos 单机 kafka 部署（方便于本地测试）
下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.4.0/kafka_2.11-2.4.0.tgz1.解压到本地目录我的路径是 C:\Mysoftware\02Dev\kafka_2.11-2.4.02.启动 kafka 服务1.打开cmdcd D:\kafka_2.11-2.4.02.启动zookeeper 服务bin\windows\zookeeper-server-start.bat config\zookeeper.pr
2020-06-29 16:21:09
6135
原创 Centos7 Hadoop Hdfs Hbase 分布式安装（超详细建议收藏）
1.虚拟机配置192.168.10.1 hbase-01192.168.10.2 hbase-02192.168.10.3 hbase-032.基本环境JDK 1.8+Maven 3.5+ （可选）Git（可选）Hbase 下载地址 https://hbase.apache.org/downloads.html3.基本配置1.修改/etc/hosts 文件，添加以下主机信息192.168.10.1 hbase-01192.168.10.2 hbase-02192.168.10.
2020-06-02 16:52:36
1461
2
原创 PostGrepSql 线程池多线程数据插入
需求数据库表复制，数据量大时，用单纯的客户端工具只能单线程导入，时间耗时长。本文主要采用JDBC 和 线程池解决这个问题。JDBC我用的 PostGrepSql 数据库，根据自己的数据库 添加pom.xml <dependency> <groupId>postgresql</groupId> <artifactId>postgresql</artifactId> <version>
2020-05-28 11:28:43
945
原创 GeoMesa时空基础及应⽤场景
推荐视频讲解 1h https://yq.aliyun.com/live/793基础概念数据库时空引擎OGC 空间要素对象表达SimpleFeature :时空要素的抽象表达，默认还有Geometry字段SimpleFeatureTpye:要素元数据描述，包括：字段名、类型、空间参考等，类比数据库表结构WKT： Well-known text,用来描述SimpleFeature 对象GeoMesa 简介GeoMesa是⼀一款开源的基于分布式计算系统的⾯面向海海量量时空数据查询与分析
2020-05-17 17:58:07
2714
1
原创 Spark Shuffle 分析
1.Shuffle原理目录1.Shuffle原理1.1概述1.1.1 Map task端操作1.1.2 Reduce task端操作1.1.3SparkShuffle2.1 Spark Shuffle的实现2.2Shuffle的写操作2.2.1基于 Hash的Shuffle写操作2.2.2基于排序的 Shuffle写操作...
2020-04-27 22:53:50
300
原创 2020 Flink 面试题（不定时更新，欢迎补充）
###简单介绍一下FlinkFlink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处...
2020-04-23 13:51:18
2555
原创 kafka 集群安装部署（最详细 zookeeper+kafka+生产者消费者验证）
Kafka集群规划Zookeeper集群共三台服务器，分别为：node1、node2、node3。Kafka集群共三台服务器，分别为：node1、node2、node3。一.Zookeeper集群准备ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性...
2020-04-19 16:49:48
2926
4
原创 Apache Flink 学习之 Flink 集群安装部署（6）
Flink支持三大部署模式：1. Local 本地部署Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.8.x或更高版本，本地运行会启动Single JVM，主要用于测试调试代码。1.1 Windows本地部署参照官网点我Flink如果要在Windows计算机上本地运行Flink，则需要下载并解压缩二进制...
2020-04-15 23:17:25
327
原创 Apache Flink 学习之 Flink strom SparkStreaming 对比及如何选择（2）
一.基本介绍实时计算引擎相对于批处理计算引擎领域选择技术方案有很多，主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCompute、Hadoop等等。二.对比三.如何选择需要关注流数据是否需要进行状态管理 At-least-once或者Exectly-once...
2020-04-15 13:54:08
380
原创 十大经典排序算法之选择排序（2）
1.基本思想首先在未排序序列中找到最小（大）元素，存放到排序序列的起始位置。再从剩余未排序元素中继续寻找最小（大）元素，然后放到已排序序列的末尾。重复第二步，直到所有元素均排序完毕。2.动图演示3.代码实现JAVA...
2020-04-13 23:04:42
180
原创 十大经典排序算法之冒泡排序（1）
冒泡排序（Bubble Sort）也是一种简单直观的排序算法。它重复地走访过要排序的数列，一次比较两个元素，如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换，也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢"浮"到数列的顶端。作为最简单的排序算法之一，冒泡排序给我的感觉就像 Abandon 在单词书里出现的感觉一样，每次都在第一页第一...
2020-04-13 16:51:53
445
原创 大数据之Spark面试题（不定时更新，欢迎补充）
1.spark中的RDD是什么，有哪些特性？RDD（Resilient Distributed Dataset）叫做分布式数据集，是spark中最基本的数据抽象，它代表一个不可变，可分区，里面的元素可以并行计算的集合。三个特性分区，不可变，并行操作。Resilient：表示弹性的，弹性表示 Destributed：分布式，可以并行在集群计算 Dataset：就是一个集合，用于存放...
2020-04-09 00:13:25
588
原创 一分钟了解悲观锁和乐观锁
何谓悲观锁与乐观锁悲观锁乐观锁应用场景版本号机制CAS 算法乐观锁的缺点1. ABA 问题2. 循环时间长开销大3.只能保证一个共享变量的原子操作CAS与synchronized的使用情景乐观锁对应于生活中乐观的人总是想着事情往好的方向发展，悲观锁对应于生活中悲观的人总是想着事情往坏的方向发展。这两种人各有优缺点，不能不以场景而定说一种人好于另外一种人。悲观锁总是假设最坏的情况，每次去拿...
2020-04-08 23:16:52
475
原创 Myeclipse 导入Java web Servlet 项目
1.选择打开已存在的项目2.选择项目3.导入后，右键选择Run as4.选择配置好的tomcat5.Finish 后项目启动6.启动项目前 配置好自己的数据库，就可以正常登陆了admin/1117.登陆画面...
2019-12-03 21:24:19
877
原创 集合切分：List集合按照数量切分成若干个集合
根据数值对集合切分/** * 将集合按指定数量分组 * * @param list 数据集合 * @param quantity 分组数量 * @return 分组结果 */ public static <T> List<List<T>> groupListByQuanti...
2019-11-28 10:43:12
3444
原创 JAVA 子父遍历排序
如图所示，每一个id都有父子关系，通过父子关系将所有点排序。// 遍历先获取起点,即没有父id的点String first; boolean flag = true; String temp = first; while (flag) { Iterator<Points> iterator ...
2019-11-24 18:28:46
1110
原创 Java 解压 zip 文件
1.maven<dependency> <groupId>net.lingala.zip4j</groupId> <artifactId>zip4j</artifactId> <version>1.3.2</version></d...
2019-11-20 15:31:29
189
原创 Flink 访问 https web 接口 ，java实现
1.直接上代码输入https链接即可import org.apache.flink.core.fs.FileSystem;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnviro...
2019-10-29 13:57:10
4278
2
原创 windows环境下netcat的安装及使用
简介netcat是网络工具中的瑞士军刀，它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向，你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。netcat所做的就是在两台电脑之间建立链接并返回两个数据流，在这之后所能做的事就看你的想像力了。你能建立一个服务器，传输文件，与朋友聊天，传输流媒体或者用它作为其它协议的独立客户端。1. 下载下载地址h...
2019-10-15 11:26:22
8429
原创 GDAL ogr2ogr 转换mif 为sqlite
1.下载gdal环境工具windows编译好的gdal下载地址：http://www.gisinternals.com/release.php2.解压进入该目录以管理员身份运行SDKShell.bat进入到mid mif 目录后，使用命令ogr2ogr -f "sqlite" test.sqlite test.mif如果转换多个mid mifogr2ogr append -f "...
2019-10-10 11:32:43
674
原创 JAVA 调用API接口 工具类（get post ）
1.代码如下package com.here.platform.examples.ingestion.util;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.io.PrintWriter;import java.util.*...
2019-06-20 14:23:35
4583
2
原创 Linux 安装Oralce 11g r2 环境准备
1.安装环境yum -y install 按行复制安装依赖包unix* binutils compat-libstdc++-33 elfutils-libelfelfutils-libelf-develelfutils-libelf-devel-staticgcc gcc-c++ glibc glibc-common glib...
2019-04-03 13:55:03
406
原创 Windows 安装Spark 环境
1.下载地址http://spark.apache.org/downloads.html2.配置环境解压到指定目录添加环境变量SPARK_HOME内容为解压的目录C:\Mysoftware\Dev\spark-2.3.3-bin-hadoop2.7\Path 里 添加%SPARK_HOME%\bin;%SPARK_HOME%\sbin验证...
2019-04-01 13:45:58
306
原创 Linux Centos7 安装 JDK1.8
1.下载地址https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.选择Linux 64 tar.gz 安装包下载，或者使用我的百度云下载。链接：https://pan.baidu.com/s/13sBHD_0OuVpca_wBQHfh5w提取码：kfhz3....
2019-03-18 14:03:11
348
原创 Linux 安装Jenkins
1.yum安装（需要java环境）1.1更新yum仓库wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo1.2 yum安装yum -y install jenkins--nogpgcheck2.配置文件/usr/lib/jenki...
2019-01-31 13:38:45
237
深入实践SpringBoot(陈韶健著)_机械工业出版社PDF高清扫描版
2018-05-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人