2 BoomLee

尚未进行身份认证

我要认证

RHCE认证,AWS SAP 认证。

等级
TA的排名 4w+

Centos7 Hbase 分布式安装(超详细)

1.虚拟机配置192.168.10.1 hbase-01192.168.10.2 hbase-02192.168.10.3 hbase-032.基本环境JDK 1.8+Maven 3.5+ (可选)Git(可选)Hbase 下载地址 https://hbase.apache.org/downloads.html3.基本配置1.修改/etc/hosts 文件,添加以下主机信息192.168.10.1 hbase-01192.168.10.2 hbase-02192.168.10.

2020-06-02 16:52:36

PostGrepSql 线程池多线程数据插入

需求数据库表复制,数据量大时,用单纯的客户端工具只能单线程导入,时间耗时长。本文主要采用JDBC 和 线程池解决这个问题。JDBC我用的 PostGrepSql 数据库,根据自己的数据库 添加pom.xml <dependency> <groupId>postgresql</groupId> <artifactId>postgresql</artifactId> <version>

2020-05-28 11:28:43

GeoMesa时空基础及应⽤场景

推荐视频讲解 1h https://yq.aliyun.com/live/793基础概念数据库时空引擎OGC 空间要素对象表达SimpleFeature :时空要素的抽象表达,默认还有Geometry字段SimpleFeatureTpye:要素元数据描述,包括:字段名、类型、空间参考等,类比数据库表结构WKT: Well-known text,用来描述SimpleFeature 对象GeoMesa 简介GeoMesa是⼀一款开源的基于分布式计算系统的⾯面向海海量量时空数据查询与分析

2020-05-17 17:58:07

Spark Shuffle 分析

1.Shuffle原理目录1.Shuffle原理1.1概述1.1.1 Map task端操作1.1.2 Reduce task端操作1.1.3SparkShuffle2.1 Spark Shuffle的实现2.2Shuffle的写操作2.2.1基于 Hash的Shuffle写操作2.2.2基于排序的 Shuffle写操作...

2020-04-27 22:53:50

2020 Flink 面试题(不定时更新,欢迎补充)

###简单介绍一下FlinkFlink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。 并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处...

2020-04-23 13:51:18

kafka 集群安装部署(最详细 zookeeper+kafka+生产者消费者验证)

Kafka集群规划Zookeeper集群共三台服务器,分别为:node1、node2、node3。Kafka集群共三台服务器,分别为:node1、node2、node3。一.Zookeeper集群准备ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性...

2020-04-19 16:49:48

Apache Flink 学习之 Flink 集群安装部署(6)

Flink支持三大部署模式:1. Local 本地部署Flink 可以运行在 Linux、Mac OS X 和 Windows 上。本地模式的安装唯一需要的只是Java 1.8.x或更高版本,本地运行会启动Single JVM,主要用于测试调试代码。1.1 Windows本地部署参照官网点我Flink如果要在Windows计算机上本地运行Flink,则需要下载并解压缩二进制...

2020-04-15 23:17:25

Apache Flink 学习之 Flink strom SparkStreaming 对比及如何选择(2)

一.基本介绍实时计算引擎相对于批处理计算引擎领域选择技术方案有很多,主流的方案包含有Flink、Spark streamming、strom、Kafka、Pulsar、Beam、Gearpump、Edgent、Samza、阿里MaxCompute、Hadoop等等。二.对比三.如何选择需要关注流数据是否需要进行状态管理 At-least-once或者Exectly-once...

2020-04-15 13:54:08

十大经典排序算法之选择排序(2)

1.基本思想首先在未排序序列中找到最小(大)元素,存放到排序序列的起始位置。再从剩余未排序元素中继续寻找最小(大)元素,然后放到已排序序列的末尾。重复第二步,直到所有元素均排序完毕。2.动图演示3.代码实现JAVA...

2020-04-13 23:04:42

十大经典排序算法之冒泡排序(1)

冒泡排序(Bubble Sort)也是一种简单直观的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序错误就把他们交换过来。走访数列的工作是重复地进行直到没有再需要交换,也就是说该数列已经排序完成。这个算法的名字由来是因为越小的元素会经由交换慢慢"浮"到数列的顶端。作为最简单的排序算法之一,冒泡排序给我的感觉就像 Abandon 在单词书里出现的感觉一样,每次都在第一页第一...

2020-04-13 16:51:53

大数据之 HIVE 面试题 (不定时更新)

Hive 面试题 最全

2020-04-10 00:03:34

大数据之Spark面试题(不定时更新,欢迎补充)

1.spark中的RDD是什么,有哪些特性?RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合。三个特性分区,不可变,并行操作。Resilient:表示弹性的,弹性表示 Destributed:分布式,可以并行在集群计算 Dataset:就是一个集合,用于存放...

2020-04-09 00:13:25

一分钟了解悲观锁和乐观锁

何谓悲观锁与乐观锁悲观锁乐观锁应用场景版本号机制CAS 算法乐观锁的缺点1. ABA 问题2. 循环时间长开销大3.只能保证一个共享变量的原子操作CAS与synchronized的使用情景乐观锁对应于生活中乐观的人总是想着事情往好的方向发展,悲观锁对应于生活中悲观的人总是想着事情往坏的方向发展。这两种人各有优缺点,不能不以场景而定说一种人好于另外一种人。悲观锁总是假设最坏的情况,每次去拿...

2020-04-08 23:16:52

Myeclipse 导入Java web Servlet 项目

1.选择打开已存在的项目2.选择项目3.导入后,右键选择Run as4.选择配置好的tomcat5.Finish 后项目启动6.启动项目前 配置好自己的数据库,就可以正常登陆了admin/1117.登陆画面...

2019-12-03 21:24:19

集合切分:List集合按照数量切分成若干个集合

根据数值对集合切分/** * 将集合按指定数量分组 * * @param list 数据集合 * @param quantity 分组数量 * @return 分组结果 */ public static <T> List<List<T>> groupListByQuanti...

2019-11-28 10:43:12

JAVA 子父遍历排序

如图所示,每一个id都有父子关系,通过父子关系将所有点排序。// 遍历先获取起点,即没有父id的点String first; boolean flag = true; String temp = first; while (flag) { Iterator<Points> iterator ...

2019-11-24 18:28:46

Java 解压 zip 文件

1.maven<dependency> <groupId>net.lingala.zip4j</groupId> <artifactId>zip4j</artifactId> <version>1.3.2</version></d...

2019-11-20 15:31:29

Flink 访问 https web 接口 ,java实现

1.直接上代码输入https链接即可import org.apache.flink.core.fs.FileSystem;import org.apache.flink.streaming.api.datastream.DataStream;import org.apache.flink.streaming.api.environment.StreamExecutionEnviro...

2019-10-29 13:54:51

windows环境下netcat的安装及使用

简介netcat是网络工具中的瑞士军刀,它能通过TCP和UDP在网络中读写数据。通过与其他工具结合和重定向,你可以在脚本中以多种方式使用它。使用netcat命令所能完成的事情令人惊讶。netcat所做的就是在两台电脑之间建立链接并返回两个数据流,在这之后所能做的事就看你的想像力了。你能建立一个服务器,传输文件,与朋友聊天,传输流媒体或者用它作为其它协议的独立客户端。1. 下载下载地址h...

2019-10-15 11:13:23

GDAL ogr2ogr 转换mif 为sqlite

1.下载gdal环境工具windows编译好的gdal下载地址:http://www.gisinternals.com/release.php2.解压进入该目录以管理员身份运行SDKShell.bat进入到mid mif 目录后,使用命令ogr2ogr -f "sqlite" test.sqlite test.mif如果转换多个mid mifogr2ogr append -f "...

2019-10-10 11:25:50

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取