5 Penny婷

尚未进行身份认证

暂无相关简介

等级
TA的排名 19w+

Flink的安装和使用(sql,datastream,cep)

一、安装1、环境准备:环境变量配置:export JAVA_HOME=/usr/share/java/jdk1.8.0_131export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/libexport PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/binexport HADOOP_HOME=/usr/hdp/3.1.0.0-78/hadoop/export HADOOP_

2020-05-16 10:38:05

Flink的核心概念及运行流程

一、什么是Flinkflink是数据流上的有状态计算,可以用来处理有界和无界数据(实时和批次)。1、应用的场景:• 事件驱动的应用• 数据管道 & ETL• 流式、批次数据分析二、概念及运行流程1、概念1.1、flink的组件堆栈Programs and Dataflows1、DataFlow的基本套路:构建运行环境-》Source(一个或多个)-》转换(算子) -》Sink(一个或多个)多个DataFlow组成DAG。2、并行化DataFlow(Distributed S

2020-05-15 23:45:11

ElasticSearch为什么快

https://www.jianshu.com/p/b50d7fdbe544https://deepexi.yuque.com/ofnx9c/yga6g1/lpz5mf/editES的最佳实践搜索和写入时节点的通信

2020-03-13 17:29:24

DolphinScheduler1.2源码开发环境搭建及架构分析

一、本地开发环境的搭建1、准备工作:1.1、环境:后端JDK(1.8+)Maven(3.3+)最好在本地解压一个hadoop并配上环境变量(不配好像会报一个winutils…的问题)前端node(Node包下载 (注意版本 8.9.4) https://nodejs.org/download/release/v8.9.4/)本地环境变量的配置:1.2、源码下载git...

2020-03-06 18:48:28

Datax的执行流程源码分析

DataX的框架的核心部分1、配置贯穿DataX,all in configuration,将配置的json用到了极致2、另一块是通过URLClassLoader实现插件的热加载。Job&Task概念 在DataX的逻辑模型中包括job、task两个维度,通过将job进行task拆分,然后将task合并到taskGroup进行运行。job实例运行在jobContainer容器中,...

2020-02-14 19:41:07

在使用ssh命令的时候发现java版本不一致

在使用ssh命令的时候发现java版本不一致通过ssh登陆之后会发现找不到JAVA_HOME ,我的JAVA_HOME是定义在/etc/profile 里面的。研究后发现远程登录和直接登录执行的文件是不一样的:/etc/profile: 当用户登录时,该文件被执行./etc/bashrc: 当bash shell被打开时,该文件被执行.ssh作为远程登录的方式进入,当然就无法触发/etc...

2019-10-12 09:50:18

Zookeeper选举方式,watch机制及基本操作

一、概念1、Zookeeper是一个分布式协调服务的开源框架,本质是一个分布式的小文件存储系统,主要用来解决分布式集群中,应用系统的一致性问题。2、架构图Leader (Zookeeper集群工作的核心)事务请求(写操作) 的唯一调度和处理者,保证集群事务处理的顺序性;集群内部各个服务器的调度者。*事务:对于 create, setData, delete 等有写操作的请求,则需要...

2019-07-28 21:05:58

解决虚拟机克隆网卡问题

因为一般我们克隆时要同时克隆几台机器,所以建议在克隆前解决后面可能会出现的网卡问题1、准备好要克隆的原机器:配置网络2、接下来是重点:删除/etc/udev/rules.d/70-persistent-net.rules的文件原因:应保证图中的两个地址一样,而如果上图的文件不删除会保留原克隆机的地址,导致新克隆的机器无法使用而重新生成一张新的网卡如果/etc/udev/rul...

2019-06-09 12:43:52

归并排序

1、归并操作(merge),也叫归并算法,指的是将两个顺序序列合并成一个顺序序列的方法。如 设有数列{6,202,100,301,38,8,1}初始状态:6,202,100,301,38,8,1第一次归并后:{6,202},{100,301},{8,38},{1},比较次数:3;第二次归并后:{6,100,202,301},{1,8,38},比较次数:4;第三次归并后:{1,6,8,38...

2019-05-25 08:28:02

堆排序

1、堆排序:是直接选择排序的升级版,是不稳定的排序2、时间复杂度:T(n)= O(nlogn),3、堆是具有以下性质的完全二叉树:每个结点的值都大于或等于其左右孩子结点的值,称为大顶堆;每个结点的值都小于或等于其左右孩子结点的值,称为小顶堆。我们用简单的公式来描述一下堆的定义就是:大顶堆:arr[i] >= arr[2i+1] && arr[i] >= a...

2019-05-24 14:25:55

希尔排序

1、希尔排序:是简单插入排序的改进版,是不稳定的排序2、时间复杂度:T(n) = O(n的平方),空间复杂度:S(n) = O(1)3、基本思想:希尔排序是把记录按下标的一定增量分组,对每组使用直接插入排序算法排序;随着增量逐渐减少,每组包含的关键词越来越多,当增量减至1时,整个文件恰被分成一组,算法便终止。代码实现public class ShellSort { public s...

2019-05-24 11:31:40

MyBatis逆向工程

1、环境:在IDEA上使用maven的mybatis插件生成逆向工程2、创建maven项目2.1 pom文件中的配置<dependencies> <dependency> <groupId>log4j</groupId> <artifactId>log4j</...

2019-05-22 16:34:52

快速排序

1、快速排序是冒泡排序的升级版,思想主要是分治加递归,是不稳定的排序由于使用递归,需要的空间比较大,所以不适合数据量大的情况下使用2、时间复杂度: T(n) = O(nlogn)(平均情况),最快情况:T(n) = O(n的平方)空间复杂度:S(n) = O(nlogn)3、实现:(1)分区(2)递归public class TestQuickSort { publi...

2019-05-21 15:08:22

排序算法及三种基本排序(冒泡排序、选择排序、直接插入排序)

一、排序的分类及效率分析二、三种基本排序(冒泡排序、选择排序、直接插入排序)的java代码实现/* 三种基本排序:T(n) = O(n的平方),S(n) = O(1) 1、直接选择排序 不稳定的排序 2、冒泡排序 稳定的排序 3、直接插入排序 稳定的排序 */public class BasicSort { public...

2019-05-20 10:44:51

哈希表(散列存储)

一般查找是通过将关键字值与给定值比较来确定位置,效率取决于比较次数。理想的方法是:不需要比较,根据给定值能直接定位记录的存储位置。一、hashtable 也叫散列表特点是很快,结构有多种,最流行、最容易理解的为顺序表—+链表,主结构为顺序表,每个顺序表的节点在单独引出一个链表。1、哈希表添加数据:(1)计算哈希码(调用hashcode)(2)计算在hash表中的存储位置(3)存入h...

2019-05-19 14:28:22

二叉查找树(BST)及红黑树

一、定义:或者是一棵空树或者是具有下列性质的二叉树(1)当左子树不空,则左子树上所有结点的值均小于它的根结点的值;(2)它的右子树上所有结点的值均大于它的根节点的值(3)它的左、右子树也分别为二叉排序树二、分类1、平衡二叉树是自平衡的二叉查找树,又被称为AVL树(有别于AVL算法)它的左右两个子树的高度差(平衡因子)的绝对值不超过1,并且左右两个子树都是一颗平衡二叉树2、红黑树...

2019-05-18 15:31:10

线性表查找(顺序查找,二分查找)

1、顺序查找(无序)2、折半查找(必须是有序数组)实现代码(java)public class lineSearch { //测试代码 public static void main(String[] args) { //顺序查找 int[] arr1 = {34,76,23,98,87,35,8,32,74,44}; int ...

2019-05-18 08:17:58

图及最短路径

一、图1、定义:描述的是多对多的关系,图是一种网状数据结构,图是由非空的顶点集合和一个描述顶点之间关系(边)的集合组成。2、分类:3、图的存储(1)邻接矩阵:二维数组 顺序存储结构(2)邻接表:链表 链式存储结构4、应用:各种地图,地铁线路图等二、图的遍历1、概念图的遍历就是从图中某个顶点出发,按某种方法对图中所有顶点访问且仅访问一次。图的遍历算法是求解图的连通性...

2019-05-16 13:23:10

树和二叉树的先、中、后序遍历

一、树的一些概念:1、结点的度与树的度:结点的度:结点拥有的子树的数目(度为0的结点称为叶子结点)树的度:树内各结点的度的最大值2、结点的层次(level)和树的深度(depth)结点的层次:从根开始定义,层次数为1的结点是根结点。树的深度:树中结点的最大层次数称为树的深度或高度3、有序树、m叉树,森林有序树:树中结点的各子树看成是从左至右有次序的。m叉树:树中所...

2019-05-15 19:35:57

数据结构-栈和队列

一、栈1、栈的定义栈(stack )又称堆栈,它是运算受限的线性表。其限制是仅允许在表的一端进行插入和删除操作,不允许在其他任何位置进行插入、查找、删除等操作。表中进行插入、删除操作的一端称为 栈顶(top) ,栈顶保存的元素称为 栈顶元素。相对的,表的另一端称为栈底(bottom)当栈中没有数据元素时称为空栈;向一个栈插入元素又称为 进栈或 入栈;从一个栈中删除元素又称为 出栈或...

2019-05-14 08:56:36

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。