- 博客(113)
- 收藏
- 关注
RSS订阅原创 flink源码阅读之ExecutionGraph的生成过程
flink源码阅读之ExecutionGraph的生成过程StreamGraph和JobGraph都是在client端生成的，JobGraph相比于StreamGrap，已经有了一定程度上的优化，当client将JobGraph提交给JobManager时，JobManager会根据JobGraph生成对应的ExecutionGraph。TaskManager最终会根据ExecutionGraph执行任务flink运行架构在了解ExecutionGraph的生成过程时，首先要了解flink的运行架构，
2020-08-30 23:22:21
577
原创 flink源码阅读之JobGraph的生成过程
flink生成JobGraph的过程本文flink版本为flink1.11flink job在最初会生成一个StreamGraph，然而StreamGraph只是程序初步得到的一个数据链路，根据算子的并行度等因素还能优化成为JobGraph。JobGraph的存在主要是为了兼容batch process，Streaming process最初产生的是StreamGraph，而batch process产生的则是OptimizedPlan，他们最后都会转化为JobGraph。生成JobGraph的整体流
2020-08-25 23:07:45
936
原创 flink源码阅读之StreamGraph的生成过程
flink生成StreamGraph的过程本文从源码角度分析flink生成StreamGraph的过程，flink版本为1.11。从一个demo开始public class StreamingJob { public static void main(String[] args) throws Exception { // set up the streaming execution environment final StreamExecutionEnvironment env = St
2020-08-24 23:58:29
790
原创 Flink1.11中watermark的创建以及如何使用watermark处理乱序数据和迟到数据
Flink1.11中Watermark的创建以及如何使用watermark处理乱序数据以及迟到数据进行处理Flink1.11重写WaterStrategy[FLIP-126] 优化 Source 的 WatermarkAssigner 接口新的 WatermarkAssigner 接口将之前的 AssignerWithPunctuatedWatermarks 和 AssignerWithPeriodicWatermarks 的两类 Watermark 的接口进行了整合，从而简化了后续开发支持插入 Wa
2020-08-15 21:23:03
3737
2
原创 idea中配置Lombok + Logback + Slf4j打印日志(附所有踩坑记录)
本文介绍非spring项目中利用Lombok + Logback + Slf4j记录日志，并附上所有的踩坑记录本文环境macosIdea2019.2配置过程首先在idea中下载lombok插件在pom.xml文件中引入Lombok，Logback，Slf4j依赖 <dependency> <groupId>org.s...
2020-04-30 22:55:34
4475
原创 Java设计模式之工厂模式与抽象工厂模式
工厂模式 工厂模式在设计模式中属于创建者模式，工厂模式的目的是不让创建对象时不把创建逻辑暴露给客户端，并且通过一个统一接口来指向创建对象核心本质实例化对象不是用new而使用工厂方法代替将选择实现类，创建对象统一管理和控制，从而将调用者与使用者解耦简单工厂模式 简单工厂模式又称静态工厂模式，简单工厂创建一个工厂类，根据客户端传入的不同参数，来创建不同的产品(类)。而这些被创建...
2020-03-10 11:36:48
260
原创 解决:关闭zookeeper时出现Stopping zookeeper … /zookeeper/bin/zkServer.sh: line 182: kill: (3118) - No such p
解决：关闭zookeeper时出现Stopping zookeeper … /zookeeper/bin/zkServer.sh: line 182: kill: (3118) - No such process问题之前配置完zookeeper运行的一直没问题，但是昨天启动zookeeper之后一直关闭不了，运行zkServer.sh stop一直提示如下查看一下jps进程常规思路 直...
2020-02-11 10:24:52
9349
原创 Kafka中利用自定义序列化器收发消息
Kafka中利用自定义序列化器收发消息序列化器Kafka中，自带的序列化器有 int、short、long、float、double、String 、byte[]等数据类型，但这种序列化器很难满足复杂数据的收发需求，如发送一个商户的数据，数据中包含user_id,age_range,gender,merchant_id,label等信息，数据如下所示，此时就需要自定义序列化器user_i...
2019-12-23 19:34:46
343
原创 Spark2.3中JavaAPI创建DataFrame
Spark2.3中JavaAPI创建DataFrame的方式通过反射的方式创建注意该方法不推荐使用自定义类要可序列化自定义类的访问级别为PublicRDD转成DataFrame后会根据映射将字段按Ascii排序将DataFrame转换成RDD时获取字段两种方式,一种是df.getInt(0)下标获取（不推荐使用），另一种是df.getAs(“列名”)获取（推荐使用）实现数...
2019-12-04 16:24:10
779
原创 Spark历史日志服务器配置
Spark历史日志服务器配置配置存放历史日志的路径在客户端中[root@node04 spark-2.3.1]# cd conf/[root@node04 conf]# vim spark-defaults.conf，进行配置，注意hdfs的端口，如果存放日志的端口配置错误，那么在使用spark-shell提交任务时，会有连接异常java.net.ConnectExceptions...
2019-11-24 20:33:04
980
1
原创 Spark或Hadoop提交任务出现java.net.ConnectException
场景为：要实现将spark的运行目录写入hdfs中，但是出现了如下问题具体问题如下2019-11-21 10:17:18 ERROR SparkContext:91 - Error initializing SparkContext.java.net.ConnectException: Call From node04/192.168.68.34 to node01:9000 failed ...
2019-11-21 11:29:11
993
原创 基于AspectJ的AOP开发
基于AspectJ的AOP开发AspectJ简介AspectJ是一个基于Java语言的AOP框架Spring2.0以后新增了对AspectJ切点表达式支持@AspectJ是AspectJ1.5新增功能，通过JDK5注解技术，允许直接再Bean类中定义切面新版本Spring框架，建议使用AspectJ方式来开发AOP使用AspectJ需要导入Spring AOP和AspectJ相关ja...
2019-11-14 21:33:21
222
原创 Spring AOP
Spring AOPAOP的概述AOP Aspect Oriented Programing 面向切面编程AOP采取横向抽取机制，取代了传统纵向继承体系重复性代码(性能监视、事务管理、安全检查、缓存)Spring AOP使用纯Java实现，不需要专门的编译过程和类加载器，在运行期通过代理方式向目标类注入增强代码传统纵向继承与AOP相比较一般情况而言，想要增强save方法，会多写一个...
2019-11-10 20:46:58
137
原创 Spring Bean管理
Spring Bean管理Spring工厂类老版本中使用的是BeanFactory，ApplicationContext为其子接口，功能更多现在一般使用ApplicationContext加载类路径下的配置文件在resources文件夹下创建applicationContext.xml文件<?xml version="1.0" encoding="UTF-8"?>&...
2019-11-07 19:08:01
169
转载 mybatis中出现Error querying database. Cause: org.apache.ibatis.executor.ExecutorException: Executor wa
转：https://juejin.im/post/5d3d63c7f265da1b60294c02
2019-10-31 19:10:03
2075
原创 Image Super-Resolution via Deep Recursive Residual Network(DRRN)论文阅读笔记
目的 尽管其他深度网络再进行SR时取得了优异的性能，但深度网络需要大量的参数。与紧凑模型相比，大型模型需要更多的存储空间，对移动系统的适用性较差，作者创造DRRN取得更好的性能，并且比VDSR，DRCN，RED30等网络所需要的参数更加少。DRRN在算法上的创新在DRRN中引入了global learning和residual learning 在视觉识别和图像恢复等领域中，如...
2019-10-20 15:16:08
1057
原创 Richer Convolutional Features for Edge Detection(RCF)阅读笔记
网络结构 每个卷积层捕获的有用信息随着其接受域大小的增加而变得更粗糙，随着网络深入receptive field逐渐增大，网络基于VGG16做了以下几点更改作者切断了所有完全连接层和VGG16网络每个卷积层的最大池化层，删除全连接层是已经为与作者的网络设计不一致，而删除池化层是应为，池化层会使步幅增加两倍，不利于边缘定位将VGG的每个stage的卷积层都连接到一个卷积层中，该conv...
2019-10-17 17:16:08
451
原创 Holistically-Nested Edge Detection(HED)论文阅读笔记
Holistically-Nested Edge Detection(HED)阅读笔记HED是一种基于深监督模式的二至边缘检测模型，以VGG模型作为基础结构，利用多层级的特征融合方式，实现二值边缘检测任务HED网络示意图 在卷积层后面侧边插入一个输出层side-output层，在side-output层上进行deep supervision，使得结果向着边缘检测方向进行，同时随着sid...
2019-10-16 21:48:24
661
原创 利用matlab工具包进行双目立体标定
matlab尽量下载2017之后的版本，不然可能需要自行下载立体标定工具包1、利用双目相机同时拍摄20-30张棋盘格照片，如下所示打开matlab，点击左上角的APP选择stereo camera calibration工具包打开工具包之后选择左上角的Add Image按钮导入左右相机的照片，选中Skew、Tangential Distortion以及3 Coefficie...
2019-09-29 21:37:38
660
原创 macos下编译Spark2.3.4源码
macos下编译Spark2.3.4源码配置环境下载Scala2.12在github中下载Spark源码，clone或者直接下载都可以下载完之后配置java，spark，maven，scala环境变量如下vim ~/.bash_profile配置完成之后记得source .bash_profile开始编译进入Spark的目录mvn -DskipTests cle...
2019-09-28 13:04:41
254
原创 C++实现opencv中的SGBM匹配算法并实现调参
实现SGBM调参C++实现SGBM的各个参数意义，请参考https://blog.csdn.net/wwp2016/article/details/86080722整个程序分为3部分SGBMStart，SGBMUpdate，main#include <opencv2/opencv.hpp>#include "opencv2/highgui/highgui.hpp"using...
2019-09-25 20:49:41
5628
5
原创 Spark基于Yarn-Client提交任务报错以及解决方案
Spark基于Yarn-client模式提交人物产生的错误初次在Yarn-client模式下提交时，第一次运行报错，主要为一下三部分client token: N/A diagnostics: Application application_1568870310822_0001 failed 2 times due to AM Container for appattempt_1568...
2019-09-19 22:11:39
1466
原创 idea连接HBase并对数据进行操作
idea连接HBase并对数据进行操作创建一张表先创建一张表@Test public void createTable() throws IOException { //表的描述类 HTableDescriptor desc = new HTableDescriptor(TableName.valueOf(tm)); //列族 ...
2019-08-30 20:48:06
7435
2
原创 idea连接Hive数据库并进行wordcount
idea连接Hive数据库集群中的准备工作在node01中开启mysql服务[root@node01 ~]# service mysqld start在node03中开启hive的元数据服务[root@node03 ~]# hive --service metastore在node04中开启hiveserver2服务[root@node04 ~]# hiveserver2在idea中...
2019-08-24 17:04:03
1218
原创 MapReduce模拟小型推荐系统
MapReduce实例-好友推荐背景好友关系图如下图所示转化为文字之后为，即为输入数据tom hello hadoop catworld hadoop hello hivecat tom hivemr hive hellohive cat hadoop world hello mrhadoop tom hive worldhello tom world hive mr思路...
2019-08-17 15:57:11
451
原创 搭建YARN并进行单词统计
搭建YARN并进行单词统计节点分布NN-1NN-2DNZKZKFCJNNRSNMNode01***Node02******Node03*****Node04****配置单节点Yarn[root@node01 hadoop]# mv mapred-site.xml.te...
2019-08-01 16:43:21
344
原创 idea远程连接hadoop并进行文件操作
idea远程连接hadoop部署完高可用集群之后，尝试idea远程连接hadoop进行操作配置windows中的hadoop环境下载hadoop2.6.5到windows中并放在一个纯英文目录下配置环境变量，先系统变量中创建HADOOP_HOME创建HADOOP_USER_NAME，名称为集群中的登录名称在系统变量的Path中添加%HADOOP_HOME%/bi...
2019-07-30 13:17:12
8301
11
原创 Hadoop2.X之高可用简介及环境搭建
Hadoop2.0之高可用Hadoop2.0产生背景Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题HDFS存在的问题(2个)NameNode单点故障，难以应用于在线场景 HA（高可用）NameNode压力过大，且内存受限，影响扩展性 F（federation，多个NameNode同时工作）MapReduce存在的问题响系统...
2019-07-26 17:53:06
257
原创 hadoop全分布式集群安装
全分布安装节点分布NNSNNDNnode01*node02**node03*node04*准备工作每台安装jdk同步4台的时间date -s "20XX-XX-XX XX:XX:XX"每台cat /etc/sysconfig/network查看hosting name和hostname有没有配置好每台cat /e...
2019-07-24 13:06:01
147
原创 Hadoop伪分布式集群搭建
配置伪分布式环境先安装Javarpm -i jdk-7u67-linux-x64.rpm配置java环境变量vi + /etc/profile在末尾加上 export JAVA_HOME=/usr/java/jdk1.7.0_67和export PATH=$PATH:$JAVA_HOME/binjps验证有无安装成功配置密钥先使用ssh localhost连接本机...
2019-07-22 16:23:14
162
原创 HDFS简介
Hadoop-HDFS存储模型 文件线性切割成块(Block) 偏移量 offset (考虑byte,中文的情况)，偏移量起到定位的作用 单一文件block大小一致(最后一个可以不一样)，文件与文件可以不一致 block可以设置副本数(不同的副本散落在不同的server上，为了数据安全)，副本无序分散在不同节点中，但是副本数不要超过节点数量，一般为3 ...
2019-07-21 16:27:47
338
原创 LeetCode120 三角形最小路径和 2019.7.1
给定一个三角形，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。例如，给定三角形：[ [2], [3,4], [6,5,7], [4,1,8,3]]自顶向下的最小路径和为11（即，2+3+5+1= 11）。class Solution { public int minimumTotal(List<List&l...
2019-07-01 19:02:03
109
原创 LeetCode110 平衡二叉树 2019.6.29
题干：给定一个二叉树，判断它是否是高度平衡的二叉树。本题中，一棵高度平衡二叉树定义为：一个二叉树每个节点的左右两个子树的高度差的绝对值不超过1。示例 1:给定二叉树 [3,9,20,null,null,15,7] 3 / \ 9 20 / \ 15 7返回 true 。示例 2:给定二叉树 [1,2,2,3,3,null,n...
2019-06-29 12:02:00
115
原创 LeetCode114 二叉树展开为链表 2019.6.27
题干：给定一个二叉树，原地将它展开为链表。例如，给定二叉树 1 / \ 2 5/ \ \3 4 6将其展开为：1\ 2 \ 3 \ 4 \ 5 \ 6public class Solution { public cla...
2019-06-27 16:36:15
113
原创 LeetCode113 路径总和II 2019.6.23
题干：给定一个二叉树和一个目标和，找到所有从根节点到叶子节点路径总和等于给定目标和的路径。说明:叶子节点是指没有子节点的节点。示例:给定如下二叉树，以及目标和sum = 22， 5 / \ 4 8 / / \ 11 13 4 / ...
2019-06-23 12:08:19
107
原创 LeetCode109 有序链表转化二叉树 2019.6.16
题干：给定一个单链表，其中的元素按升序排序，将其转换为高度平衡的二叉搜索树。本题中，一个高度平衡二叉树是指一个二叉树每个节点的左右两个子树的高度差的绝对值不超过 1。示例:给定的有序链表： [-10, -3, 0, 5, 9],一个可能的答案是：[0, -3, 9, -10, null, 5], 它可以表示下面这个高度平衡二叉搜索树： 0 / \ ...
2019-06-16 13:27:47
169
原创 LeetCode105-106 从搜索序列中构建二叉树 2019.6.13
105：从前序和中序构建二叉树题干：根据一棵树的前序遍历与中序遍历构造二叉树。注意:你可以假设树中没有重复的元素。例如，给出前序遍历 preorder =[3,9,20,15,7]中序遍历 inorder = [9,3,15,20,7]返回如下的二叉树： 3 / \ 9 20 / \ 15 7解题思路：先从前序遍历中找到树的...
2019-06-13 16:04:38
115
原创 LeetCode103 二叉树锯齿形层次遍历 2019.6.11
题干：给定一个二叉树，返回其节点值的锯齿形层次遍历。（即先从左往右，再从右往左进行下一层遍历，以此类推，层与层之间交替进行）。例如：给定二叉树[3,9,20,null,null,15,7], 3 / \ 9 20 / \ 15 7返回锯齿形层次遍历如下：[ [3], [20,9], [15,7]]class Solut...
2019-06-11 20:02:08
141
原创 LeetCode96 不同的二叉搜索树 2019.6.1
题干：给定一个整数n，求以1 ...n为节点组成的二叉搜索树有多少种？示例:输入: 3输出: 5解释:给定 n = 3, 一共有 5 种不同结构的二叉搜索树: 1 3 3 2 1 \ / / / \ \ 3 2 1 1 3 ...
2019-06-01 18:37:38
104
原创 LeetCode95 不同的二叉搜索树 II 2019.5.31
题干：给定一个整数n，生成所有由 1 ...n为节点所组成的二叉搜索树。示例:输入: 3输出:[ [1,null,3,2], [3,2,null,1], [3,1,null,null,2], [2,1,3], [1,null,2,null,3]]解释:以上的输出对应以下 5 种不同结构的二叉搜索树： 1 3 3 ...
2019-05-31 14:49:05
156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人