- 博客(17)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 Flink 专题 -3窗口滚动和滑动操作
Flink流操作-窗口滚动和滑动操作Flink存在两种窗口操作，分别为滚动操作和滑动操作，两者主要的区别在于，滚动操作不会重叠，而滑动操作则会让数据产生重叠 。https://github.com/soniclavier/bigdata-notebook/tree/master/flink/src/main/scala/com/vishnu/flink/streaming窗口需求在Stre...
2019-02-15 21:58:10
6729
转载 java类的加载机制
Java 类的加载机制什么是类的加载1.过程类的加载就是指将类的.class 文件生成为二进制数据将二进制数据放置到内存memory中，并放置在运行时数据区的方法区中在堆内从创建java.lang.Class 对象，用来封装在方法区内的数据结构。2. 作用类的加载的最终产品是位于堆内的Class对象。Class对象具有封装方法区数据结构的能力，并且向Java程序员提供了访问...
2019-02-23 16:51:19
195
原创 Flink Streaming专题 -1 FlinkStreaming 概述和事件时间EventTime解读
1.Streaming1.1 Overviewer（1）Data SourcesDataSources 操作 可以通过StreamExecutionEnvironment.addSource(sourceFunction) 方式将source加入到集群内部中，Flink预先提供了很多Source方法来帮助你来实现数据操作。当然也可以通过实现SourceFunction 的方式来实现非并行数据...
2019-01-30 11:49:09
883
转载 Flume 源码解析：HDFS Sink
文章目录Flume 源码解析：HDFS SinkSink 组件的生命周期HDFS Sink 模块中的类配置与启动处理数据Channel 事务查找或创建 BucketWriter写入数据并刷新文件滚动关闭与停止转自: https://blog.csdn.net/zjerryj/article/details/82937232Flume 源码解析：HDFS SinkApache Flume 数据...
2018-11-12 22:37:43
551
原创 Flink 专题 -2Checkpoint、Savepoint 机制
文章目录CheckPoint1. checkpoint 保留策略2. Checkpoint 配置3. Checkpoint 状态点恢复SavepointSavepoint 介绍savepoint 和 checkpoint 区别Assigning Operator IDs ( 分配 operator ids)Savepoint State保存Savepoint在yarn 集群中保存Savepoint...
2018-11-07 22:47:39
2592
原创 Flink 专题 -1 搭建Flink 及Flink 简介
文章目录Flink 专题1 ： 搭建Flink 及Flink 简介Flink 简介Flink 的优势:Flink 安装flink 安装步骤flink 集群模式 结构 :配置文件设置:添加jobManager/TaskManager启动集群1 集群模式启动2. yarn 模式启动Flink 专题1 ： 搭建Flink 及Flink 简介图片来源于网络Flink 简介Apache Flin...
2018-11-06 22:46:28
1549
原创 使用java api 创建excel内容并发送邮件
文章目录利用java api 创建excel 内容并发送邮件简述：最近使用 github 在归类自己平时使用的工具类 github 地址:https://github.com/auguszero/javaToolRepsitory利用java api 创建excel 内容并发送邮件主要实现功能:1.通过配置文件设置发送邮件发送方，接收方，抄送方2.目前实现了 自定义发送内容3.实现...
2018-10-28 13:23:05
2375
原创 kafka常用指令总结
文章目录kafka指令1.常用指令1.1 [ Adding and removing topics](http://kafka.apache.org/090/documentation.html#basic_ops_add_topic)1.2 [Modifying topics](http://kafka.apache.org/090/documentation.html#basic_ops_m...
2018-09-18 10:17:21
308
原创 flume 单机问题解决与架构更改
引言1. 线上单机存在问题简述2. 解决思路3 加大kafka拉取数据量3.1 kafka-source简述3.2 kafka-source配置详解3.3 配置优化4. 加大flume中channel，source，sink 各通道的单条数据量4.1 source 发送至channels 数据量大小已配置 见 3.34.2 channel 配置5. 将flume...
2018-09-10 23:24:24
541
1
转载 SpringStreaming+Kafka
Spark踩坑记--Spark Streaming + KafkaSpringStreaming +卡夫卡1.SpringStreaming + Kafka接受数据和发送数据（1）SparkStreaming接受kafka方式 基于接收的方式 基于DirectKafkaStreaming DirectKafkaStream...
2018-09-06 22:15:04
1105
原创 solr结构分析
solr 数据结构及目录结构分析和记录solr是什么呢？一、Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。二、Solr 提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式（包括XML/XSLT 和JSON等格式）。它易于安装和配置，而且附带了一个基于 HTTP 的管理界面。Solr已经在众多大型的网站中使用...
2018-04-28 13:31:11
547
原创 java并发编程实践 part 01 --> 线程创建方式
最近在尝试重新复习一段关于多线程的使用，同时尝试使用关于markdown编辑器的使用方法，会同步将自己整理的文档放上来。java并发编程实践 part 01 –> 线程创建方式线程创建方式通过创建一个线程类的方式创建线程体，例如实现runnable接口创建一个实现类。或者是直接通过创建Thread方式，重写内部的runnable方法实现线程体的编写。1. 接用Thread.start 的方式进行重写
2017-09-17 22:03:35
250
原创 java中的JDBC创建步骤--自我总结,我的首篇勿喷...
java中的JDBC创建步骤:1.加载驱动. Class.className("com.mysql.jdbc.Driver");2.获取连接 Connection conn = DriverManager.getConnection();3.创建传输器 Statement stat = conn.createStatement();4.执行sql语句 int r
2017-02-28 21:17:40
405
sublime显示unable to download channel_v3.json.pdf
2019-01-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人