vim_wj-CSDN博客

原创关于kafka Consumer参数:exclude.internal.topics

之前对这个参数一直理解有误，彻底搞清楚后就写个笔记记录一下。(基于kafka1.0)先看官方文档的解释：Whether records from internal topics (such as offsets) should be exposed to the consumer. If set to true the only way to receive records from an i...

2017-12-19 11:42:32 2857 1

原创 github----向开源框架提交pr的过程

github—-向开源框架提交pr关于github的入门介绍请参考这本书，比较详细：本文主要是根据自己在摸索提交pr的程中的一些总结。简单过程首先git分为本地仓库(自己电脑中)和远程仓库(git官网自己的账号中)，仓库可以理解为保存代码的地方，简单的说是在自己本地仓库修改代码，提交到自己远程仓库，提交pr后被接受后再会被合并到master。下面一步一步来。详细过程申请账号、添加ssh公钥等过程就不

2017-10-20 22:44:50 42251 12

翻译 Flink入门教程--File Systems(文件系统)

原文链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/filesystems.html#file-systemsFlink通过org.apache.flink.core.fs.FileSystem类来抽象自己的文件系统，这个抽象提供了各类文件系统实现的通用操作和最低保证。此文件系统的可用操作非常有限，以支

2017-09-14 15:20:27 5055

翻译 Flink入门教程--Task Lifecycle(任务的生命周期简介)

原文链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/task_lifecycle.html#task-lifecycle-1 如有错误，请指正task是Flink中执行的基本单位，也是operator的每个并行实例被执行的地方。例如，并行度为5的operator ，其每个实例都由一个单独task执行。

2017-09-13 19:42:49 3555

翻译 Flink入门教程--Jobs and Scheduling(任务和调度)

原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/job_scheduling.html#jobs-and-scheduling该文档简单描述了Flink是如何调度Job的，以及如何在JobManager上表现并跟踪Job状态。调度Flink通过任务槽（Task Slot）定义执行资源，每个TaskM

2017-09-12 11:49:43 13591 3

转载 Flink入门教程--Data Streaming Fault Tolerance(数据流容错)

Data Streaming Fault Tolerance(数据流容错)原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/stream_checkpointing.html#data-streaming-fault-toleranceIntroduceApache Flink 提供了可以恢复数据流应

2017-09-11 11:43:52 653

翻译 Flink入门教程--Component Stack

作为一个软件解决方案，Flink是一个分层系统。不同层次之间彼此构建，并提高他们接受的程序表现的抽象级别：在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ，DataStream API使用s

2017-09-11 11:28:51 571

转载认识bash shell

认识bash shell（转自《鸟哥的Linux私房菜–基础篇》）文字模式 (command line) 这种指令下达的方式，在 Linux 里面，其实就相当于是 bash 的工具与接口！因为 Linux 就是以 bash 为预设的 shell 的！那么前几章我们都已经很快乐的进行了很多的指令下达啰～所以说， bash shell 根本就不难吧～是啦！只要能够熟悉的话，那么确实他也不是这么不可亲

2017-08-15 16:20:46 510

原创 Storm Window机制详解

概念window 类型Tumbling Window按照固定的时间间隔或者Tuple数量划分窗口。例子一，按照固定时间滚动，5秒滚一个窗口：| e1 e2 | e3 e4 e5 e6 | e7 e8 e9 |...0 5 10 15 -> time| w1 | w2 | w3 |...例子二，按照固定

2017-07-23 11:15:47 1146 1

原创 Trident exactly once实现原理

为了实现exactly-once，storm0.7.0开始支持transactional toplogy(事务topology)，也是微批处理架构，但目前已经不再维护(基本没有人用)，功能完全被trident所替代。准确的说，trident topology是从transactional topology的基本上发展而来，包括spout和state都延用的transactional topology

2017-07-23 09:48:06 2034 2

vim_wj的博客