- 博客(32)
- 收藏
- 关注
RSS订阅原创 flink教程（2）-source- sink
一、flink可识别的source分类 Sources are where your program reads its input from. You can attach a source to your program by usingStreamExecutionEnvironment.addSource(sourceFunction). Flink comes with a number of pre-implemented source functions, but you c...
2022-12-03 11:29:39
700
翻译 flink教程（1）--word count
一、Apache Flink 的定义、架构及原理Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态或无状态的计算，能够部署在各种集群环境，对各种规模大小的数据进行快速计算。Flink Application了解Flink 应用开发需要先理解Flink 的Streams、State、Time 等基础处理语义以及Flink 兼顾灵活性和方便性的多层次API。Streams：流，分为有限数据流与无限数据流，unbounded stream 是有始无终的数据流，即
2020-05-23 13:06:17
4520
翻译 mysql高级笔记(一)----------简介
一、mysql简介MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司。MySQL是一种关联数据库管理系统，将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。Mysql是开源的，所以你不需要支付额外的费用。Mysql是可以定制的，采用了GPL协议，你可以修改源码来开发自己的Mysql系统。My...
2020-04-20 15:06:32
738
翻译 shell学习
尚硅谷大数据技术之Shell(作者：尚硅谷大数据研发部)版本：V2.0第1章 Shell概述第2章 Shell解析器（1）Linux提供的Shell解析器有：[atguigu@hadoop101 ~]$ cat /etc/shells/bin/sh/bin/bash/sbin/nologin/bin/dash/bin/tcsh/bin/csh（2）bash和sh的关系[...
2020-04-20 11:10:20
194
翻译 数据结构-稀疏数组和队列
一、稀疏 sparsearray 数组1、先看一个实际的需求编写的五子棋程序中，有存盘退出和续上盘的功能。分析问题:因为该二维数组的很多值是默认值 0, 因此记录了很多没有意义的数据.->稀疏数组。2、基本介绍当一个数组中大部分元素为0，或者为同一个值的数组时，可以使用稀疏数组来保存该数组。稀疏数组的处理方法是:记录数组一共有几行几列，有多少个不同的值把具有不同值的...
2020-04-08 17:54:06
145
原创 storm学习（1）-基础
strom：http://storm.apache.org/index.html实时计算系统，持续计算，速度快，每秒百万tuble，tuble：元组 数据结构，使用 逗号分隔，stream：一系列的tublespout：水龙头 数据源bolt：螺栓，逻辑处理单元，spout数据传给bolt，bolt处理后为新的tuble ，可以filter，MapReduce，grou...
2020-04-08 10:08:43
154
翻译 kafka 权威指南--读书笔记-（4）从kafka读取数据
应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念，然 后再举几个例子，横示如何使用消费者 API 实现不同的应用程序。消费者和消费者群组假设我们有一个应用程序需要从-个 ...
2018-08-15 10:37:51
852
原创 kafka 权威指南--读书笔记-（3）向kafka写入数据
（1）kafka生产者设计和组件（1）不同的应用场景对消息有不同的需求，即是否允许消息丢失、重复、延迟以及吞吐量的要求。不同场景对Kafka生产者的API使用和配置会有直接的影响。例子1：信用卡事务处理系统，不允许消息的重复和丢失，延迟最大500ms，对吞吐量要求较高。例子2：保存网站的点击信息，允许少量的消息丢失和重复，延迟可以稍高（用户点击链接可以马上加载出页面即可），吞吐量取决于...
2018-08-14 15:25:24
868
原创 kafka 权威指南--读书笔记-（2）安装kafka
2.1选择操作系统kakfa支持的操作系统 windos，linux ，macos2.1.2 安装java 配置环境变量2.1.3 安装zookeeper，https://blog.csdn.net/skycanf/article/details/812338832.2 安装kafka brokerhttp://kafka.apache.org/downloads 选择...
2018-08-03 15:12:15
305
原创 kafka 权威指南--读书笔记-（1）初识kafka
第一章： 初始kafka 官方文档：http://kafka.apache.org/kafka 中文文档地址：http://orchome.com/kafka/index 1.1 发布与订阅系统： 数据的发送者不会直接把消息发送给接受者，，发布者以某种方式对消息分类，接受者订...
2018-08-03 09:54:21
636
原创 zookeeper安装
名词解释leader：负责发起投票，更细系统状态，并同步数据follwer：接受客户端返回结果，参与选举投票object：扩展系统，转发leader请求client：向zookeper发起数据读写请求 网上环境因人而异，每个人方式不一样，写下是自己搭建环境的步骤:1、下载安装包：mkdir daxiancd daxianwget http://mirror.bi...
2018-08-02 09:40:38
231
原创 java编程思想---第九章（接口）
接口和内部类为我们提供了一种将接口与实现分离的更加结构化的方法。在说接口之前，先看下抽象类和抽象方法。抽象类，指包含抽象方法和普通方法的类。用abstract作为前缀。抽象类，只能交给子类去实现，不能直接构造。接口是抽象类中一种特殊的表现方式：因为abstract关键字允许人们在勒种创建一个或多个没有任何定义的方法--（接口）部分。但是没有提供任何相应的具体实现。实现有子类的继承者创建......
2018-07-16 21:36:46
620
原创 canal 源码解析（2）-数据流转篇（3）
event-————》entry一、准备 先确认下当前位点信息，最新位点信息是1601，执行命令：show BINLOG EVENTS in "mysql-bin.000031";而项目目前位点信息是761 ，和1601 差别太多，是因为中间多了，插入，更新，删除操作。如下 二、解析插入，更新，删除操作事件。 2.1 ANONYMOUS_GTID_LOG_EVENT=34 该事件是mysq...
2018-06-26 17:27:46
2360
1
原创 canal 源码解析（2）-数据流转篇（2）
一、msyql内部指令操作1)接收msyql发送过来的报文，先获取头部。header = PacketManager.readHeader(connector.getChannel(), 4);public static HeaderPacket readHeader(SocketChannel ch, int len) throws IOException { HeaderPacket ...
2018-06-25 18:04:19
1519
原创 mysql binlog 常识
1、常用命令 1.查看所有binlog日志列表 mysql> show master logs; 2.查看master状态，即最后(最新)一个binlog日志的编号名称，及其最后一个操作事件pos结束点(Position)值 mysql> show master status; 3.刷新log日志，自此刻开始产生一个新编号的binl...
2018-06-20 10:40:48
573
1
原创 canal 源码解析（2）-数据流转篇（1）
1） 上一篇 只是正常启动，但是线程是等待中，没有数据接入处理。现在开始模拟同步数据，并分析其中原理 如上一片线程阻塞点位于：AbstractEventParser类的start方法2）mysql主从复制重点就在这里了，当前因为 startposition里部位null，// 4. 开始dump数据// 判断所属instance是否启用GTID模式，是的话调用ErosaConnection中G...
2018-06-19 09:53:23
999
原创 io流和源码，补码，反码相关
最近做canal 其中parse 模块的driver 里面二进制 ，十六进制，io流转换，不是很懂，就亲自己实践一下：1）概念知识： 一个数在计算机中的二进制表示形式, 叫做这个数的机器数。机器数是带符号的，在计算机用一个数的最高位存放符号, 正数为0, 负数为1 二进制： o,1, 满2进1，以0b/B开头 十进制: 0-9 满10进1，平常通用。 八进制：0-7，满...
2018-06-13 16:36:17
221
原创 编解码技术- 序列化工具protobuf（入门教程）
1、先去github上下载最新的protobuf.zip包 地址：https://github.com/google/protobuf/releases
2018-06-13 16:33:59
509
原创 canal 源码解析（1）-启动篇（3）
1.0）meta 为一个接口，有多种实现方式，if (!metaManager.isStart()) { metaManager.start();}因为配置文件已经指定了实现模式，所以进入filemixedmetamanager模式先看一下整个start方法public void start() { super.start(); Assert.notNull(dataDi...
2018-06-04 18:12:09
3488
1
翻译 大话数据结构-算法（2）
启示：算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作算法定义：算法是解决特定问题求解步骤的描述，在计算机中表现为指令的有限序列，并且每条指令表示一个或多个操作算法的5个特性：输入，输出，又穷性，确定性和可行性 输入和输出：算法具有零个或多个输入，至少有一个或多个输出。 有穷性：指算法在执行有限的步骤之后，自动结束而不会出现无限循环，并且...
2018-06-03 13:27:00
412
翻译 大话数据结构-数据结构绪论（1）
1、数据结构是们研究非数值计算的程序设计问题中的操作对象，以及他们之间的关系和操作等相关问题的学科。2、数据结构的概念和术语数据 ：是描述客观事物的符号，是计算机中可以操作的对象，是能被计算机识别，并输入个计算机处理的符号集合， 数据不仅包含整形，实型等数值类型，还包括字符 声音，图形，视频等非数值类型，例如，网页，mp3，数据元素：是组成数据的，有一定意义的基本单位，在计算机中通常座位整体处理，...
2018-06-02 15:52:26
135
原创 canal 源码解析（1）-启动篇（2）
1）先看一下整个start方法构成 public void start() throws Throwable { logger.info("## start the canal server[{}:{}]", ip, port); // 创建整个canal的工作节点 final String path = ZookeeperPathUtils.getCanalCl...
2018-06-01 10:45:52
1102
原创 canal 源码解析（1）-启动篇（1）
1 .源码地址：https://github.com/alibaba/canal 看下是否是这个canal 若本地安装了git 右键bash ，然后窗口输入以下命令 git clone https://github.com/alibaba/canal.git2. 启动方式，在GitHub上已经有了windos 和服务器的方式，我就不具体介绍了，现在介绍一种本地debug...
2018-05-30 11:05:06
3547
原创 Netty权威指南读书笔记-（2） nio
1、nio类库介绍nio在jdk1.4以后引入的，1.1缓存区bufferbuffer是一个对象，包含一些要写入或者读出的数据，在nio类库中加入buffer对象，体现新库与原IO的一个重要区别，在面向流io中，可以将数据直接写入或将数据直接读到sream对象中。缓存区实质是一个数组，通常它有一个字节数组（bytebuffer），也可以使用其他数组，但是一个缓存区不仅仅是一个数组，...
2018-05-14 10:49:45
139
原创 编解码技术- 序列化工具Serializable
1、编解码名词含义：将java对象编码为字节数组或者bytebuffer对象，当远程服务读取到byterbuffer对象或者字节数组是，需要将其编解码为发送是的java对象。2、我用过的序列化方式以下三种：1）对象实现Serializable接口 2）使用google的json或者阿里巴巴的FastJSon 3）使用google的protobuf 4）Facebook的Thrift 主...
2018-05-11 17:14:07
554
原创 Netty权威指南读书笔记-（3） netty入门应用
搭建一个netty应用demobefore：先在pom引入jar包：<dependency> <groupId>io.netty</groupId> <artifactId>netty-all</artifactId> <version>5.0.0.Alpha2</version&...
2018-05-05 17:53:20
236
原创 Netty权威指南读书笔记（1）-走进java NIO
1.1 I/O基础入门io的缺陷：只有输入输出流，同步阻塞（bio），导致通信线程被长时间阻塞，字符集有限，硬件可移植行不好。1.1.1、linux的网络IO模型简介1）阻塞io模型，默认情况下，所有文件操作都是阻塞的。2）非阻塞模型，从应用数据到内核，3）IO复用模型，进程通过一个或多个fd传递给select或poll系统调用，阻塞在select操作上，select判断是否就绪，是，立即回调ro...
2018-05-03 18:43:56
186
原创 java编程思想---第七章（复用类）
1、复用类，（又名，继承） 伴随的关键字有，重写。7.1、组合语法。解释：就是将对象已用置于新类中的构造器即可。成员变量在初始化的时候进行默认赋值。也可以强制赋值。7.2、继承语法。创建一个普通类，在类主体的左花括号之前，书写extends关键字，跟随父类名字。这样会得到父类中所有的域（成员变量，常量）和方法如下：继承，是隐世定义，相比较组合这样显示定义。主要是对父类的复用。若感觉父类的方法不适合...
2018-04-03 10:35:04
175
原创 java编程思想---第六章（访问权限控制）
6.1包：库单元arraylist list=new java.util.arraylist()，为了避免这种写法，引入import语句来提前导入。包命名规则，全部小写，package *** 是代表文件除注释以外的第一句程序代码。如下规范格式：6.1.2：java解释器的运行过程：首先，找出环境变量classpath 该目录下包含一个或多个目录，用作查.class的根目录，从根目录开始，解释器获...
2018-03-30 11:34:16
126
原创 maven打包，构建
1、mvn对于不同的jar包配置。Jar、War、Tar、Zipjar包的pom.xml<plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> ...
2018-03-29 11:12:39
433
翻译 java 编程思想--第一章（对象导论）
一直以来，觉得阅读书籍真的很烦躁，静不下心来，友说，你坚持每天写博客，强制30天，这样会有效果，刚好，java基础也有点差，就从圣书开始吧。我说错的，有问题大家可以回复。一、面向对象程序设计方式：1、万物都是对象。2、程序是对象的集合，他们通过发送消息来告知彼此所要做的。（应该说的是调用关系）3、每个对象都有自己的有其他对象所构成的存储。（不懂）4、每个对象有拥有其类型
2017-11-14 17:14:51
219
原创 没有主清单属性
1、运行一个jar，报错是 没有主清单属性。。解决办法：重新构建个jar包。 方法1：使用maven 的package的，在pom文件里加入以下配置： UTF-8 org.apache.maven.plugins maven-shade-plugin
2017-11-14 14:08:56
6354
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人