5 qq_34158117

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 13w+

scala json与样例类的相互转换

JSON字符串转换成为样例类val orderInfo: OrderInfo = JSON.parseObject(order.value(), classOf[OrderInfo])样例类转换成为JSON字符串pom.xml<dependency><groupId>org.json4s</groupId><artifactId>json4s-native_2.11</artifactId>&l...

2020-08-13 11:14:47

时间转换工具类

时间转换工具类:1、SimpleDateFormat线程不安全val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")val str: String = format.format(System.currentTimeMillis())2、DateTimeFormatter java自带线程安全import java.time.LocalDateTimeimport java.time.format.DateTimeFormatte.

2020-08-13 09:08:12

Flink CEP

Flink CEP简介11.1什么是复杂事件处理CEP一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。特征:目标:从有序的简单事件流中发现一些高阶特征 输入:一个或多个由简单事件构成的事件流 处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件 输出:满足规则的复杂事件CEP用于分析低延迟、频繁产生的不同来源的事件流。CEP可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系,以接近实时或准实..

2020-08-07 00:09:52

选择一个状态后端(state backend)

选择一个状态后端(state backend)MemoryStateBackend内存级的状态后端,会将键控状态作为内存中的对象进行管理,将它们存储在TaskManager的JVM堆上;而将checkpoint存储在JobManager的内存中。FsStateBackend将checkpoint存到远程的持久化文件系统(FileSystem)上。而对于本地状态,跟MemoryStateBackend一样,也会存在TaskManager的JVM堆上。RocksDBStateBackend将所

2020-08-07 00:07:11

 Flink+Kafka如何实现端到端的exactly-once语义

Flink+Kafka如何实现端到端的exactly-once语义我们知道,端到端的状态一致性的实现,需要每一个组件都实现,对于Flink + Kafka的数据管道系统(Kafka进、Kafka出)而言,各组件怎样保证exactly-once语义呢?内部 —— 利用checkpoint机制,把状态存盘,发生故障的时候可以恢复,保证内部的状态一致性 source —— kafka consumer作为source,可以将偏移量保存下来,如果后续任务出现了故障,恢复的时候可以由连接器重置偏移量,重新.

2020-08-07 00:03:08

Flink的检查点算法-Chandy-Lamport分布式快照算法

Flink的检查点算法Flink检查点算法的正式名称是异步分界线快照(asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。Flink检查点的核心作用是确保状态正确,即使遇到程序中断,也要正确。记住这一基本点之后,我们用一个例子来看检查点是如何运行的。Flink为用户提供了用来定义状态的工具。例如,以下这个Scala程序按照输入记录的第一个字段(一个字符串)进行分组并维护第二个字段的计数状态。valstream:Dat..

2020-08-07 00:00:26

source-flink-sink实现端到端的状态一致性

端到端(end-to-end)状态一致性端到端的一致性保证,意味着结果的正确性贯穿了整个流处理应用的始终;每一个组件都保证了它自己的一致性,整个端到端的一致性级别取决于所有组件中一致性最弱的组件。具体可以划分如下:内部保证 —— 依赖checkpoint source 端 —— 需要外部源可重设数据的读取位置 sink 端 —— 需要保证从故障恢复时,数据不会重复写入外部系统而对于sink端,又有两种具体的实现方式:幂等(Idempotent)写入和事务性(Transactional)写入。

2020-08-06 23:51:10

log4j和logback日志打印到控制台配置

log4j.propertieslog4j.rootLogger=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n

2020-07-29 16:37:56

flink/blink源码编译

flink github地址:git clone git@github.com:apache/flink.git默认master分支是flink如果想编译blink需切换分支:git checkout blink编译源码:mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true..

2020-07-29 08:42:10

spark 10种算子实现wordCount

1、aggregateByKeypackage core.day05.homework.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object wordCount1aggregateByKey { def main(args: Array[String]): Unit = { //aggregateByKey val sparkConf

2020-06-08 08:07:16

docker私有仓库的搭建

docker私有仓库的搭建1、为什么需要私有仓库Docker官方的Docker hub(https://hub.docker.com)是一个用于管理公共镜像的仓库,我们可以从上面拉取镜像 到本地,也可以把我们自己的镜像推送上去。但是,有时候我们的服务器无法访问互联网,或者你不希望将自己的镜 像放到公网当中,那么我们就需要搭建自己的私有仓库来存储和管理自己的镜像。2、私有仓库搭建步骤:...

2020-03-30 21:58:53

docker compose服务编排

docker compose服务编排1、为什么要有服务编排1、微服务架构的应用系统中一般包含若干个微服务,每个微服务一般都会部署多个实例,如果每个微服务都要手动启停,维护的工作量会很大。2、要从Dockerfile build image 或者去dockerhub拉取image3、要创建多个container4、要管理这些container(启动停止删除)2、什么是服务编排...

2020-03-29 18:22:33

docker镜像制作

docker镜像制作方式一、容器转为镜像方式二、使用dockerfile制作镜像1、容器转为镜像镜像不能传输、压缩文件可以注意:挂载的文件无法进行传输1、生成新的镜像docker commit 容器id 镜像名称:版本号2、镜像转成压缩文件(用于移动到另一个环境)docker save -o 压缩文件名称 镜像名称:版本号3、在新环境对压缩文件还原...

2020-03-29 16:52:31

docker部署redis

docker部署redis需求:在Docker容器中部署Redis,并通过外部机器访问Redis。步骤:1、搜索Redis镜像2、拉取Redis镜像3、创建容器4、测试访问开始:1、搜索redis镜像docker search redis2、拉取redis镜像docker pull redis:5.03、创建容器,设置端口映射docker...

2020-03-29 16:35:17

docker部署nginx

docker部署nginx需求:在Docker容器中部署Nginx,并通过外部机器访问Nginx。步骤:1、搜索Nginx镜像2、拉取Nginx镜像3、创建容器4、测试访问开始:1、搜索nginx镜像docker search nginx2、拉取nginx镜像docker pull nginx3、创建容器,设置端口映射、目录映射# ...

2020-03-29 16:24:47

docker部署tomcat

docker部署tomcat需求:在Docker容器中部署Tomcat,并通过外部机器访问Tomcat部署的项目。步骤:1、搜索tomcat镜像2、拉取tomcat镜像3、创建容器4、部署项目5、测试访问开始:1、搜索tomcat镜像docker search tomcat2、拉取tomcat镜像 不写版本 默认最新版本docker pull to...

2020-03-29 16:08:42

docker部署mysql

docker部署mysql概念:端口映射1、为什么需要端口映射:1、容器内的网络服务和外部机器不能直接通信2、外部机器和宿主机可以直接通信3、宿主机和容器可以直接通信2、什么是端口映射:当容器中的网络服务需要被外部机器访问时,可以将容器中提供服务的端口映射到宿主机的端口上。外部机器访问宿主机的该端口,从而间接访问容器的服务。案例:在Docker容器中部署...

2020-03-29 15:03:14

docker容器数据卷

docker容器数据卷数据卷概念 宿主机的一个目录或文件数据卷作用 容器数据持久化 客户端和容器数据交换 容器间数据交换数据卷容器 创建一个容器,挂载一个目录,让其他容器继承自该容器( --volume-from )。 通过简单方式实现数据卷配置1、为什么会有数据卷:1、Docker 容器删除后...

2020-03-29 14:45:48

docker命令

docker命令1、Docker 进程相关命令启动docker服务:systemctl start docker停止docker服务:systemctl stop docker重启docker服务:systemctl restart docker查看docker服务状态:systemctl status docker设置开机启动docker服务:...

2020-03-29 14:25:38

Docker概述

Docker概述:Docker 是一个开源的应用容器引擎诞生于 2013 年初,基于 Go 语言实现, dotCloud 公司出品(后改名为Docker Inc)Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何流行的 Linux 机器上。容器是完全使用沙箱机制,相互隔离容器性能开销极低。Docker 从 17.03 版本之后分为...

2020-03-29 14:10:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。