- 博客(64)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 flinksql日期
获取前一天的日期：DATE_FORMAT(TIMESTAMPADD(DAY, -1, CURRENT_TIMESTAMP), 'yyyyMMdd')
2021-06-07 10:54:55
2907
1
原创 maven插件
<build> <plugins> <!-- 该插件用于将Scala代码编译成class文件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</artifactId> .
2021-01-08 11:23:03
162
原创 scala json与样例类的相互转换
JSON字符串转换成为样例类val orderInfo: OrderInfo = JSON.parseObject(order.value(), classOf[OrderInfo])样例类转换成为JSON字符串pom.xml<dependency><groupId>org.json4s</groupId><artifactId>json4s-native_2.11</artifactId>&l...
2020-08-13 11:14:47
1197
原创 时间转换工具类
时间转换工具类：1、SimpleDateFormat线程不安全val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss")val str: String = format.format(System.currentTimeMillis())2、DateTimeFormatter java自带线程安全import java.time.LocalDateTimeimport java.time.format.DateTimeFormatte.
2020-08-13 09:08:12
150
原创 Flink CEP
Flink CEP简介11.1什么是复杂事件处理CEP一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据，满足规则的复杂事件。特征：目标：从有序的简单事件流中发现一些高阶特征 输入：一个或多个由简单事件构成的事件流 处理：识别简单事件之间的内在联系，多个符合一定规则的简单事件构成复杂事件 输出：满足规则的复杂事件CEP用于分析低延迟、频繁产生的不同来源的事件流。CEP可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的关系，以接近实时或准实..
2020-08-07 00:09:52
152
原创 选择一个状态后端(state backend)
选择一个状态后端(state backend)MemoryStateBackend内存级的状态后端，会将键控状态作为内存中的对象进行管理，将它们存储在TaskManager的JVM堆上；而将checkpoint存储在JobManager的内存中。FsStateBackend将checkpoint存到远程的持久化文件系统（FileSystem）上。而对于本地状态，跟MemoryStateBackend一样，也会存在TaskManager的JVM堆上。RocksDBStateBackend将所
2020-08-07 00:07:11
416
1
原创 Flink+Kafka如何实现端到端的exactly-once语义
Flink+Kafka如何实现端到端的exactly-once语义我们知道，端到端的状态一致性的实现，需要每一个组件都实现，对于Flink + Kafka的数据管道系统（Kafka进、Kafka出）而言，各组件怎样保证exactly-once语义呢？内部 —— 利用checkpoint机制，把状态存盘，发生故障的时候可以恢复，保证内部的状态一致性 source —— kafka consumer作为source，可以将偏移量保存下来，如果后续任务出现了故障，恢复的时候可以由连接器重置偏移量，重新.
2020-08-07 00:03:08
796
原创 Flink的检查点算法-Chandy-Lamport分布式快照算法
Flink的检查点算法Flink检查点算法的正式名称是异步分界线快照(asynchronous barrier snapshotting)。该算法大致基于Chandy-Lamport分布式快照算法。Flink检查点的核心作用是确保状态正确，即使遇到程序中断，也要正确。记住这一基本点之后，我们用一个例子来看检查点是如何运行的。Flink为用户提供了用来定义状态的工具。例如，以下这个Scala程序按照输入记录的第一个字段(一个字符串)进行分组并维护第二个字段的计数状态。valstream:Dat..
2020-08-07 00:00:26
730
原创 source-flink-sink实现端到端的状态一致性
端到端（end-to-end）状态一致性端到端的一致性保证，意味着结果的正确性贯穿了整个流处理应用的始终；每一个组件都保证了它自己的一致性，整个端到端的一致性级别取决于所有组件中一致性最弱的组件。具体可以划分如下：内部保证 —— 依赖checkpoint source 端 —— 需要外部源可重设数据的读取位置 sink 端 —— 需要保证从故障恢复时，数据不会重复写入外部系统而对于sink端，又有两种具体的实现方式：幂等（Idempotent）写入和事务性（Transactional）写入。
2020-08-06 23:51:10
608
原创 log4j和logback日志打印到控制台配置
log4j.propertieslog4j.rootLogger=INFO, consolelog4j.appender.console=org.apache.log4j.ConsoleAppenderlog4j.appender.console.layout=org.apache.log4j.PatternLayoutlog4j.appender.console.layout.ConversionPattern=%d{HH:mm:ss,SSS} %-5p %-60c %x - %m%n
2020-07-29 16:37:56
890
原创 flink/blink源码编译
flink github地址：git clone [email protected]:apache/flink.git默认master分支是flink如果想编译blink需切换分支：git checkout blink编译源码：mvn clean install -Dmaven.test.skip=true -Dhadoop.version=2.7.6 -Dmaven.javadoc.skip=true -Dcheckstyle.skip=true -Drat.skip=true..
2020-07-29 08:42:10
432
原创 spark 10种算子实现wordCount
1、aggregateByKeypackage core.day05.homework.wordcountimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object wordCount1aggregateByKey { def main(args: Array[String]): Unit = { //aggregateByKey val sparkConf
2020-06-08 08:07:16
1634
2
原创 docker私有仓库的搭建
docker私有仓库的搭建1、为什么需要私有仓库Docker官方的Docker hub（https://hub.docker.com）是一个用于管理公共镜像的仓库，我们可以从上面拉取镜像 到本地，也可以把我们自己的镜像推送上去。但是，有时候我们的服务器无法访问互联网，或者你不希望将自己的镜 像放到公网当中，那么我们就需要搭建自己的私有仓库来存储和管理自己的镜像。2、私有仓库搭建步骤：...
2020-03-30 21:58:53
387
原创 docker compose服务编排
docker compose服务编排1、为什么要有服务编排1、微服务架构的应用系统中一般包含若干个微服务，每个微服务一般都会部署多个实例，如果每个微服务都要手动启停，维护的工作量会很大。2、要从Dockerfile build image 或者去dockerhub拉取image3、要创建多个container4、要管理这些container（启动停止删除）2、什么是服务编排...
2020-03-29 18:22:33
226
原创 docker镜像制作
docker镜像制作方式一、容器转为镜像方式二、使用dockerfile制作镜像1、容器转为镜像镜像不能传输、压缩文件可以注意：挂载的文件无法进行传输1、生成新的镜像docker commit 容器id 镜像名称:版本号2、镜像转成压缩文件（用于移动到另一个环境）docker save -o 压缩文件名称 镜像名称:版本号3、在新环境对压缩文件还原...
2020-03-29 16:52:31
307
原创 docker部署redis
docker部署redis需求：在Docker容器中部署Redis，并通过外部机器访问Redis。步骤：1、搜索Redis镜像2、拉取Redis镜像3、创建容器4、测试访问开始：1、搜索redis镜像docker search redis2、拉取redis镜像docker pull redis:5.03、创建容器，设置端口映射docker...
2020-03-29 16:35:17
118
原创 docker部署nginx
docker部署nginx需求：在Docker容器中部署Nginx，并通过外部机器访问Nginx。步骤：1、搜索Nginx镜像2、拉取Nginx镜像3、创建容器4、测试访问开始：1、搜索nginx镜像docker search nginx2、拉取nginx镜像docker pull nginx3、创建容器，设置端口映射、目录映射# ...
2020-03-29 16:24:47
133
原创 docker部署tomcat
docker部署tomcat需求：在Docker容器中部署Tomcat，并通过外部机器访问Tomcat部署的项目。步骤：1、搜索tomcat镜像2、拉取tomcat镜像3、创建容器4、部署项目5、测试访问开始：1、搜索tomcat镜像docker search tomcat2、拉取tomcat镜像 不写版本 默认最新版本docker pull to...
2020-03-29 16:08:42
101
原创 docker部署mysql
docker部署mysql概念：端口映射1、为什么需要端口映射：1、容器内的网络服务和外部机器不能直接通信2、外部机器和宿主机可以直接通信3、宿主机和容器可以直接通信2、什么是端口映射：当容器中的网络服务需要被外部机器访问时，可以将容器中提供服务的端口映射到宿主机的端口上。外部机器访问宿主机的该端口，从而间接访问容器的服务。案例：在Docker容器中部署...
2020-03-29 15:03:14
110
原创 docker容器数据卷
docker容器数据卷数据卷概念 宿主机的一个目录或文件数据卷作用 容器数据持久化 客户端和容器数据交换 容器间数据交换数据卷容器 创建一个容器，挂载一个目录，让其他容器继承自该容器( --volume-from )。 通过简单方式实现数据卷配置1、为什么会有数据卷：1、Docker 容器删除后...
2020-03-29 14:45:48
155
原创 docker命令
docker命令1、Docker 进程相关命令启动docker服务:systemctl start docker停止docker服务:systemctl stop docker重启docker服务:systemctl restart docker查看docker服务状态:systemctl status docker设置开机启动docker服务:...
2020-03-29 14:25:38
284
原创 Docker概述
Docker概述：Docker 是一个开源的应用容器引擎诞生于 2013 年初，基于 Go 语言实现， dotCloud 公司出品（后改名为Docker Inc）Docker 可以让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，然后发布到任何流行的 Linux 机器上。容器是完全使用沙箱机制，相互隔离容器性能开销极低。Docker 从 17.03 版本之后分为...
2020-03-29 14:10:48
84
原创 centos7安装Docker
centos7安装Docker# 1、yum 包更新到最新yum update# 2、安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的yum install -y yum-utils device-mapper-persistent-data lvm2# 3、 设置yum源yum-config-...
2020-03-29 14:05:40
116
原创 mysql函数
单行函数 操作数据对象 接受参数返回一个结果 只对一行进行变换 每行返回一个结果 可以嵌套 参数可以是一列或一个值 1、 字符串函数函数 用法 CONCAT(S1,S2,......,Sn) 连接S1,S2,......,Sn为一个字符串 CONCAT_WS(s, S1,S2,......,Sn) 同CONC...
2020-03-27 05:48:58
87
原创 mysql练习
MySQL数据库章节练习准备数据：/*SQLyog Ultimate v11.25 (64 bit)MySQL - 5.5.28 : Database - myemployees**********************************************************************//*!40101 SET NAMES utf8 */;...
2020-03-27 05:13:13
6352
原创 mysql基础
1、逻辑运算符xor ：当其中一个条件为真，另一个条件为假时才会返回结果得到那些住在Stratford或者出生于1963年的球员的编号、姓名、出生日期，但是不包括那些住在Stratford并且出生于1963年的球员SELECT playerno, name, birth_dateFROM playersWHERE (town = ‘Stratford’ )XOR (year(b...
2020-03-26 23:11:16
126
原创 jointjs+vue实现简单的画图工具
效果图:部分功能说明:拖拽左侧的图形到中间界面双击图形删除右下角鼠标拖拽修改图形大小单击图形，编辑界面显示配置信息修改编辑属性，再按enter对图形的属性进行修改，并立即可以查看效果，文字大小修改不生效(不知道原因)点击放大、缩小按钮对图形整体放大、缩小图形整体移动功能点击清空按钮，清空中间的所有图形代码:<template xmlns="h...
2019-09-16 18:15:41
5797
2
原创 JS鼠标拖拽改变方形的长宽
拖拽改变物体大小功能：拖拽黄色小div来改变绿色大div的宽和高主要实现由三大步:1.通过id获取到大小两个div2.给小div添加onmousedown事件3.在onmousedown事件给document添加onmousemove和onmouseup事件由分析图可知，我们只需要在拖拽的时候，获取到物体不断增加的宽度值，问题就解决了html代码:<...
2019-09-16 13:49:19
559
原创 vue2.0获取鼠标位置
<!DOCTYPE html><html><head><meta charset="UTF-8"><title></title><script type="text/javascript" src="js/vue.js" ></script><style>#canvas{w...
2019-09-16 13:42:16
1208
原创 getBoundingClientRect()用于获得页面中某个元素的左，上，右和下分别相对浏览器视窗的位置
getClientRects() 和 getBoundingClientRect() 的用法和区别getClientRects()getClientRects()的作用是获取元素占据页面的所有矩形区域：var rectCollection = object.getClientRects();getClientRects()返回一个TextRectangle集合，就是Tex...
2019-09-13 23:59:57
323
原创 jointjs双击删除
var paper = new joint.dia.Paper({ el: document.getElementById('paper-events-custom-view-events-propagation'), model: graph, width: 600, ...
2019-09-12 15:40:18
356
原创 jonitjs图形嵌套
<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> </head> <body> <div id="paper-reparenting"&g...
2019-09-12 15:30:02
193
原创 vue this
开发环境：javascript情况一：对象下的函数中//test.jsvar out = { function inner(){ this }}此时函数中的this表示out对象。情况二：函数中//test.jsfunction inner(){ this}此时函数中的this表示全局对象window开发环境：Vue情况一：v...
2019-09-11 08:51:28
70
原创 jointjs
鼠标事件:捕获当前鼠标在哪个单元格paper.on('cell:pointerdown', function(cellView, evt, x, y) {var cell = cellView.model; //获取当前单元格，比如矩形console.log(cell.get("size"))//获取矩形的长宽console.log(cell.get("size").height...
2019-09-10 16:12:04
172
原创 java时间格式化后传到前端
java 关于时间返回结果与参数的注解@DatetimeFormat和@JsonFormat时间是一个比较常用的类型。显示的时候通常是以String显示的。如果前端参数，前端人员也希望用String作为参数常用注解@DatetimeFormat是将String转换成Date，一般前台给后台传值时用@JsonFormat(pattern="yyyy-MM-dd") 将Date转换成...
2019-09-02 09:37:23
1115
原创 js常用方法
使用ES6中的字符串新方法String.prototype.padStart(maxLength, fillString='') 或 String.prototype.padEnd(maxLength, fillString='')来填充字符串；dateFormat: function (dateStr, pattern = '') { // 根据给定的时间字符串，得到...
2019-08-25 13:05:02
54
apache-jmeter-2.13
2017-09-20
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人