- 博客(20)
- 收藏
- 关注
RSS订阅原创 Flink之watermark 处理延迟数据 详解
watermark介绍在Flink中，Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 用来处理实时数据中的乱序问题的，通常是水位线和窗口结合使用来实现。从设备生成实时流事件，到Flink的source，再到多个oparator处理数据，过程中会受到网络延迟、背压等多种因素影响造成数据乱序。在进行窗口处理时，不可能无限期的等待延迟数据到达，当到达特定watermark时,认为在watermark之前的数据已经全部达到(即使后面
2021-12-11 12:14:38
3585
1
原创 linux安装mysql客户端
查看之前是否有安装mysqlyum list installed mysql*清除旧安装包 yum -y remove mysql57-community-release.noarch安装yum -y install http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpmyum -y install mysql
2021-11-10 18:30:57
835
原创 Flume中从kafkasource分配数据到kafkaSink时，topic被覆盖问题
问题：当kafkasource和kafkasink一起使用时， 传输到kafkasink的数据，被传到了kafkasource。即陷入死循环，从 kafkasource 读取的数据被flume 重新传到kafkasource。原因当flume从kafka里读取的数据时，消息上会event headers结构。在events header中会自动带上，topic:‘topic名称’。如：而kafka sink的 中 allowTopicOveride参数默认为true，即会使用topichead
2021-11-09 17:58:48
2274
1
原创 IDEA中，Flink项目编译报错出现could not find implicit value for evidence parameter
IDEA中，Flink项目编译报错出现could not find implicit value for evidence parameter错误提示：Error:(18, 33) could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String]val text1 = env.fromElements(“user:tom,ag
2021-10-26 19:48:19
610
原创 数据可视化-Zeppelin安装和连接HIVE
Zeppelin 安装zeppelin下载官网地址：http://zeppelin.apache.org/点击这三个链接都是可以下载的，BACKUP SITES可能会快一点。下载完后进行解压： tar -zxvf zeppelin-0.10.0-bin-all.tgz修改配置文件:> cd conf> mv zeppelin-env.sh.template zeppelin-env.sh> mv zeppelin-site.xml.template z
2021-09-23 19:14:31
540
1
原创 Java序列化与反序列化最全详解
什么是序列化和反序列化？序列化：序列化就是将 java对象 转化为字节序列的过程。序列化是指把一个Java对象变成二进制内容，本质上就是一个byte[]数组。 为什么要把Java对象序列化呢？因为序列化后可以把byte[]保存到文件中，或者把byte[]通过网络传输到远程，这样，就相当于把Java对象存储到文件或者通过网络传输出去了。注意：序列化是为了在传递和保存对象时，为了保证对象的完整性和可传递性。将对象转为有序的字节流，以便在网上传输或者保存在本地文件中。反序列化：反序列化就是将 字
2021-09-15 14:21:05
2981
原创 Hadoop集群安全模式退出失败问题处理，Safe mode is ON。hdfs dfsadmin -safemode leave 或 forceExit
问题Hadoop集群启动的时候,一起处于安全模式中，无法自动退出。问题产生原因因为经常非正常关闭hadoop集群，如直接关闭虚拟机，导致hdfs中有些块丢失了或者损坏。这时hadoop就会进入安全模式。处理要先手动退出安全模式，再把损坏的block删掉就行。退出安全模式第一种：正常退出安全模式hdfs dfsadmin -safemode leave如提示Safe mode is OFF，那就说明退出成功，但有时候这个命令也没办法退出安全模式，就需要使用强制退出第二种：强制退出安全模
2021-08-23 17:37:41
5962
3
原创 问题收藏夹之跨域问题
跨域问题是什么跨域，指的是浏览器不能执行其他网站的脚本。它是由浏览器的同源策略造成的，是浏览器施加的安全限制。所谓同源是指，域名，协议，端口均相同，只要有一个不同，就是跨域。解决方法1. springboot 后端覆盖cors配置文件。@Configurationpublic class GlobalCorsConfig { /** * 允许跨域调用的过滤器 */ @Bean public CorsFilter corsFilter() {
2021-05-06 09:32:49
80
原创 问题收藏夹之mysql中的CHARSET和COLLATE关键字使用
问题：在创建表的时候发现CHARSET和COLLATE两个关键字，感觉不是很熟于是重新温习了下两个关键字的作用，在这做个记录。如：CREATE TABLE `test` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8m
2021-04-26 10:12:31
408
原创 问题收藏夹之Spring 循环依赖如何解决
报错信息：org.springframework.beans.factory.BeanCurrentlyInCreationException: Error creating bean with name ‘testA’: Bean with name ‘testA’ has been injected into other beans [testB] in its raw version as part of a circular reference, but has eventually been w
2021-04-22 15:48:17
198
原创 问题收藏夹之Spring @Async注解不生效
问题在项目中在某个方法上使用@Async 注解，但是发现调用这个方法的时候，并没有使用异步调用，而是同步。经过排查需要注意：需要在@Async 注解的类或者启动类Application中使用@EnableAsync注解。@Async注解的函数，跟调用这个异步函数的函数不要在同一类中。不要自己使用new创建异步函数所在的类对象，而是需要通过Spring bean自动注入。异步函数所在的类需要使用@Component 或者其它的注解加入到Spring bean中。...
2021-04-16 09:26:44
198
原创 问题收藏夹之mybatis报 NoSuchPropertyException错误
问题在使用myabtis进行查询时报：Caused by: org.apache.ibatis.ognl.NoSuchPropertyException: com.souche.workorders.model.query.AiLogQuery.filterStart。错误。排查自己检查了下实体类的属性名称和sql中的参数名称，发现没错（这里得背锅，太粗心大意了）。 百度了一番，没有找到比较靠谱的答案，只能自己上手看源码了，一层一层断点下去，最终发现。最终结论还是参数名称没写对。sql中的
2021-04-14 14:05:58
8940
原创 MQ消息队列学习系列之如何保证消息不被重复消费
如何保证消息不被重复消费：名词解释幂等性: 就是用户对于同一操作发起的一次请求或者多次请求的结果是一致的,不会因为多次点击而产生了副作用。RabbitMQ、RocketMQ、Kafka，都有可能会出现消息重复消费的问题，正常。因为这问题通常不是 MQ 自己保证的，是由我们开发来保证的。即不是通过配置MQ使用它自带的机制来保证，而是通过开发人员通过代码来保证，以kafka为例进行说明。kafka：kafka消息消费机制：kafka使用offset的概念。在每个消息写进去时，都会生成一个offs
2021-03-29 09:34:53
732
原创 Spring Cloud GateWay学习之微服务网关Zuul、Gateway、nginx的区别和Spring Cloud GateWay的使用。
Spring Cloud GateWay 是什么网关，Spring Cloud Gateway是Spring官方基于Spring 5.0，Spring Boot 2.0和Project Reactor等技术开发的网关，Spring Cloud Gateway旨在为微服务架构提供一种简单而有效的统一的API路由管理方式。Spring Cloud Gateway作为Spring Cloud生态系中的网关，目标是替代ZUUL，其不仅提供统一的路由方式，并且基于Filter链的方式提供了网关基本的功能，例如：安全
2021-03-24 17:17:07
2457
原创 Socket是什么？WebSocket和Socket的区别？WebSocket和Http的区别？
Socket是什么？TPC/IP协议是传输层协议，主要解决数据如何在网络中传输；Socket是对TCP/IP协议的封装和应用(程序员层面上)；而HTTP是应用层协议，主要解决如何包装数据。TCP/IP和HTTP协议的关系是：“我们在传输数据时，可以只使用(传输层)TCP/IP协议，但是那样的话，如果没有应用层，便无法识别数据内容。如果想要使传输的数据有意义，则必须使用到应用层协议。应用层协议有很多，比如HTTP、FTP、TELNET等，也可以自己定义应用层协议。WEB使用HTTP协议作应用层协议
2021-03-22 14:16:28
480
1
原创 Nacos学习之 SpringCloud整合Nacos
在Spring Cloud 中使用Nacos前提条件需先下载 Nacos 并启动 Nacos serve。 Nacos的安装和使用启动服务注册与发现添加依赖：<dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-discovery</artifactId> <vers
2021-03-19 16:25:17
1003
原创 Nacos学习之 SpringBoot整合Nacos
在Spring Boot 中使用Nacos前提条件需先下载 Nacos 并启动 Nacos serve。 Nacos的安装和使用启动服务发现添加依赖。<dependency> <groupId>com.alibaba.boot</groupId> <artifactId>nacos-discovery-spring-boot-starter</artifactId> <version>${lates
2021-03-19 16:22:30
1017
原创 Nacos学习之 Nacos是什么，Nacos的使用
CAP理论在分布式领域有一个很著名的CAP定理：一致性(Consistency) (所有节点在同一时间具有相同的数据)可用性(Availability) (保证每个请求不管成功或者失败都有响应)分隔容忍(Partition tolerance) (系统中任意信息的丢失或失败不会影响系统的继续运作)Nacos是什么 Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现（注册中心）、服务配置（动态配置中心）、服务元数据及流量管理（服务的健康和状态监控管理）。Nacos 支持的服务
2021-03-19 16:17:30
647
2
原创 MQ消息队列学习系列之什么是消息队列？为什么使用消息队列？Kafka、ActiveMQ、RabbitMQ、RocketMQ 的优缺点？
MQ消息队列学习之什么是消息队列，为什么使用消息队列，各MQ的对比什么是消息队列：消息队列，一般我们会简称它为MQ(Message Queue)。就是将消息放到队列中。队列是一种先进先出的接口。将消息放到队列中叫生产者。将消息从队列中取出来叫消费者。总结：消息队列就是由生产者将消息放到队列中，由于它先进先出的结构特性，消费者会拿最早进去的消息回来进行消费。为什么使用消息队列：消息队列的优点：三个核心：解耦、异步、削峰解耦： 传统情况下，A系统跟...
2021-03-18 15:41:00
169
原创 服务器推送消息到前端实现页面数据实时刷新-分布式Websocket技术方案
服务器推送消息到前端实现页面数据实时刷新-分布式Websocket技术方案背景项目上有个新的需求，需要在系统数据发生改变时，前端页面要实时刷新页面数据。简单的方案一： 最简单的方式就是直接在前端页面使用定时器定时刷新数据。 这个方案除非是定时的时间设置很短，否则还是会存在页面刷新不及时的情况。但是如果定时时间设置得过短，一旦客户端使用量变多，整个系统的请求数量会变的非常多，需要消耗许多服务器资源。故放弃这个方案。方案二： 服务端推送的方式，通过使用Websocket，进入页面时，前端就与
2021-03-08 09:36:23
14998
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人