- 博客(33)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 flink on k8s(Flink1.15.0 on Native Kubernetes)
实验环境macOS x86-64minikube准备工作安装minikube下载安装curl -LO https://storage.googleapis.com/minikube/releases/latest/minikube-darwin-amd64sudo install minikube-darwin-amd64 /usr/local/bin/minikubeminikube start --driver=hyperkit或minikube startmini
2022-05-29 22:45:39
1276
原创 常用压缩解压打包命令
01-.tar格式解包：[＊＊＊＊＊＊＊]$ tar xvf FileName.tar打包：[＊＊＊＊＊＊＊]$ tar cvf FileName.tar DirName（注：tar是打包，不是压缩！）02-.gz格式解压1：[＊＊＊＊＊＊＊]$ gunzip FileName.gz解压2：[＊＊＊＊＊＊＊]$ gzip -d FileName.gz压 缩：[＊＊＊＊＊＊＊]$ gzip FileName03-.tar.gz格式解压：[＊＊＊＊＊＊＊]$ tar zxvf FileName.
2021-08-10 14:08:59
209
原创 scala中Array,List,Tuple的差别
Array通常是先确定长度后赋值，而List和Tuple在声明时赋值 Array取单个元素的效率比List读取单个元素的效率高 List声明不要new关键字，而Tuple声明无论有无new都可以 Array使用new关键字调用主构造器，不用new则调用对象的apply方法，当使用混合类型时，Array和List会将元素类型转化为Any类型，而Tuple则保留每个元素的初始值类型 访问方式不同，Array和List下标从0开始，且使用小括号；而Tuple的下标从1开始，使用点加下划线的方式访问..
2021-02-07 10:22:18
353
原创 理解Java接口回调
初步认识：实现步骤：1、创建一个回调接口。2、创建一个回调对象实现回调接口。3、创建一个控制器对象，将回调对象作为参数传给控制器对象，控制器对象负责检查某个场景是否出现或某个条件是否满足，当满足时，则调用回调对象的某方法。代码示例：实例：Boss通知员工做事情，员工完成任务之后告诉Boss完成情况。说明：Callback：回调接口。Boss：回调对象。Employee：控制器对象。1、创建一个回调接口public interface Callback {pu
2021-01-25 16:55:44
223
转载 【spring】PO,VO,DAO,BO,POJO，Bean之间的区别与解释
VOvalue object：值对象通常用于业务层之间的数据传递，由new创建，由GC回收。POpersistant object：持久层对象对应数据库中表的字段。VO和PO，都是属性加上属性的get和set方法；表面看没什么不同，但代表的含义是完全不同的。DTOdata transfer object：数据传输对象。表里面有十几个字段：id,name,gender(M/F),age,conmpanyId(如001)...页面需要展示四个字段：name,gend.
2021-01-22 17:40:43
744
转载 好文转载:【SpringBoot-3】切面AOP实现权限校验：实例演示与注解全解
SpringBoot中的AOP处理1 理解AOP 1.1 什么是AOP 1.2 AOP体系与概念 2 AOP实例 2.1 第一个实例 2.2 第二个实例 3 AOP相关注解 3.1 @Pointcut 3.2 @Around 3.3 @Before 3.4 @After 3.5 @AfterReturning 3.6 @AfterThrowing 一键三连运势涨，offer飞来落满筐！喜欢本文的朋友，不要吝啬你们的赞。1 理解AOP.
2021-01-13 11:30:18
185
原创 flink计算实时流中的中位数
需求：求1s内的中位数sink -> es思路1：窗口1s,对数据进行分组计算每组数据的总数计算窗口内所有数据的总数根据窗口内所有数据的总数找到中位数的位置根据中位数的位置找到中位数senv // 源数据切割，封装成Stat对象 Stat(elapsedTime,num) .flatMap() // 按照Stat(elapsedTime,num)的elapsedTime进行分组 .keyBy() // 分组窗口（滚动窗口1s） .window() //
2020-12-31 17:04:31
1131
原创 MAC 拆分压缩/合并文件
为了解决上传网盘时单文件大小限制，或向某某公司邮箱发送文件时的文件大小限制，我们常常需要将较大的文件拆分成多个在限制大小内的小文件，进行传输后，在使用端再将多个小文件合并为一个完整的大文件进行使用。使用 zip 命令压缩文件1.使用 zip 命令压缩文件，并结合 split 命令来分卷：zip - <file_name> | split -b <max_size>上述命令将名为file_name的文件压缩成 zip 包并分成不超过max_size的文件，分解后文件名默认是
2020-12-31 16:48:29
5488
原创 Flink WaterMark机制
导读Flink 为实时计算提供了三种时间，即事件时间（event time）、摄入时间（ingestion time）和处理时间（processing time）。遇到的问题：假设在一个5秒的Tumble窗口，有一个EventTime是 11秒的数据，在第16秒时候到来了。图示第11秒的数据，在16秒到来了，如下图：该如何处理迟到数据什么是WatermarkWatermark的关键点：目的：处理EventTime 窗口计算 本质：时间戳 生成方式：Punctuated和Per
2020-12-20 16:44:22
258
原创 记录一次kafka -＞ flink无数据的坑
kafka 到 flink ,在flink TM的Logs中：INFO org.apache.kafka.Clients.consumer.internals.AbstractCoordinator - Marking the coordinator ip:port (id : XXX rack: XXX) dead for group XXX原因分析：无法找到ip解决方案：配置hosts问题，将yarn节点ip与kafka节点ip配到hosts中即可。...
2020-12-18 17:33:25
756
4
原创 idea中Scala自动勾选Specify type
Ctrl+Alt+V自动生成变量后，Specify type选项勾选之后会显示出变量的类型，默认是没有勾选的。为了方便设置为自动勾选，点击Settings,在Type Annotations选项卡里，勾选Local definition选项。然后再下一次的Specify type选项就自动勾选上了！...
2020-11-13 10:10:46
1306
2
原创 Flink保证数据不丢失不重复、状态一致性
如图：奇数和偶数分流分别计算概念计算结果要保证准确。 一条数据不应该丢失，也不应该重复计算。 遇到故障时可以恢复状态，恢复以后的重新计算结果应该也是完全正确的。状态一致性分类（级别） AT-MOST-ONCE（最多一次） 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。即最多处理一次事件。 AT-LEAST-ONCE（至少一次） （不能保证数据不被重复处理） 在大多数真实应用场景，我们希望不丢事件。但是有些事件还可能被处理多次。...
2020-11-05 15:14:52
5057
1
原创 MySQL创建用户与授权
一. 创建用户命令:CREATE USER 'username'@'host' IDENTIFIED BY 'password';说明：username：你将创建的用户名host：指定该用户在哪个主机上可以登陆，如果是本地用户可用localhost，如果想让该用户可以从任意远程主机登陆，可以使用通配符%password：该用户的登陆密码，密码可以为空，如果为空则该用户可以不需要密码登陆服务器例子：CREATE USER 'dog'@'localhost' IDENTIFIED BY '
2020-08-28 17:12:25
196
原创 4种方式实现两个整数变量的交换
public class TestSwap { public static void main(String[] args) { int a = 10; int b = 20; System.out.println("a:"+a+",b:"+b); //方式1：使用第三方变量(开发中常用) .
2020-08-10 21:03:27
325
5
原创 java中compareTo源码解析（String类型）
官网API(JDK13):先上结论：1、计算compareTo两边字符串的总长度（length（））2、求出总长度中的最小值3、如果长度相等，比较ASCII值相同，返回04、如果长度不相同，从前向后比较每个字母的ASCII值，返回有差异的ASCII码的差值5、在总长度的最小值中，如果所有的ASCII码相同，则进行长度的相减，返回相减后的值（正数或负数）源码：引用API（JDK13）:public int compareTo（字符串 anotherString）
2020-08-06 23:03:47
565
原创 macOS彻底删除IntelliJ IDEA软件，这篇文章就够了！
mac上安装IntelliJ IDEA后，如果IntelliJ IDEA出了问题需要重新安装，有时会发现软件删除重装后，IntelliJ IDEA仍然出现打不开的问题，很是困扰。下面方法教你彻底删除mac中的IntelliJ IDEA等类似软件。1、将应用移至废纸篓进行删除2、打开访达3、在屏幕顶部工具栏点击 “前往”，显示下拉菜单，按下键盘"option"键，就可以看到资源库，点击进入资源库4、在资源库文件夹内， 查找以下目录里所包含的IntelliJIdea文件夹，删除即可：（1
2020-08-05 10:03:17
5941
4
原创 macOS获取文件绝对路径的快捷键
macOS获取文件绝对路径的快捷键为:command + option+ccommand + v粘贴到文本文档中既可查看绝对路径
2020-08-05 10:00:02
4227
原创 hive避免进行MapReduce过程的几种情形
question：hive一般情况下，会触发MapReduce任务进行查询，那么什么情况下可以不必使用MapReduce进行查询呢？answer：在本地模式下，hive可以避免进行MapReduce（查询速度相对而言更快）。例如：1、select * from emp（表名）;2、只过滤字段（列）的select语句：对于where语句中过滤条件只是区分字段（列）这种情况，无论是否使用limit语句限制输出记录条数，也是无需MapReduce过程的select * from
2020-08-05 09:57:48
992
原创 Apache Flink 1.11.0 新功能解读
来源|Apache Flink 官方博客翻译| 高赟（云骞）Apache Flink 社区很荣幸的宣布 Flink 1.11.0 版本正式发布！超过 200 名贡献者参与了 Flink 1.11.0 的开发，提交了超过 1300 个修复或优化。这些修改极大的提高了 Flink 的可用性，并且增强了各个 API 栈的功能。其中一些比较重要的修改包括： 核心引擎部分引入了非对齐的 Checkpoint 机制。这一机制是对 Flink 容错机制的一个重要改进，它可以提高严重反压作业的 Chec...
2020-08-04 17:48:30
415
2
原创 Collections.singletonList() 源码与用法
Collections.singletonList() 源码与用法方法注释： /** * Returns an immutable list containing only the specified object. * The returned list is serializable. * * @param <T> the class of the objects in the list * @param o the sole .
2020-08-04 14:40:37
1789
原创 Hive中浮点数比较踩过的坑
疑问案例：查询员工表中薪水的减免税超过0.2（20%）的数据：select name, salary, deductions from employees where deductions > 0.2;查询结果：John 100000.0 0.2Mary 80000.0 0.2Tom 200000.0 0.3Fred 150000.0 0.3为什么deductions = 0.2 的记录也被输出了？原因：浮点数float和double在比较的过程中，存在float转
2020-08-04 11:45:17
1866
原创 flink1.11.0基于java代码实现Application模式的踩坑总结
一、SubmitJobApplicationMode1、将core-site.xml,flink-conf.yaml,hdfs-site.xml,mapred-site.xml,yarn-site.xml放到resources目录下2、无法读取到本地的conf文件org.apache.hadoop.conf.Configuration conf = new org.apache.conf.Configuration();conf.set("fs.hdfs.impl","org.apache.
2020-08-04 11:33:42
1707
14
原创 flink1.11中Application 模式提交任务 yarn报错
flink1.11中Application模式提交任务到yarn时，提示报错信息：java.lang.RuntimeException:Couldn’t deploy Yarn session clusterThe YARN application unexpectedly switched to state FAILED during deployment.解决办法：错误原因：虚拟内存超过限制处理方式：yarn-site.xml中注释以下内容：<property>
2020-08-03 10:51:55
4261
1
原创 centos7配置网络
配置ip地址等信息在/etc/sysconfig/network-scripts/ifcfg-ens33文件里做如下配置：命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33修改如下：在/etc/sysconfig/network文件里增加如下配置：命令: vi/etc/sysconfig/network修改如下：在/etc/resolv.conf文件里增加如下配置：命令：vi /etc/resolv.conf重启网络：s.
2020-08-01 15:53:20
480
原创 linux免秘钥登录
配置SSH免秘钥登录在CDH中需要任意两个节点之间都可以免秘钥登录。节点两两免秘钥的根本原理如下：假设A节点需要免秘钥登录B节点，只要B节点上有A节点的公钥，那么A节点就可以免密登录当前B节点。第一，需要在每台节点上安装ssh客户端，否则，不能使用ssh命令（最小化安装Liunx，默认没有安装ssh客户端）：yum -y install openssh-clients第二，在每台节点执行如下命令，在每台节点的“~”目录下，创建.ssh目录，注意，不要手动创建这个目录，因为有权限问题。
2020-08-01 15:48:38
251
原创 linux挂载磁盘
Centos7挂载新硬盘1.查看系统是否检测到新的硬盘设备ls /dev/ |grep sdlinux 中所有外设都会在这个目录下，对应一个文件，其中第一块硬盘是sda,第二块硬盘是sdb,第三块硬盘是sdc。其中sda1,表示该硬盘的第一个分区。fdisk -l可以查看各个硬盘和分区的大小2.给新的硬盘分区#具体哪个硬盘，得看你新加的是哪个，一般第二个就是sdbfdisk /dev/sdb一般新建一个分区的输入 n ，分区的类型选 p 然后选分区起始扇区和结尾
2020-08-01 15:41:48
116
原创 CDH和confluence端口号冲突的一个坑
安装CDH的节点（CM）上安装confluence，会发现CM的Host Monoitor异常。查看日志发现该节点的端口号8091占用冲突。解决办法：修改CDH或者confluence的端口号。比如将CDH HostMonitor的端口号修改为18091.异常解决...
2020-08-01 15:32:06
653
原创 No FileSystem for scheme “hdfs“ 的解决办法
在linux端通过命令：java -cp xxxxxx.jar [applicationClassName] [args]调试Hadoop，报错：No FileSystem for scheme "hdfs"解决办法：将集群的Hadoop/conf/core-site.xml拷贝到你工程的根目录下，也就是src下。打开此文件，在最后添加以下代码：<property><name>fs.hdfs.impl</name&g...
2020-08-01 15:01:43
16952
5
原创 kafka通过timestamp找到offset消费数据
kafka通过timestamp找到offset消费数据package com.offsetandtimestamp;import org.apache.kafka.clients.consumer.ConsumerRecord;import org.apache.kafka.clients.consumer.ConsumerRecords;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kaf
2020-08-01 15:00:26
1128
原创 kafka常用命令
1.启动命令:kafka-server-start.sh config/server.properties2.查看topic:bin/kafka-topics.sh --zookeeper node2:2181 --list3.创建Topic(XXX为topic的名字):bin/kafka-topics.sh --create --zookeeper node2:2181 node3:2181 node4:2181 --rep...
2020-08-01 14:59:38
177
原创 Flink集群无法关闭
一、问题描述：Flink运行一段时间后，通过命令：bin/stop-cluster.sh无法正常关闭，提示：No taskexecutor daemon to stop on host xxx.No standalonesession daemon to stop on host xxx.二、flink集群部署模式：standalone三、排查：jps查看进程发现：flink进程启动，8081端口可以正常访问。查看FLINK_HOME/bin/目录的config.s
2020-08-01 14:58:46
3213
3
原创 Flink1.11中Application模式java代码启动遇到的一些问题以及解决方案
Flink1.11通过java代码方式运行Application模式遇到的问题及解决方案：1.flink-yarn_2.11-1.11.0.jar与maven导入jar包冲突pom找到对应的dependency进行exclusion即可<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-yarn_${scala.binary.version}<
2020-08-01 14:57:34
599
2
原创 CDH添加Hue服务时连接数据库报错
CDH添加Hue服务时连接数据库报错:Unexpected error. Unable to verify databases connection.1.问题2.查看CDH服务节点日志/opt/module/cloudera-manager/cm-5.16.1/log/cloudera-scm-servertail -n 10 cloudera-scm-server.log3.问题原因因为我们的mysql是重新安装的，服务器重新安装mysql的同时，会删除系统..
2020-08-01 14:56:34
565
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人