- 博客(73)
- 资源 (5)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Flink StreamingFileSink 文件到hdfs 文件一直处于inprogress状态无法生成正式文件
问题描述：任务逻辑是通过实时读取Kafka数据，一分钟计算一次数据，并利用Flink StreamingFileSink将数据落地到HDFS文件中。为了应对大促剧增的数据量，对当前运行稳定的集群进行了扩容处理，任务重启后发现写入的hdfs文件一直处于inprogress状态无法滚动生成正式文件。解决过程：开始是猜想可能是并行度过多，导致产生大量临时文件，文件句柄太多，关闭耗时导致文件一直无法完成合并？将并行度调整到1，发现问题并没有解决。又猜想是因为调整了checkpoint参数，禁用掉che
2022-01-30 10:53:11
6901
2
原创 CDH集成Flink开启Kerberos认证报错解决方法：Could not find a ‘KafkaClient‘ entry in the JAAS configuration.
问题CDH集成Flink,开启Kerberos认证之后，Flink任务中访问kafka运行时遇到如下错误信息： Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is /pub/yarn/nm/usercache/cs/appcache/application_1611045309594_0115/jaas-1662202841
2021-01-20 16:37:42
5768
2
原创 二、JVM 各区域内存溢出汇总
文章目录前言一、准备二、实战：OutOfMemoryError1.java 堆内存异常2.虚拟机栈和本地方法栈内存异常总结前言在java虚拟机规范的描述中，处程序计数器外，虚拟机内存的其他几个运行区域(不清楚JVM各个区域划分请阅读上一篇文章)都有发生OutOfMemoryError异常的可能，本篇文章将通过若干个实例来验证异常发生的场景，并且会初步介绍几个与内存相关的最基本的虚拟机参数一、准备 本篇文章涉及到需要修改虚拟机参数的地方。idea修改jvm虚拟机参数的方法如下。快捷键 ctrl+a
2020-11-11 22:18:20
528
原创 一、揭秘JVM内存
JVM内存结构文章目录JVM内存结构前言一、运行时数据区域二、各区域作用2.1程序技术器2.2.Java虚拟机栈2.2.本地方法栈2.2.堆2.2.方法区2.读入数据总结前言本文将从概念上介绍JVM 内存的各个区域、区域的作用、服务对象及可能产生的问题。提示：以下是本篇文章正文内容，参考《深入理解java虚拟机》及自己的思想总结的一些内容。希望自己越过心里障碍去学习JVM，让JVM学习历程不再枯燥，同时希望各位同行批评指正一起努力、一起进步。一、运行时数据区域Java虚拟机在执行Java
2020-11-10 21:10:00
211
原创 MapReducer环形缓冲区实现思路-环形队列数据结构
环形队列实现-scala语言描述package datastructer.queue/** * ClassName:CircleArrayQueue * Package:datastructer.queue * Description: 环形队列 * Datetime:2020-10-21 12:34 */object CircleArrayQueue { def main(args: Array[String]): Unit = { }}class ArrayQueue
2020-11-07 13:06:14
301
原创 用数组实现队列-scala语言描述
文章目录一、用数组实现队列-scala语言描述一、用数组实现队列-scala语言描述import scala.io.StdIn/** * ClassName:Queue * Package:datastructer */object ArrayQueue { def main(args: Array[String]): Unit = { val queue = new ArrayQueue(3) var key = "" while (true) {
2020-11-07 13:03:57
111
原创 CDH5.16.1 集成 Flink-1.10.0
CDH5.16.1 集成Flink-1.10.0提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录CDH5.16.1 集成Flink-1.10.0前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结前言提示：这里可以添加本文要记录的大概内容：例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，
2020-11-07 12:30:48
1367
1
原创 《java8 in action》读书笔记（1）
行为参数化官方解释：让方法接受多种行为（或战略）作为参数，并在内部使用，来完成不同的行为。代码解释： class Apple{ private String colors; private int weigth; public String getColors() { return colors; } public voi...
2018-03-30 15:16:49
828
2
原创 Elasticsearch 使用教程
前言该文章是我读《Elasticsearch权威指南》后的知识总结，学习任何一门技术，读任何一本书都需要总结知识经验，好记性不如烂笔头，初识elasticsearch，如有总结不恰当的地方，还请各路大神不吝赐教。Elasticsearch知识总结：一.是什么Elasticsearch 是一个分布式、可扩展、实时的搜索与数据分析引擎。它是全文检索、结构化搜索、分析以及这三个功能的...
2018-03-30 10:48:39
631
原创 windows系统安装运行filebeat
windows安装filebeat，记录一下防止自己忘记。下载安装包 下载地址：https://www.elastic.co/downloads/beats/filebeat解压到指定目录打开解压后的目录，打开filebeat.yml进行配置。①：配置 Filebeat prospectors->path 这里的路径是所要收集日志的路径 ②：配置 enab...
2018-03-30 10:18:41
14192
2
原创 高版本logstash收集log4j日志
前言logstash在旧版本中有log4j输入插件可以直接通过项目中配置log4j来实现日志的收集，但是在高版本的logstash利用log4j插件是收集日志时一直收集不到， 通过阅读最新官方文档，才发现高版本logstash的log4j插件已经过时，官方推荐使用filebeat输入插件来log4j日志。利用filebeat收集log4j日志，官方文档有相关介绍，下述内容是本人实践记录总结，不...
2018-03-29 10:54:37
8218
6
原创 《java高并发程序设计》读书笔记（4）
提高锁性能如何提高锁性能 减小锁持有的时间减小锁粒度锁分离锁粗化java虚拟机对锁优化的处理 偏向锁：如果一个线程获得了锁，那么锁就进入偏向模式，当这个线程再次请求锁时，无须再做任何同步操作，这样可以节省大量有关锁申请的操作，适合几乎没有锁竞争的场合。轻量级锁：虚拟机只是简单的将对象头部作为指针，指向持有锁的线程堆栈的内部，以此判断一个线程是否持有锁。如果获得轻量级锁成功，则可顺利进
2017-10-13 17:06:52
329
5
原创 《java高并发程序设计》读书笔记（3）
多线程的团队协作：同步控制重入锁：这种锁可以反复进入，可以响应中断(lockInterruptibly()方法)，可以申请等待时限(tryLock(),tryLock(long timeout, TimeUnit unit)),可以产生公平锁防止饥饿(new ReentrantLock(true))。案例代码：import java.util.concurrent.locks.Reentrant
2017-10-13 16:56:00
385
原创 《java高并发程序设计》读书笔记（2）
有关线程必知 线程&进程 - 线程：轻量级进程是程序执行的最小单位。 - 进程：计算机中程序关于某数据集合上的一次运行活动是系统进行资源分配和调度的基本单位，是操作系统结构的基础，是线程的容器。线程的基本操作新建线程Thread thread=new Thread();thread.run(); new Thread(new Runnable()
2017-10-13 16:54:50
253
原创 《java高并发程序设计》读书笔记（1）
并发几个重要的概念同步&异步 二者一般都指方法的调用，同步方法一旦调用开始，调用者必须等到方法调用返回后才能继续后续的行为，异步方法调用更像一个消息传递，一旦开始，方法调用就会立即返回，调用者可以继续后续的操作。而异步方法通常会在另外一个线程中“真实”地执行。临界区：表示公共资源或者共享数据，可以被多个线程使用阻塞&非阻塞：形容多线程间的相互影响。阻塞：比如一个线程占用了临界区资源，那么其他
2017-10-13 16:51:41
356
转载 Java动态代理机制详解（JDK 和CGLIB）
class文件简介及加载 Java编译器编译好Java文件之后，产生.class 文件在磁盘中。这种class文件是二进制文件，内容是只有JVM虚拟机能够识别的机器码。JVM虚拟机读取字节码文件，取出二进制数据，加载到内存中，解析.class 文件内的信息，生成对应的 Class对象: class字节码文件是根据JVM虚拟机规范中规定的字节码组
2017-07-03 19:05:04
393
转载 hashMap和Hashtable的区别
原文地址：http://www.cnblogs.com/lzrabbit/p/3721067.html#h1HashMap和Hashtable的区别两者最主要的区别在于Hashtable是线程安全，而HashMap则非线程安全Hashtable的实现方法里面都添加了synchronized关键字来确保线程同步，因此相对而言HashMap性能会高一些，我们平时使用时若无特殊需求建议使
2017-07-02 20:17:45
303
转载 HashMap的设计原理与实现分析
HashMap在Java开发中有着非常重要的角色地位，每一个Java程序员都应该了解HashMap。 本文主要从源码角度来解析HashMap的设计思路，并且详细地阐述HashMap中的几个概念，并深入探讨HashMap的内部结构和实现细节，讨论HashMap的性能问题，并且在文中贯穿着一些关于HashMap常见问题的讨论。 读完本文，你会了解到： 1.
2017-07-02 19:45:48
585
转载 Java中的参数传递
关于Java传参时是引用传递还是值传递，一直是一个讨论比较多的话题，有论坛说Java中只有值传递，也有些地方说引用传递和值传递都存在，比较容易让人迷惑。关于值传递和引用传递其实需要分情况看待，今天学习和分析一下，着急可以先看最后的结论。1.基本类型和引用类型在内存中的保存Java中数据类型分为两大类，基本类型和对象类型。相应的，变量也有两种类型：基本类型和引用类型。基本类型的变
2017-06-29 10:49:13
799
转载 一致性哈希算法的原理与实现
一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效了，如果是持久化存储则要做数据迁移，如果是分布式缓存，则其他缓存就失效了。 因此，引入了一致性哈希算法：把数据用ha
2017-06-28 23:25:54
709
原创 SpringBoot 之 第三方Json解析框架FastJson的使用
学习知识不能只学当前的，学过要学会总结，本人通过学习spring boot 的第三方json解析框架，触类旁通，总结自定义配置spring boot 其他组件的使用，总结于此方便自己以后复习使用。如有大牛路过还请多多批评指正。总结：1：在pom.xml中引入相关的jar包信息，比如这里的FastJson <dependency> <groupId>com.
2017-03-31 11:22:00
2195
原创 算法练习之（任意长度字符串逆向输出）
一：问题描述：将从控制台输入的不定长度的任意字符串逆向输出二：程序分析：既然不定长度，说明不能使用反向迭代方式实现，而这里要逆向输出，而且不知道入参的长度，最佳的实现方式就是利用递归来实现。三：用java语言实现任意长度字符串的逆向输出package algorithm;import java.util.Scanner;/** * @packagname:algorithm * @class
2017-03-18 17:19:46
1440
原创 算法练习之 （汉诺塔）
一：问题来源：据传开天辟地之神勃拉玛在一个庙里留下了三根金刚石的棒，第一根上面套着64个圆的金片，最大的一个在底下，其余一个比一个小，依次叠上去，庙里的众僧不倦地把它们一个个地从这根棒搬到另一根棒上，规定可利用中间的一根棒作为帮助，但每次只能搬一个，而且大的不能放在小的上面。就是这看似简单的问题，却困扰了人们千年以上。二：程序分析：仔细考虑移动规则会发现，所有的盘子移动规则都分以下的三步：假设三
2017-03-18 17:09:02
776
原创 算法随练（斐波那契数列）
斐波那切数列斐波那契数列是最经典的递归算法的体现，最常见的就是兔子问题：有一对兔子，从出生后第3个月起每个月都生一对兔子，小兔子长到第三个月后每个月又生一 对兔子，假如兔子都不死，问每个月的兔子总数为多少？程序分析： 兔子的规律为数列1,1,2,3,5,8,13,21....数学分析：兔子每个月的数量为f(n)=f(n-1)+f(n-2)*一对兔子生兔子的对数public class Rab
2017-03-17 23:16:01
496
原创 数据结构之快速排序
以前对快速排序，仅仅停留在记忆代码的阶段，今天，我真正理解了该排序算法的原理，利用自己脑袋中的理解，在这里用Java语言实现，以便自己以后复习。快速排序package sort;/** * @packagname:sort * @classname:FastSort * @date:2017/2/21 * @author:cullinans * @des: 快速排序 */public
2017-03-16 20:32:11
429
原创 数据结构之选择排序
已经学习Java接近三年的cullinans，回头再看数据结构的一些知识，果然和刚学时不一样，今日记录下自己对这些知识的理解，以便自己不断重复更加深入的理解。选择排序package sort;/** * @packagname:sort * @classname:ChooseSort * @date:2017/1/30 * @author:cullinans * @des:选择排序 *
2017-03-16 20:26:38
326
原创 数据结构之队列（链式存储）
一：队列结点package linkedqueue;/** * @packagname:linkedqueue * @classname:LinkedQueueNode * @date:2017/1/25 * @author:cullianns * @des:链式存储结点结构 */public class LinkedQueueNode<T> { T data; Link
2017-03-16 20:18:20
419
原创 数据结构之链栈（二）
一：链栈结点package linkedstack;/** * @packagname:linkedstack * @classname:LinkedStackNode * @date:2017/1/24 * @author:cullinans * @des:链栈结点 */public class LinkedStackNode<T> { T data; LinkedSt
2017-03-16 20:06:05
308
转载 Java类加载器总结
1.类的加载过程 JVM将类加载过程分为三个步骤：装载（Load），链接（Link）和初始化(Initialize)链接又分为三个步骤，如下图所示：1) 装载：查找并加载类的二进制数据；2)链接：验证：确保被加载类的正确性；准备：为类的静态变量分配内存，并将其初始化为默认值；解析：把类中的符号引用转换为直接引用；3)初始化：为类的静态变量赋予正确的初始
2017-02-21 12:18:11
266
原创 面试算法总结（一）
所谓前事不忘，后事之师，周六参加了一个面试，有两道简单的算法题，今日记录于此。两题的题目分别是： 1:输入三个数，让三个数按从小到大的顺序排列。 2:对一列数进行排序。 现将二者的代码一起写出来，积累自己的知识储量。public class Test { public static void main(String args[]){ methord(6,7
2017-02-20 11:08:20
387
原创 《java编程思想》读书笔记之——流程控制
一：continue 运用场景：任何迭代语句的主体部分 作用：停止当前的迭代，然后退出循环起始出开始下一次的迭代二：break 运用场景：任何迭代语句的主体部分 作用：强行退出循环，不执行循环中的剩余语句三：continue和break代码演示public class BreakAndContinueTest { public static void main
2017-02-10 11:13:43
431
原创 《java编程思想》读书笔记之——java中的操作符
一：优先级 根据以上表格总结出的优先级为： 后缀运算符（.）>单目运算符(++)>new>乘除>加减>移位>关系(大于，小于)>相等>按位与>按位异或>按位或>逻辑与>逻辑或>条件（？：）>赋值二：逻辑操作符注意：逻辑操作符“与”，“或”，“非” 只可应用于布尔值，与c和c++不同的是，java中不可以将一个非布尔值当做一个布尔值来使用。三：按位操作符注意：按位操作符不可以对布尔值执行非操作。
2017-02-10 10:18:41
457
原创 《java编程思想》读数笔记之---基础杂谈
一：用引用操作对象二：内存分配 寄存器： 最快的存储区，位于处理器内部，数量有限，java程序员不能直接控制，在程序中感觉不到这块区域的存在，但是c和c++允许建议向寄存器分配内存。 堆栈： 位于随机访问存储区，堆栈指针可以获得处理器的直接支持，堆栈指针下移获得新内存，堆栈指针上移释放内存，速度仅次于寄存器，创建程序时，java系统必须知道在堆栈内所有项
2017-02-08 12:11:08
456
转载 SpringMVC对静态资源的处理
优雅REST风格的资源URL不希望带 .html 或 .do 等后缀.由于早期的Spring MVC不能很好地处理静态资源，所以在web.xml中配置DispatcherServlet的请求映射，往往使用 *.do 、 *.xhtml等方式。这就决定了请求URL必须是一个带后缀的URL，而无法采用真正的REST风格的URL。如果将DispatcherServlet请求映射配置为"/"，则Spr
2017-02-07 17:56:42
547
转载 Tomcat下部署多个项目
同一端口号的多个项目部署 添加：[html] view plain copyprint?Context path="/route" reloadable="true" docBase="/home/develop/tomcat-7.0.54/flatrass"/> Context path="/route2" reloadable="tr
2017-01-13 08:23:48
620
原创 数据结构之线性表（一）
定义：官方表达：零个或多个数据元素的有限序列大话表达：具有像线一样的性质的表，比如一个班级的小朋友，一个跟着一个过马路，这样如同有一根线把他们串联起来。具有这样结构的表就是线性表。存储结构：顺序存储链式存储代码实现（java语言）：本篇文章只总结线性表的顺序存储结构的一些操作写法，下一篇文章讲链式存储结构。1：定义线性表顺序存储结构代码：package datastructure.li
2017-01-12 11:47:13
547
转载 Spring security实现权限管理
1、配置文件1、POM.xml[html] view plain copyprint?project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/
2017-01-11 18:01:15
1136
转载 Spring security实现权限管理
1、配置文件1、POM.xml[html] view plain copyprint?project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/
2017-01-11 17:47:11
1076
simulatedata-generator-0.0.1.jar
2020-11-13
Spring Boot http 转https
2017-01-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人