8 吃胖点儿

尚未进行身份认证

“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986

等级
TA的排名 6k+

JVM性能调优监控工具强悍版

现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题: OutOfMemoryError,内存不足 内存泄露 线程死锁 锁争用(Lock Contention) Java进程消耗CPU过高 ...... 这些问题在日常开发、维护中可能被很多人忽视(比如有的人遇到上面的问题只是重启服务器或者调大内存,而不会深究问题根源),但能够理解并解决这些问题是Java程序员进阶的必备要求。本文将对一些常用的JVM性能调优监控工具...

2020-05-25 19:17:24

设计模式在Spring中的运用

.简单工厂(非23种设计模式中的一种)实现方式:BeanFactory。Spring中的BeanFactory就是简单工厂模式的体现,根据传入一个唯一的标识来获得Bean对象,但是否是在传入参数后创建还是传入参数前创建这个要根据具体情况来定。实质:由一个工厂类根据传入的参数,动态决定应该创建哪一个产品类。实现原理:bean容器的启动阶段: 读取bean的xml配置文件,将bean元素分别转换成一个BeanDefinition对象。 然后通过BeanDefinition

2020-05-23 11:25:35

延时队列的6中说法,最后一种技术含量高哟

一口气说出 6种 延时队列的实现方法,面试官也得服原创程序员内点事程序员内点事1周前五一期间原计划是写两篇文章,看一本技术类书籍,结果这五天由于自律性过于差,禁不住各种诱惑,我连电脑都没打开过,计划完美宣告失败。所以在这能看出和大佬之间的差距,人家没白没夜的更文,比你优秀的人比你更努力,难以望其项背,真是让我自愧不如。知耻而后勇,这不逼着自己又学起来了,个人比较喜欢一些实践类的东西,既学习到知识又能让技术落地,能搞出个demo最好,本来不知道该分享什么主题,好在最近项目紧急招人中,而我有幸...

2020-05-20 16:54:57

Hive的数据倾斜和解决方法

在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的分配到各个reduce中,就是解决数据倾斜的根本所在。规避错误来更好的运行比解决错误更高效。在查看了一些资...

2020-05-14 17:05:34

Hive之基本进阶操作

hive------------------ 在hadoop处理结构化数据的数据仓库。 不是: 关系数据库 不是OLTP 实时查询和行级更新。hive特点----------------- hive存储数据结构(schema)在数据库中,处理的数据进入hdfs. OLAP HQL / HiveQLhive安装----------------- 1.下载hive2.1-tar.gz 2.tar开 .

2020-05-14 16:30:31

常见 MySQL 的慢查询优化方式!

慢查询日志概念MySQL的慢查询日志是MySQL提供的一种日志记录,它用来记录在MySQL中响应时间超过阀值的语句,具体指运行时间超过long_query_time值的SQL,则会被记录到慢查询日志中。long_query_time的默认值为10,意思是运行10S以上的语句。默认情况下,Mysql数据库并不启动慢查询日志,需要我们手动来设置这个参数,当然,如果不是调优需要的话,一般不建议启动该参数,因为开启慢查询日志会或多或少带来一定的性能影响。慢查询日志支持将日志记录写入文件,也支持将日志记.

2020-05-13 20:37:58

如何实时监控 Flink 集群和作业?

Flink 相关的组件和作业的稳定性通常是比较关键的,所以得需要对它们进行监控,如果有异常,则需要及时告警通知。本章先会教会教会大家如何利用现有 Flink UI 上面的信息去发现和排查问题,会指明一些比较重要和我们非常关心的指标,通过这些指标我们能够立马定位到问题的根本原因。接着笔者会教大家如何去利用现有的 Metrics Reporter 去构建一个 Flink 的监控系统,它可以收集到所有作业的监控指标,并会存储这些监控指标数据,最后还会有一个监控大盘做数据可视化,通过这个大盘可以方便排查问题。实

2020-05-11 17:18:55

JAVA 线上故障排查完整套路!牛掰!

线上故障主要会包括 CPU、磁盘、内存以及网络问题,而大多数故障可能会包含不止一个层面的问题,所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的,基本上出问题就是 df、free、top 三连,然后依次 jstack、jmap 伺候,具体问题具体分析即可。CPU一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导

2020-05-11 17:17:45

18.Flink之Flink Connector

如何正确使用 Flink Connector?Posted by董亭亭2019年9月03日董亭亭快手 实时计算引擎团队负责人董亭亭,快手大数据架构实时计算引擎团队负责人。目前负责Flink引擎在快手内的研发、应用以及周边子系统建设。2013年毕业于大连理工大学,曾就职于奇虎360、58集团。主要研究领域包括:分布式计算、调度系统、分布式存储等系统。本文主要分享 Fl...

2020-05-09 15:25:48

17.Flink之详解 Metrics 原理与实战

Apache Flink 进阶教程(八):详解 Metrics 原理与实战2019年12月17日作者 | 刘彪整理 | 毛鹤本文由 Apache Flink Contributor 刘彪分享,本文对两大问题进行了详细的介绍,即什么是 Metrics、如何使用 Metrics,并对 Metrics 监控实战进行解释说明。什么是 Metrics?Flink 提供的 Metric...

2020-05-09 15:24:56

16.Flink之网络流控及反压剖析

Apache Flink 进阶教程(七):网络流控及反压剖析2019年12月17日作者 | 张俊整理 | 张友亮(Apache Flink 社区志愿者)本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、OPPO 大数据平台研发负责人张俊老师分享。主要内容如下: 网络流控的概念与背景 TCP的流控机制 ...

2020-05-09 15:24:04

RPC 的超时设置,一不小心就是线上事故!

上面这张监控图,对于服务端的研发同学来说再熟悉不过了。在日常的系统维护中,『服务超时』应该属于监控报警最多的一类问题。尤其在微服务架构下,一次请求可能要经过一条很长的链路,跨多个服务调用后才能返回结果。当服务超时发生时,研发同学往往要抽丝剥茧般去分析自身系统的性能以及依赖服务的性能,这也是为什么服务超时相对于服务出错和服务调用量异常更难调查的原因。这篇文章将通过...

2020-05-06 11:36:37

Apache Flink在滴滴的应用与实践

Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。滴滴基于 Apache Flink 做了大量的优化,也增加了更多的功能,比如扩展 DDL、内置消息格式解析、扩展 UDX 等,使得 Flink 能够在滴滴的业务场景中发挥更大的作用主要内容包括: 服务...

2020-05-06 10:22:56

14.Flink之数据类型和序列化五星

Apache Flink 进阶教程(五):数据类型和序列化2019年12月13日作者 | 马庆祥整理 | 毛鹤本文根据 Apache Flink 系列直播整理而成,由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为 Flink 量身定制的序列化框架、Flink 序列化的最佳实践、Flink 通信层的序列化以及问答环节四部...

2020-05-02 21:03:42

15.Flink之Flink 作业执行深度解析

Apache Flink 进阶教程(六):Flink 作业执行深度解析2019年12月13日作者 | 岳猛整理 | 毛鹤本文根据 Apache Flink 系列直播课程整理而成,由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程,文章将从两个方面进行分享:一是如何从 Program 到物...

2020-05-02 20:36:20

13.Flink之Flink on Yarn/K8s 原理剖析及实践

Apache Flink 进阶教程(四):Flink on Yarn/K8s 原理剖析及实践2019年12月12日作者 |周凯波(宝牛)整理 | 毛鹤本文主要介绍 Flink on Yarn/K8s 的原理及应用实践,文章将从 Flink 架构、Flink on Yarn 原理及实践、Flink on Kubernetes 原理剖析三部分内容进行分享并对 Flink on Ya...

2020-04-30 14:53:27

12.Flink之Checkpoint 的应用实践

Apache Flink 进阶教程(三):Checkpoint 的应用实践2019年12月12日作者 |唐云(茶干)大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执...

2020-04-30 14:52:32

11.Flink之Time 深度解析

Apache Flink 进阶教程(二):Time 深度解析Posted by崔星灿2019年9月17日作者 | 崔星灿整理 | 沙晟阳(成阳)前言Flink 的 API 大体上可以划分为三个层次:处于最底层的 ProcessFunction、中间一层的 DataStream API 和最上层的 SQL/Table API,这三层中的每一层都非常依赖于时间属性。时间属性是流处...

2020-04-30 11:16:06

10.Flink之Runtime 核心机制剖析

Apache Flink 进阶教程(一):Runtime 核心机制剖析Posted by高赟(云骞)2019年9月16日1. 综述本文主要介绍 Flink Runtime 的作业执行的核心机制。本文将首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 ...

2020-04-29 17:16:48

9.Flink之Flink SQL 编程实践

Apache Flink 零基础入门(九):Flink SQL 编程实践Posted by伍翀(云邪)2019年8月26日伍翀(云邪)Apache Flink Committer,阿里巴巴 SQL 引擎技术专家北京理工大学硕士毕业,2015 年加入阿里巴巴,参与阿里巴巴实时计算引擎 JStorm 的开发与设计。2016 年开始从事阿里新一代实时计算引擎 Blink SQL...

2020-04-29 15:57:01

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。