7 pierre94

尚未进行身份认证

我要认证

just think!

等级
TA的排名 4w+

【小笔记】程序的nohup.out去哪里了?

文章目录nohup.out去哪里了?stackoverflow 的解答startup.sh 模板nohup.out去哪里了?相关同事有一个startup.sh脚本的nohup相关模块如下:nohup run-exe 2>&1 & echo $! > $PID_FILE直接命令行界面执行 startup.sh,会出现nohup.out文件,我们可以读取程序的输出(std,stderr).但是我们使用crontab拉起startup.sh的时候,怎么也找不到nohup.

2020-07-25 13:01:49

【kafka】高版本Client连接0.9Server引发的血案排查

一、案发现场1、生产端疯狂告警在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警,出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。 程序Bug? 网络抖动? 集群抖动? 服务过载? 《Java现网问题排查技巧及实践》:应用日志是切入问题的最佳点,通常情况下系统出现问题时应用日志都会有相应的异常日志输出。通过分析异常日志能够定位到具体的代码片段,缩小问题排查范围。我们先看看生产端程序的日志:在生产端采用参数调优...

2020-07-09 09:24:39

【混沌工程】基于ChaosBlade实现网络故障模拟

一、前言很久之前曾基于linux内核自带的TC和netem模拟一些公网中遇到的极端情况(延迟、丢包、重复、损坏和乱序等),验证了我们传输程序的健壮性!具体细节可见这篇老博客: https://blog.csdn.net/u013128262/article/details/84784663最近在复现kafka生产端一个timeout异常场景时,发现之前方案时因为内核和OS版本问题有些差异而无法直接使用老的命令,便把目光迅速调整到阿里开源的这款混沌工程新贵ChaosBlade(https://gi

2020-06-06 18:12:08

kafka的86条笔记,全会的肯定是高手

笔记源自:《深入理解kafka:核心设计与实现》前言请原谅我使用这种标题党标题。文章内容比较松散,涉及Kafka基本概念、后台设计、运营优化等各个方面。假如每一项都掌握很好的话,一定就是kafka高手!正文同一主题下的不同分区包含的消息是不同的,分区在存储层面可以看作一个可追加的日志(Log)文件,消息在被追加到分区日志文件的时候都会分配一个特定的偏移量(offset)。offset是消息在分区中的唯一标识,Kafka通过它来保证消息在分区内的顺序性,不过offset并不跨越分区,也就.

2020-06-01 20:13:29

【HBase】从MiniBase学LSM算法

MiniBase学习笔记https://github.com/pierre94/minibaseHBase相对复杂,想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华,希望可以通过学习MiniBase以小见大,能够对自己理解HBase这个庞然大物有所帮助。 原项目: https://github.com/openinx/minibase 资料: 《HBase原理与实践#设计存储引擎MiniBase》 https://weread.qq.com/web

2020-05-18 15:51:13

【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

2020-04-24 13:15:25

【kafka】源码分析-Producer过程全解

Kafka,作为目前在大数据领域应用最为广泛的消息队列,其内部实现和设计有很多值得深入研究和分析的地方。本系列将从kafka 2.2.0源码入手,详细分析kafka的功能设计与实现。其中本篇文章重点分析kafka的producer过程。

2020-04-15 20:19:55

【Flink】使用kafka-connector消费数据时看不到consumer-id等信息

文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结问题复现使用connecor消费数据的时候,我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常而使用kafka-client的时候,这些信息是能正常显示的初步结论https://issues.apache.org/jira/brows...

2020-04-10 21:16:24

【数据结构与算法】一道关于笛卡尔积的笔试题

有英文字典: Map<Character, String[]>,示例如下:a: [a, an]b: [bird, bus]c: [call, car, carry]...z: [zone]输入一个a~z组成的字符串,字符串每一位表示字典的key输出key映射的单词组成句子的集合(单词之间空格隔开)示例 输入:ab输出:"a bird""an bird""a bus""an bus"

2020-04-07 22:35:38

【kafka】高吞吐源码分析-顺序写入与刷盘机制

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率

2020-04-03 13:00:38

【kafka】源码分析-ZeroCopy助力kafka实现高吞吐

文章目录系列前言ZeroCopy基础概念传统IOZeroCopy是什么Java中的ZeroCopykafka实现具体使用使用场景参考系列前言kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面,所以其高吞吐背后离不开如下几个特性:NIO磁盘顺序读写Queue数据结构的极致使用分区提高并发零拷贝提高效率异步刷盘压缩提高数据传输效率本次...

2020-04-01 21:17:25

【kafka】consumer offset提交异常时数据会重复么?

文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafka consumer消费poll到某分区数据后未及时commit offset,此时另外一个消费线程消费该分区时会消费到重复数据么?初步思考我们已知:一个分区在某个时刻只能被一个消费线程消费数据kafka服务端和客户端都会维护一个offset问题引申出来的...

2020-03-31 22:02:20

【Java】强引用、软引用、弱引用、幻象引用

加强对jvm基础知识的了解,将jvm学习的一些知识总结下来。后续将引出一系列文章。文章目录一、基本概念强引用(StrongReference)软引用(SoftReference)弱引用(WeakReference)幻象引用(PhantomReference)二、价值与精髓抽茧成丝价值1:判断对象可达性1、对象不可达(unreachable)2、错误地保持了强引用价值2:显式地影响软引用垃圾收...

2020-03-30 21:46:15

【Java】排障方法论

大神文章的总结。整理人: pierre文章目录一、备份现场1、备份应用日志2、记录问题发生的时间3、备份GC日志4、监控基础资源利用率曲线5、获取堆栈快照信息6、Dump内存信息二、分析问题1、CPU综合CPU利用率高排查思路:优化建议:单核CPU利用率高排查思路:优化建议2、内存频繁FULL GC排查思路:定位无法被回收的对象优化建议内存空间够,依旧触发了Full GC优化建议后台IO高...

2020-03-26 13:04:25

【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId

文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148最近准备再花点时间优化一下之前的FlinkX版本,特地去看了一下项目的issues区域,发现两个自己比较关注的issue。issue详情reader和writer的通道数不一致异构数据源reader和writer设置不同的Parallelism数#...

2020-03-19 20:49:54

【Scala】一小时学会基础语法

改编自 https://learnxinyminutes.com/docs/zh-cn/scala-cn/Scala可以进行面向对象的声明式编程,也可以进行函数式编程;可以进行业务代码的编制,也可以进行元程序的编制(定义程序的程序);可以开发大规模的服务应用,亦可进行类似shell的脚本编程;可以使用共享变量的并发编程模式,当然也可以采用基于Actor的消息机制的高并发编程模式用scala...

2020-03-14 10:55:04

【Flink】双流处理:实时对账实现

这里写自定义目录标题一、基础概念二、双流处理的方法ConnectUnionJoin三、实战:实时对账实现需求描述需求分析代码实现相关阅读更多内容详见:https://github.com/pierre94/flink-notes一、基础概念主要是两种处理模式:Connect/JoinUnion二、双流处理的方法ConnectDataStream,DataStream → Con...

2020-03-10 16:06:00

【Flink】状态编程: 订单超时告警

文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现一、基础概念在Flink架构体系中,有状态计算可以说是Flink非常重要的特性之一。有状态计算是指:在程序计算过程中,在Flink...

2020-03-04 10:39:59

【Flink】学习笔记-20200302更新

flink-notesflink的一些学习笔记,将在github上持续更新https://github.com/pierre94/flink-notes一、技术博客索引Flink中文官方文档综合类,中文,不全Flink官方博客读文档永远是学习的首选方向Flink中文社区ververicaFlink中文社区,大量学习资料和视频JarkWu的博客...

2020-01-13 19:39:09

【FlinkX】数据同步工具的研究与实践

文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...

2019-12-12 15:54:06

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv1
    阅读者勋章Lv1
    授予在CSDN APP累计阅读博文达到3天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。