- 博客(94)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 大数据开发类岗位算法&编程题准备
看刷题群同学的讨论，刷题多少和面试效果做如下总结。是指能在白板写出代码，经典题目至少刷过2遍1000+：面试几乎是小case，如乱军丛中取敌将首级500~600：能通过绝大多数面试的手撕代码环节300~400：能通过绝大多数中等难度的算法题200~300：能通过绝大多数中等难度原题或轻微变种题 （至少要达到这个环节再面试）200以下：比较看缘分了。
2023-06-24 22:25:11
961
原创 【小笔记】使用wireshark分析kafka相关数据包
文章目录抓包开启wireshark的kafka插件按kafka协议解码分析kafka数据包参考资料本文记录的wireshark版本号是当前最新版本3.4.5抓包tcpdump -i any -nn -vv tcp port 9092 -s 0 -w kafka_dump.cap开启wireshark的kafka插件最新版本默认已经开启按kafka协议解码右击decode as分析kafka数据包如下图所示，可以比较清晰地找出apikey = 18的请求来自哪个ip和端口
2021-05-08 19:16:59
859
原创 【Flink笔记】kafka-connector消费protobuf格式数据
文章目录一、基础概念1、protobuf简介优缺点安装protobuf2、kafka-connector二、实际案例1、背景介绍2、protoc生成java代码3、构建`Deserializer`类4、注册`registerTypeWithKryoSerializer`5、`FlinkKafkaConsumer`启动消费三、问题排查1、protobuf版本问题四、附录1、maven配置一、基础概念1、protobuf简介Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据
2021-01-07 20:02:54
2370
2
原创 【小笔记】idea里面编译与调试Skywalking源码
一、编译文档：https://github.com/apache/skywalking/blob/master/docs/en/guides/How-to-build.md#build-from-github搬运：Build from GitHub Prepare git, JDK8+ and Maven 3.6+ Clone project If you want to build a release from source codes, provide atag nam.
2020-12-14 21:33:28
1070
原创 【小笔记】Storm使用Skywalking进行消息追踪
方法1：改配置文件stom.yamlworker.childopts, worker.childopts: "-javaagent:~/apache-skywalking-apm-bin/agent/skywalking-agent.jar=agent.service_name=storm_test_new,collector.backend_service=127.0.0.1:11800"缺点：所有任务使用同一套配置方法2：改代码conf.put("topology.worker.childop
2020-11-30 15:07:49
265
原创 【小笔记】Flink使用Skywalking进行消息追踪
Flink使用Skywalking进行消息追踪文章目录Flink使用Skywalking进行消息追踪背景Skywalking基础配置Flink任务提交分析实战与效果使用规范已知问题背景一条mq，什么业务团队生产的，哪个机器生产的，哪些业务团队消费了，哪个机器消费的，分别耗时多少。绘制类似上述这么一条路径，以让平台使用者对消息的来龙去脉一目了然。Skywalking基础配置skywalking agent环境变量覆盖参数配置： https://github.com/apache/skywalki
2020-11-18 20:43:55
1627
1
原创 【小笔记】程序的nohup.out去哪里了?
文章目录nohup.out去哪里了?stackoverflow 的解答startup.sh 模板nohup.out去哪里了?相关同事有一个startup.sh脚本的nohup相关模块如下:nohup run-exe 2>&1 & echo $! > $PID_FILE直接命令行界面执行 startup.sh,会出现nohup.out文件，我们可以读取程序的输出(std,stderr).但是我们使用crontab拉起startup.sh的时候，怎么也找不到nohup.
2020-07-25 13:01:49
2619
3
原创 【kafka】高版本Client连接0.9Server引发的血案排查
一、案发现场1、生产端疯狂告警在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警，出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。 程序Bug? 网络抖动? 集群抖动? 服务过载? 《Java现网问题排查技巧及实践》:应用日志是切入问题的最佳点，通常情况下系统出现问题时应用日志都会有相应的异常日志输出。通过分析异常日志能够定位到具体的代码片段，缩小问题排查范围。我们先看看生产端程序的日志:在生产端采用参数调优...
2020-07-09 09:24:39
883
原创 【混沌工程】基于ChaosBlade实现网络故障模拟
一、前言很久之前曾基于linux内核自带的TC和netem模拟一些公网中遇到的极端情况（延迟、丢包、重复、损坏和乱序等），验证了我们传输程序的健壮性！具体细节可见这篇老博客: https://blog.csdn.net/u013128262/article/details/84784663最近在复现kafka生产端一个timeout异常场景时，发现之前方案时因为内核和OS版本问题有些差异而无法直接使用老的命令，便把目光迅速调整到阿里开源的这款混沌工程新贵ChaosBlade(https://gi
2020-06-06 18:12:08
4278
原创 kafka的86条笔记,全会的肯定是高手
笔记源自:《深入理解kafka:核心设计与实现》前言请原谅我使用这种标题党标题。文章内容比较松散,涉及Kafka基本概念、后台设计、运营优化等各个方面。假如每一项都掌握很好的话，一定就是kafka高手!正文同一主题下的不同分区包含的消息是不同的，分区在存储层面可以看作一个可追加的日志（Log）文件，消息在被追加到分区日志文件的时候都会分配一个特定的偏移量（offset）。offset是消息在分区中的唯一标识，Kafka通过它来保证消息在分区内的顺序性，不过offset并不跨越分区，也就.
2020-06-01 20:13:29
546
原创 【HBase】从MiniBase学LSM算法
MiniBase学习笔记https://github.com/pierre94/minibaseHBase相对复杂，想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华，希望可以通过学习MiniBase以小见大，能够对自己理解HBase这个庞然大物有所帮助。 原项目: https://github.com/openinx/minibase 资料: 《HBase原理与实践#设计存储引擎MiniBase》 https://weread.qq.com/web
2020-05-18 15:51:13
1038
原创 【kafka】__consumer_offsets部分分区异常导致消费不到数据问题排查
部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。
2020-04-24 13:15:25
6151
原创 【kafka】源码分析-Producer过程全解
Kafka，作为目前在大数据领域应用最为广泛的消息队列，其内部实现和设计有很多值得深入研究和分析的地方。本系列将从kafka 2.2.0源码入手，详细分析kafka的功能设计与实现。其中本篇文章重点分析kafka的producer过程。
2020-04-15 20:19:55
654
原创 【Flink】使用kafka-connector消费数据时看不到consumer-id等信息
文章目录问题复现初步结论源码分析KafkaConsumer实现FlinkKafkaConsumer实现一句话总结问题复现使用connecor消费数据的时候，我们./bin/kafka-consumer-groups.sh查看消费的情况时发现异常而使用kafka-client的时候，这些信息是能正常显示的初步结论https://issues.apache.org/jira/brows...
2020-04-10 21:16:24
7093
7
原创 【数据结构与算法】一道关于笛卡尔积的笔试题
有英文字典: Map，示例如下：a: [a, an]b: [bird, bus]c: [call, car, carry]...z: [zone]输入一个a~z组成的字符串，字符串每一位表示字典的key输出key映射的单词组成句子的集合（单词之间空格隔开）示例 输入：ab输出："a bird""an bird""a bus""an bus"...
2020-04-07 22:35:38
890
原创 【kafka】高吞吐源码分析-顺序写入与刷盘机制
kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:- NIO- 磁盘顺序读写- Queue数据结构的极致使用- 分区提高并发- 零拷贝提高效率- 异步刷盘- 压缩提高数据传输效率
2020-04-03 13:00:38
2681
原创 【kafka】源码分析-ZeroCopy助力kafka实现高吞吐
文章目录系列前言ZeroCopy基础概念传统IOZeroCopy是什么Java中的ZeroCopykafka实现具体使用使用场景参考系列前言kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:NIO磁盘顺序读写Queue数据结构的极致使用分区提高并发零拷贝提高效率异步刷盘压缩提高数据传输效率本次...
2020-04-01 21:17:25
594
原创 【kafka】consumer offset提交异常时数据会重复么？
文章目录一、问题描述:问题:初步思考二、场景复现:测试环境:复现三、问题分析:日志服务端源码参考一、问题描述:问题:kafka consumer消费poll到某分区数据后未及时commit offset,此时另外一个消费线程消费该分区时会消费到重复数据么？初步思考我们已知:一个分区在某个时刻只能被一个消费线程消费数据kafka服务端和客户端都会维护一个offset问题引申出来的...
2020-03-31 22:02:20
1650
原创 【Java】强引用、软引用、弱引用、幻象引用
加强对jvm基础知识的了解，将jvm学习的一些知识总结下来。后续将引出一系列文章。文章目录一、基本概念强引用（StrongReference）软引用（SoftReference）弱引用（WeakReference）幻象引用（PhantomReference）二、价值与精髓抽茧成丝价值1:判断对象可达性1、对象不可达（unreachable）2、错误地保持了强引用价值2:显式地影响软引用垃圾收...
2020-03-30 21:46:15
168
原创 【Java】排障方法论
大神文章的总结。整理人: pierre文章目录一、备份现场1、备份应用日志2、记录问题发生的时间3、备份GC日志4、监控基础资源利用率曲线5、获取堆栈快照信息6、Dump内存信息二、分析问题1、CPU综合CPU利用率高排查思路:优化建议:单核CPU利用率高排查思路:优化建议2、内存频繁FULL GC排查思路:定位无法被回收的对象优化建议内存空间够，依旧触发了Full GC优化建议后台IO高...
2020-03-26 13:04:25
496
原创 【FlinkX】两个issue分析:reader和writer的通道数不一致+获取JobId
文章目录issue详情reader和writer的通道数不一致获取JobId代码分析#issue145配置说明源码分析:#issue148最近准备再花点时间优化一下之前的FlinkX版本，特地去看了一下项目的issues区域，发现两个自己比较关注的issue。issue详情reader和writer的通道数不一致异构数据源reader和writer设置不同的Parallelism数#...
2020-03-19 20:49:54
616
原创 【Scala】一小时学会基础语法
改编自 https://learnxinyminutes.com/docs/zh-cn/scala-cn/Scala可以进行面向对象的声明式编程，也可以进行函数式编程；可以进行业务代码的编制，也可以进行元程序的编制（定义程序的程序）；可以开发大规模的服务应用，亦可进行类似shell的脚本编程；可以使用共享变量的并发编程模式，当然也可以采用基于Actor的消息机制的高并发编程模式用scala...
2020-03-14 10:55:04
192
原创 【Flink】双流处理:实时对账实现
这里写自定义目录标题一、基础概念二、双流处理的方法ConnectUnionJoin三、实战:实时对账实现需求描述需求分析代码实现相关阅读更多内容详见:https://github.com/pierre94/flink-notes一、基础概念主要是两种处理模式:Connect/JoinUnion二、双流处理的方法ConnectDataStream,DataStream → Con...
2020-03-10 16:06:00
2660
原创 【Flink】状态编程: 订单超时告警
文章目录一、基础概念二、Flink状态编程1、支持的状态类型2、Managed Keyed State六种类型基本API状态的生命周期3、Managed Operator State三、案例:订单延迟告警统计1、需求描述2、需求分析3、数据与模型4、详细实现一、基础概念在Flink架构体系中，有状态计算可以说是Flink非常重要的特性之一。有状态计算是指:在程序计算过程中，在Flink...
2020-03-04 10:39:59
2554
1
原创 【Flink】学习笔记-20200302更新
flink-notesflink的一些学习笔记，将在github上持续更新https://github.com/pierre94/flink-notes一、技术博客索引Flink中文官方文档综合类，中文，不全Flink官方博客读文档永远是学习的首选方向Flink中文社区ververicaFlink中文社区,大量学习资料和视频JarkWu的博客...
2020-01-13 19:39:09
456
原创 【FlinkX】数据同步工具的研究与实践
文章目录一、Flink简介与数据同步需求1、Flink简介2、数据同步需求1)支持多种部署模式2)分布式资源调度能力3)支持断点续传3、常见异构数据同步工具对比二、Flinkx框架实现与原理1、实现概览2、任务自动组装3、并发同步实现分析1)配置文件2)并发读取分析4、断点续传1) 概念解读2) Flink checkpoint机制3) MySQL同步时的断点续传4) 断点续传不是万能的三、开发一...
2019-12-12 15:54:06
2405
3
原创 【Nacos】Python读取Nacos中的ini配置
一、场景无论从程序开发还是线上管理，通过本地配置文件\写死代码进行配置管理都是不合适的。其实本文是一篇水文，使用一个小的方法快速实现了所谓Python近原生的云配置管理，不会太高深。二、nacos与ConfigParser1、nacos阿里巴巴开源的一个配置中心，详见为什么公司有轮子，开源有那么多方案，选nacos呢？目前公司轮子大部分与其业务过于耦合内部大部分轮子 管理端与...
2019-10-07 18:43:46
5133
原创 【数据结构】哈希表(hashTable)
复习一下常见的数据结构与算法一、走进哈希表(hashTable)1.哈希表的目的实现数据的快速查找2.哈希表的设计原理二、哈希表的设计要素哈希函数-hash function冲突解决方案-collision solution重哈希-rehashing1.哈希函数-hash function基本概念一个哈希函数需要具备如下特征：确定性不可逆其输入为: 任...
2019-10-07 18:40:54
410
原创 《hadoop权威指南》笔记二： hdfs读写过程剖析
基于《hadoop权威指南》第四版。温故知新一、hdfs简介Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。hdfs的设计如下:https://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsDesign.htmlps:...
2019-09-07 11:35:16
209
原创 【Python】谈谈Python多线程
本文环境: Python 2.7.10 (CPython)。文章目录一、GIL简介二、Python多线程是否鸡肋1. 为什么需要多线程呢？2. 计算密集型 vs. IO密集型计算密集型验证例子3.小结三、锁与线程安全四、总结参考资料:因为GIL的存在，Python多线程是否鸡肋？既然已有GIL，是否Python编程不需要关注线程安全的问题？不需要使用锁？为什么Python进阶材料很...
2019-08-19 23:27:48
300
原创 《hadoop权威指南》笔记一:走进hdfs
基于《hadoop权威指南》第四版一、什么是hdfsHadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS是A...
2019-07-30 01:35:17
208
转载 【转载】eBPF Tracing 入门教程与实例
在 LPC'18(Linux Plumber's conference) 会议上，至少有24个关于 eBPF 的演讲。eBPF 这一实用技术，将是每个开发者需要掌握的技巧。也许你的新年目标得再多一个了：学习 eBPF！eBPF 的名称源于 extended Berkeley Packet Filter，如果从 eBPF 的功能来说，类似 Virtual Kernel Instructio...
2019-07-04 19:21:05
599
原创 【小笔记】pycharm连远程服务器开发环境时无法debug？
文章目录一、背景二、解决方法一、背景某公司提供可直连的高性能服务器供开发人员在上面快速开发。其中某位同学使用pycharm时遇到问题:我用本地pycharm 连接开发机的解释器，发现可以运行Python,但是debug的时候会报Failed to add remote port forwarding的错误?二、解决方法https://intellij-support.jetbra...
2019-07-02 22:36:21
1913
原创 【Nacos】微服务配置中心介绍
文章目录一、Nacos简介二、微服务配置中心探讨1.为什么要配置管理2.配置管理策略三、Nacos基础1.NACOS设计原则2.nacos的接口3.完成的客户端实例四、一些思考1.Nacos 客户端是怎么实时获取到 Nacos 服务端的最新数据的?2.NACOS如何兼容apache的configuration2.AP还是CP，还是mixed一、Nacos简介nacos是阿里开源的一个微服务配...
2019-06-17 10:59:23
2190
原创 mac下制作windows10的安装镜像
文章目录一、背景二、步骤1. 下载官方镜像2.抹除u盘内容并初始化3. 镜像内容写入到U盘4. 系统安装一、背景在瓜大的时候曾经在计算机志愿者服务队做过志愿者，帮助很多人安装过各种各样的系统。毕业后很长一段时间，因为各种原因就没有自己装过新的操作系统(比如mac系统很稳定不折腾、公司有专业的IT服务团队)。这里记录下一种最简单地在mac下制作windows10的安装镜像的过程(主要是网上检索的...
2019-06-14 12:05:23
16752
2
原创 【kafka】Producer笔记
文章目录一、kafka简介二、生产者基本实现1.示意图2.具体实现:2.1 Fire-and-forget模式2.2 同步模式2.3 callback模式三、producer参数调优1. acks2. retries3. serializer.class4. compression.codec5. batch.num.messages & queue.buffering.max.ms四、分...
2019-05-13 01:29:09
629
原创 flume 1.9 更新说明
flume 1.9 版本更新个人见解关心的几个点Flume环境变量支持float或double高版本kafka支持与指标完善安全相关的几点改进总体上这个版本并没有带来太核心的变化，老版本用户可以不考虑升级。官方说明(翻译)** 新特性[FLUME-2071] - Flume环境变量不支持float或double的配置值.[FLUME-2442] - Flume配置中提供明文...
2019-04-29 01:23:25
1702
转载 【转】awesome-asyncio-cn
原文：https://github.com/chenjiandongx/awesome-asyncio-cnAwesome-asyncio 是 Timo Furrer 发起并维护的 Python Asyncio 资源列表。我觉得这个是很赞的想法，所以维护了一个中文版本的，在这里，收集了大量的 Asyncio 的最棒、最新的资源，供大家探索 Python 异步编程世界。Python 3.4 引入...
2019-03-20 19:43:18
255
原创 《Kubernetes 是下一代操作系统 》读后分享摘要
给组内小伙伴做的一次关于Kubernetes的分享，内容主要来自《Kubernetes 是下一代操作系统 》原文链接：https://github.com/answer1991/articles/blob/master/Kubernetes-is-the-next-generation-os.md本次分享适合没有任何Kubernetes/容器/Docker经验的同学，对Kub...
2019-03-11 20:23:09
276
Flink状态编程-订单超时告警.pdf
2020-03-04
flume开发者指引-中文
2018-08-26
shell十三问简体版.pdf
2015-12-02
《跟阿铭学Linux》课后练习题答案
2015-12-02
JavaEE笔记.chm
2015-12-02
Android6-0新特性.chm
2015-12-02
Python灰帽子中文
2015-12-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人