- 博客(6)
- 收藏
- 关注
RSS订阅原创 Kafka offset维护机制
Kafka offset的维护上一篇介绍过Kafka的生产者相关的机制，这一篇来介绍一下kafka消息的offset。由于 Consumer 在消费过程中可能会出现断电宕机等故障，Consumer 恢复后，需要从故障前的位置继续消费。所以 Consumer 需要实时记录自己消费到了哪个 Offset，以便故障恢复后继续消费。Kafka 0.9 版本之前，Consumer 默认将 Offset 保存在 Zookeeper 中，从 0.9 版本开始，Consumer 默认将 Offset 保存在 Kafk
2021-06-28 18:45:16
882
原创 Kafka生产者总结
Kafka架构1.producer： 消息生产者，发布消息到 kafka 集群的终端或服务。2.broker： kafka 集群中包含的服务器。3.topic： 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。4.partition： partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。5.consumer： 从 kafka 集群中消费消息的终端或服务。6
2021-06-28 16:12:28
572
原创 HDFS写文件出现的异常
HDFS写文件出现的异常问题描述当往hdfs里面写入文件时，输出流如果异常关闭，会导致hdfs认为当前client仍然持有当前租约，当下一次获取同一文件的输出流时，会认为当前client在重复创建file。错误信息because current leaseholder is trying to recreate file 或者： because this file lease is currently owned by DFSClient_NONMAPREDUCE_-502044238_1 on …
2021-06-28 11:51:51
1043
原创 File的listFiles方法的坑
File dir = FileUtils.getFile(path);File[] files = dir.listFiles();通过这个方法获取某个目录下的所有文件。存在问题：目录中文件展示是按照字母顺序排序的，但是实际获取到的顺序却是乱的。会根据不同的操作系统而有所不同。原因：listFiles方法底层调用的是list()方法，list是调用的底层native的方法。所以：如果需要按顺序处理列表中的文件，需要获取到File[] 后，自己对其进行排序。另外：如果通.
2021-06-28 11:48:33
3112
原创 Mybatis-使用getMapper()面向借口编程
步骤如下：1、实体类：public class Userinfo {private Long id;private String username;private String password;private Long age; //get和set方法}2、接口：public interface UserinfoMapper { public void ins...
2018-04-16 22:21:37
1390
1
原创 切点、切面：@Aspect、@PointCut相关的个人总结
最近写的项目里面都用到了很多切面，切点的知识，写完以后，来自我总结一下：举个例子：一个类（Show）里面有一个表演（display）的方法，在表演之前，应该有致辞（say）的方法，在表演之后，应该有鼓掌（hand）的方法。为了高内聚低耦合，表演的方法应该单独封装在一个类里面，致辞和鼓掌的方法应该另外封装，但在调用时必须按照顺序来调用执行。这时候就需要设置切面和切点了！切面应该设置在致辞（say）和...
2018-04-13 15:43:08
2022
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人