forrest_ou的博客

原创 kafka数据量快速循环增加删除问题

问题现象1、监控观察一个主题数据量的变化，数据量会持续增加然后删除减少，然后再持续增加然后再删除减少，一直循环2、观察日志：rolled......  scheduling......  deleting.......  也是这样对一个主题一直循环原因解释首先成功写入kafka了，只是写入后很快就被删除了。这里有几个原因。1、kafka配置了lo

原创 kafka扩容和分区重新分配

扩容：增加机器，例如原来三台服务器的kafka集群增加两台机器成为有五台机器的kafka集群，跟搭建差不多分区重新分配：在原来机器上的主题分区不会自动均衡到新的机器，需要使用分区重新分配工具来均衡均衡重新分配官方文档地址：点击打开链接翻译官方文档中文地址：点击打开链接上面两个链接中的文档描述的很详细。这里记录一下关键步骤，更主要是总结实际操作过来之后的问题和新的知识

原创 mirrormaker(2)---权限问题和白名单

kafka版本：confluent-3.1.2权限：SASLmirrormaker基础：    点击打开链接一、权限问题如果集群配置了权限，mirrormaker的成功运行需要有两个权限。1、被mirror的源集群的消费权限2、mirror目的地的目标集群的生产权限这里正好对应了mirrormaker工作的整个过程，先消费过来，再生产进去。

原创 kafka删除主题数据和删除主题

kafka使用confluent-3.1.2      删除的主题名：test1、删除主题在server.properties中增加设置，默认未开启delete.topic.enable=true删除主题命令/bin/kafka-topics --delete --topic test --zookeeper localhost:21812、删除主题数据如果想保留主题，只删

原创 mirrormaker

概述Mirroring data between clusters (Source Cluster  --->  Destination Cluster)就是通过使用kafka自带的mirror-maker工具把一个集群里的主题cp到另外一个kafka集群中，使用场景：1、数据需要迁移到新集群； 2、多个集群之间的数据需要同步…………使用nohup bin/kafka-mi

原创 通过时间戳查询指定分区的offsets

*** 使用的方法（offsetsForTimes()）：Properties props = new Properties();KafkaConsumer consumer = new KafkaConsumer<>(props);java.util.Map partitionTimestampOffsets = consumer.offsetsForTimes(java.util.

原创 kafka新建主题指定副本分布

kafka使用confluent-3.1.2kafka新建topic , kafka决定副本分布bin/kafka-topics --create --topic test001 --zookeeper localhost:2181 --replication-factor 3 --partition 3//新建分区3，副本3的主题。//kafka决定副本分布的方式给第一个分区随机选择

原创 linux hostname立即永久生效+SSH免密登录

系统版本：CentOS6.5lsb_release -a //查看版本信息hostname立即永久生效方法一：hostname newHostname //临时生效vi /etc/sysconfig/network //重启后生效//两者同时使用就满足马上生效并永久修改方法二vi /etc/sysconfig/networksysctl ke

原创 搭建kafka

kafka搭建

原创 搭建hadoop

搭建hadoop

原创 Windows ZIP安装MySQL

Windows ZIP安装MySQL

原创 常用linux命令实战

常用linux命令，实践总结

原创 IDEA导入多个项目jar包和符号不存在问题

原创 linux安装配置xwiki

linux安装配置xwiki

原创 dokuwiki的安装配置，基于apache

dokuwiki的安装配置，基于apache

原创 Linux安装php-7.0.16，完成php和apache的配置

Linux安装php-7.0.16，完成php和apache的配置

原创 linux安装apache

使用ssh连接远程linux安装apache-2.4.25

原创 SPRING

spring ioc aop

原创 java反射

1、获取class对象及类型信息。2、反射的基本实用，Method、Field和Constructor 。3、简单使用反射对数据库新增保留功能的封装

原创 JDBC事务和数据

JDBC相关： 1、创建一个工具类，完成加载驱动，建立连接和释放资源；2、日期格式的处理；3、元数据的获取；4、事务的操作；5、批处理

原创 JDBC连接MySQL增删改查

使用JDBC连接MySQL完成增删改查，使用User类作为对应表的实体类来操作

原创 JS基础实践

JS基础实践

原创 数组（Arrays和多维数组)

主要内容是 1、对象数组和基本类型数组的区别和联系； 2、Arrays类static方法System.arraycopy方法的使用； 3、多维数组的使用和理解； 4、数据和集合之间的相互转换

原创 HTML 基础实践

HTML基础实践

原创 多线程之生产者消费者问题

生产者与消费者问题是多线程中经典问题生产者生产产品放入仓库，消费者从仓库中取出消费产品，仓库的容量有限生产者和消费者都可以有多个创建产品，仓库，生产者，消费者和main主线程五个类产品类：package ProducerAndConsumer;//产品——面包类public class Bread { private String producer; publ

原创 SVN使用注意事项和问题解决

SVN清理显示乱码解决，sqlite3解压没有sqlite3.exe解决，SVN使用注意事项和问题解决

原创 String的不可变性

String的不可变性的理解

原创 集合框架

java集合框架的理解和使用以及源码分析

原创 Hibernate+MySQL简单实例

Hibernate框架，MySQL数据库的简单实例

原创 mybatis+MySQL简单实例及错误解决

mybatis+MySQL的简单实例项目目录（动态 web项目）1、首先是与user表对应的实体类User.javapackage com.entity;public class User { private int id; private String name; private String password; public int get

原创 poi解析excel导入MySQL数据库

ssh框架下利用poi解析excel文件后导入数据库到相应的字段，列出遇到的问题，贴出解决办法。最开始的时候，一心只想着只有能够把excel成功导入数据就OK了，做到了之后，就开始想着，对不同版本的excel（2003.2007）都能够满足，excel中数据格式的问题，可以在弄出一个通用的版本出来，以后再碰到同样的事件就要简单许多。网上的代码虽然是遍地开发，但最开始的时候确实给了我不少的启示，良莠不齐，要花大量的的时间来甄选，比较苦恼，另外得根据自己的实际情况作出符合的调整，才能实现，才能为我所用，有一些代