- 博客(18)
- 收藏
- 关注
RSS订阅原创 mysql错误整理
mysql错误整理汇总，方便日后排查安装一 安装过程中报mariadb-libs有关的：解决：删除依赖包 yum -remove mysql-libs二 新装的mysql远程连接不上，host is not allowed to connect to this mysql server.解决：1 关闭防火墙systemctl stop firewalld.servicesystemctl disable firewalld.service #设置开机禁用防火墙或防火墙开放端口fir
2022-05-02 12:23:08
186
原创 kafka报错整理
kafka报错整理基本都是内网报错，这里纯手敲，老爷要是懂了点个赞👍再走呗，砰砰砰分区消费再平衡1.表现：自动提交偏移量消费时，有的成功有的失败。失败时报错：Auto offset commit failed for group XXXXX-test-1: Commit cannot be complete since the group has already rebalanced and assigned the partitions to another member.This means t
2022-04-24 10:42:07
583
原创 普通java项目集成kafka
前言现在假设一种需求，我方业务系统要与某服务平台通过kafka交互，异步获取服务，而系统架构可能老旧，不是spring cloud桶，不是spring boot，只是java普通项目或者 java web项目，那么没有boot来干苦力，集成kafka所有需要的功能都需要自己封装...
2022-03-02 10:13:26
2759
原创 springboot集成kafka：二、手动装配
前言单位内网spring-kafka依赖只有1.x的，spingboot集成kafka过程中发现配置文件不认一些项，比如spring.kafka.producer.properties和spring.kafka.consumer.properties，配上去也修改不了，日志显示依然维持默认配置，于是决定手动装配各项参数，主要是为了和线上项目的kafka相关配置统一，不管你在生产集群生不生效，反正我配了另外在自己玩的环境上看的spring kafka 2.x就啥都有了，下面的都不用看，直接用上一篇文章用配
2022-02-24 18:21:30
1829
原创 springboot集成kafka：一、通过配置文件自动装配
1.引入依赖<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId></dependency>2.application.yml新增spring: application: name: KafkaTest kafka: producer: boot
2022-02-24 16:57:23
1219
原创 Spark报错：java.lang.ClassNotFoundException: org.apache.kafka.log4jappender.KafkaLog4jAppender
发生问题的原需求基于华为云spark，yarn流处理任务收集driver和executor日志，输出到kafkaspark-1.5.1kafka-1.1.0前期架构选型1.flume采集到kafka2.利用KafkaLog4jAppender选了第二种，因为1需要先采集到文件在发kafka，考虑会有IO，于是使用log4j原生api直接发送至kafka实现过程在启动脚本–jars中添加kafka-log4j-appender-1.1.0.jar，并在客户端对应位置加入该jarexec /
2021-08-12 15:26:54
853
原创 docker安装使用及基本命令
安装(centos7 docker-ce) sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo sudo yum install docker-ce docker-ce-cli conta
2021-01-08 16:39:54
150
原创 Spring Cloud微服务踩坑记录
Spring Cloud微服务踩坑记录consul1.nested exception is java.lang.IllegalArgumentException: Consul service ids must not be empty, must start with a letter, end with a letter or digit, and have as interior characters only letters, digits, and hyphen:null微服务不能启动，报
2020-12-04 10:31:56
3973
原创 maven报错问题汇总
内网用起来比较麻烦的就是不能随意下包，导入进来maven又好容易报错，故开帖汇总方便以后查询1.project处报红将repository中所有_remote.repositories删除，然后reimport2.idea右侧maven菜单依赖爆红，且不能运行在升级springboot版本时遇到了此问题，升级后全部spring-boot-starter-*依赖报红，原因是依赖不全，最后解决方式是在外网新建空项目，新建repository文件夹，pom文件照搬，下好全依赖后再导入内网，reimport
2020-09-17 10:38:19
275
原创 Springboot项目动态加载配置文件及刷新bean
需求系统遇到这样一个需求，线上环境在配置文件发生变动时，可以不用经过重启，通过刷新接口的方式得到配置文件的加载，主要目的是为了迅速部署，避免因手动重启，处理不及时导致积压的问题问题1.程序中如何获取修改后的配置2.某些配置值是应用在bean里面的，在程序初始化的时候已经注入，如何修改这一部分。例如，程序是分主备环境的，kafka consumer的groupid或topic根据环境不同而改变，那么consumer若写在bean中，修改配置文件，要一并更新到bean中//示例代码，KafkaCon
2020-07-09 16:28:41
6715
原创 Maven报错:Failed to read artifact descriptor for xxx:jar解决过程
Maven报错:Failed to read artifact descriptor for xxx:jar解决过程描述：springboot+maven项目，在解决配置文件热部署的问题时，引入Spring cloud相关的包，本地测试无问题，同样的代码和jar包到内网研发环境pom报错Failed to read artifact descriptor，按照网上相关文章重新导maven没卵用，因为是内网也没办法删了重下解决：后来注意到研发环境和自己本子上demo的springboot版本差的有点大，研
2020-07-08 09:58:25
524
原创 西柚的大数据从踩坑到放弃-kafka：二、Kafka的安装
前提条件kafka依赖于zk，所以需要先行安装部署好zk集群，能够正常运行下载官方下载地址这个可以下载高版本，拿到一个安装包比如 kafka_2.12-2.5.0.tgz，这个2.12是scala版本，2.5.0是kafka的发行版本。kafka的高低版本主要区别:第一，写flink java程序用到的kafka连接包的具体依赖不同，因为我最终是要用flink做流处理所以这块注意一下，暂时只想看kafka的话可以略过这块通用kafka-connector依赖（1.0.0版本以后）<
2020-05-18 01:26:30
418
原创 西柚的大数据从踩坑到放弃-kafka：一、Kafka的概念和架构
Kafka本文全部内容为个人理解、做记录用，如果有误请不吝指正一个分布式的，基于pub-sub的消息队列。Kafka是消费者主动拉取消息的。在大数据领域作为消息传递中间件应用广泛，业界如果使用spark计算框架，有9成以上消息队列都是使用kafka。架构Topic：相同类型的消息按照主题来存放，不然那不就乱了么。例如你的购物车数据应该放购物车Topic，单个订单数据应该放在订单TopicPartition：相当于是对Topic里面数据的一个负载均衡Broker：代理，可以简单理解成一个服务
2020-05-15 02:00:19
358
原创 西柚的大数据从踩坑到放弃-zookeeper：五、ZK案例分析-客户端动态获取集群机器上下线信息
ZK案例分析任意一个接入zk集群的客户端，如何知道zk集群内znode节点的上下线？1.首先模拟集群机器变动，先来看看代码package zkmanage;import org.apache.zookeeper.*;import java.io.IOException;/** * 模拟zk集群上下线1台新机器， * 传参hostname代表上线机器信息， * 停线程代表下线机器 * */public class DistributeServer { private St
2020-05-14 01:35:45
253
原创 西柚的大数据从踩坑到放弃-zookeeper：四、一些ZK的踩坑记录
zookeeper踩坑记录后续不断更新，希望能多积累一点以后方便自己维护的时候查询吧Java api不能创建zk客户端，屏幕log提示超时，并伴随典型报错1 Exception in thread "main" org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss for /leafznode2 2 at org.apache.zookeeper.Kee
2020-05-13 01:25:42
527
原创 西柚的大数据从踩坑到放弃-zookeeper：三、ZK的Java API操作
zookeeper java api申明一下本系列纯做个人笔记记录用，不会涉及太多原理讲解和算法或者运维知识，且内容浅显，请有需要的自行查阅资料上回说到客户端shell操作，对节点和信息进行一个维护，这回来看怎么用java代码实现这块。idea新建maven项目，依赖：<dependencies> <dependency> <groupId>junit</groupId> <ar
2020-05-13 01:25:10
187
原创 西柚的大数据从踩坑到放弃-zookeeper：二、ZK的Client Shell基本操作
ZK Client Shell上次启动了zk集群server，下面记录客户端的操作。首先启动客户端，命令：bin/zkCli.sh#退出命令quit一些基本和常用命令：语法描述help可操作命令列表ls path [watch]获取节点ls2 path [watch]获取节点详细信息create [-s|-e]创建znodeget path [watch]取得节点包含内容set设置节点内容stat-delete-
2020-05-12 01:12:00
317
原创 西柚的大数据从踩坑到放弃-zookeeper：一、ZK的分布式安装
zookeeperkafka基于zookeeper，zookeeper同时也是hadoop生态的润滑剂。这玩意想有所了解最好是手动搭集群操作一下。默认拥有一个局域网，包含3服务器的集群ubuntu001~003，jdk装好，彼此之间做好hosts文件访问。安装官方下载地址：apache zookeeper不要下载太新的版本拷贝安装包到自己的机器目录下，解压并修改配置文件tar -zxvf zookeeper-3.4.14.tar.gz -C /opt/module/cd zookeepe
2020-05-11 01:47:39
333
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人