- 博客(227)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 [详解]Twitter开源分布式自增ID算法snowflake，附演算验证过程
详解Twitter开源分布式自增ID算法snowflake，附演算验证过程.snowflake简介，snowflake算法原理，snowflake算法源码（java版），snowflake算法推导和演算过程。snowflake算法是一款本地生成的（ID生成过程不依赖任何中间件，无网络通信），保证ID全局唯一，并且ID总体有序递增，性能每秒生成300w＋
2017-01-22 14:44:40
14412
2
原创 【总结】hbase master重启恢复失败问题修复
查阅了一番资料，最终定位到是MasterProcWals pv日志过多，在重启HBase Master 的过程中，HBase Master进入活动状态需要读取并实例化所有正在运行的程序当前记录在/apps/hbase/data/MasterProcWALs/目录下对应的文件。于是想着先重启一把，在hbase master 选主成active状态的过程中，发现重启多次都很漫长，且最终因重启时间过长，被hbase-daemon.sh 强杀掉。但最近再次宕机，一直加大jvm内存也不现实。至此，成功解决该问题。
2024-04-24 10:49:57
619
原创 【总结】解决linux 配置authorized_keys 免密，登录时还是要求输入密码
如果是，确保你已经将其修改为no，并重启SSH服务。linux 配置authorized_keys 后还是要求输入密码，本来之前免密是好好的，但安装了一款软件后，不知道什么原因，突然就不能免密登录了。SELinux问题：如果你的系统启用了SELinux，确保SELinux没有阻止SSH公钥认证。用户主目录，权限必须是700，否则ssh 免密也会不成功。目录的权限应该是700（即只有所有者有读写执行权限），试了改方法，重新免密ssh 登录，还是不行。继续排查：ssh相关的目录和文件权限。文件的权限是正确的。
2024-04-23 11:54:43
247
原创 【总结】mysql 使用shell 脚本远程安装启动不会自动退出结束
使用shell脚本，远程安装部署mysql并启动mysql，当mysql启动命令执行完毕后，远程ssh 命令不会自动结束，安装程序一直卡着不动。命令前使用nohup，命令后 >tmp/mysqld_safe.log 2>&1 将输出内容写入mysqld_safe.log 文件。当我们调用./bin/mysqld_safe 后，改命令另外拉起mysqld 进程，导致脚本可以正常执行到末尾，但不会主动结束。网上找了一圈，发现都没有人遇到类似的问题，只能自己反反复复尝试，最后解决，现在说下可能的原因。
2024-04-22 19:01:05
330
原创 【总结】jdk安装配置后，执行报错java: error while loading shared libraries: libjli.so
jdk安装，报错java: error while loading shared libraries: libjli.so: cannot open shared object file: No such file or directory。原因是磁盘存储满了，导致解压jdk包时，文件不完整。
2024-04-15 13:58:51
312
原创 【总结】MySQL非root安装-初始化数据库时unknown variable ‘defaults-file=**/my.cnf‘
使用非root安装mysql，使用 mysqld 初始化数据库时，不想使用/etc/my.cnf作为启动配置文件，而是指定自定义的my.cnf文件，在执行时，遇到[ERROR] unknown variable 'defaults-file=/***/mysql/conf/my.cnf' 错误。这个是mysql 的一个bug，使用指定路径的my.cnf,而不用默认的/etc/my.cnf文件，需要在启动时，将--default-file=***/my.cnf 参数放在命令后的第一位参数传入，即可解决。
2024-03-20 10:28:50
366
原创 【总结】服务器无法连接外网，设置http代理解决
内网机器，访问不到外网，简单操作后，就可以访问外网了。某天想要在服务器上下载编译github上某开源项目，结果发现访问不了外网。
2024-03-14 16:43:02
423
转载 Prometheus Alertmanager 监控预警规则大全
使用prometheus + alertmanger 配置监控预警，预警规则大全。包含常见的node、Elasticsearch、Zookeeper、nginx、mysql等等预警规则。原文：https://samber.github.io/awesome-prometheus-alerts/rules。
2024-02-04 10:26:29
121
原创 【总结】ES 7.x 配置用户名和密码访问(亲测可用)
线上的Elasticsearch，因为安全问题，需要开启用户名和密码。本文主要是通过开启x-pack 来实现，以下是7.9.3 版本开启用户名密码访问实战。
2023-11-29 19:37:35
907
原创 【总结】一次MySQL数据库迁移实战
由于之前安装的mysql因为磁盘、cpu、内存等，不满足现有使用需求，需要升级主机配置，只能重新在更高的主机上安装新的mysql。同时，将现有数据库迁移至新的mysql主机。于是有了下面迁移实战，为避免不必要的麻烦，以下教程信息已经脱敏。登录机器：ssh [email protected]。恢复mysql demo数据库至新的mysql主机。3）执行初始化数据库-授权及创建库。1）登录mysql 升级版主机。2）使用root登录mysql。1）登录mysql安装服务器。2）执行mysql备份命令。
2023-11-06 11:04:21
777
原创 【总结】linux centos 7 开启网络白名单访问策略
场景一：开放指定端口给指定来源ip访问，将本机3306端口，开放给192.168.10.160 机器访问。sudo systemctl disable firewalld #开机不启动，永久关闭。sudo systemctl stop firewalld #关闭firewalld。安全需要，被检测各种3306、9200、9300端口没有设置访问策略。需要注意的是，执行以上命令，均需要root或sudo权限才可以执行。对于linux来说，有两种方式可以开启防火墙。场景二：开放指定端口给全部来源ip访问。
2023-11-02 11:39:09
3543
原创 【实战】三步轻松搞定Springboot集成skywalking实现APM全链路监控
Springboot集成Skywalking 实现全链路监控，三步搞定关于skywalking的介绍，详情：https://skywalking.apache.org/本文不再做过多描述。全链路监控，是指从用户发起前端页面http请求那一刻起，到最终返回接口报文前，后端处理的全链路过程都可以被追踪和监控。
2023-07-05 11:21:56
571
原创 【总结】yarn ResourceManager 宕机重启总是失败解决排查
Yarn ResourceManager RM服务莫名其妙宕机，重启时报错，经过一番排查发现时内存不足OutOfMemory ，调大RM jvm 内存后的已解决。
2023-06-25 14:00:16
1113
原创 【总结】springboot 2.7.x集成springdoc openapi 实现api文档快速生成
在排查的过程中，找到github上的一个issues，https://github.com/springfox/springfox/issues/3462 这篇文章里说：springfox 已死，让我们转用springdoc。于是胡开始研究springdoc，发现springdoc 集成起来非常简洁好用。访问地址：http://localhost:8080/api/swagger-ui/index.html。springdoc 文档：https://springdoc.org/#Introduction。
2023-06-06 14:47:41
1014
原创 【总结】Springboot 从2.0.0升级至2.3.12版本hive使用报错问题解决
公司springboot 版本终于从老古董2.0.0.release 升到2.3.12版本了，应用启动、系统登陆都正常，但在回归验证hive时，spark sql 操作hive相关的功能却用不了。原因：springboot 从2.0.0.release升级至 2.3.12.release后，jackson-module-scala_2.11 默认升到2.11.0版本了。原因：springboot 从2.0.0.release升级至 2.3.12.release后，janino 默认升到3.1.4。
2023-04-13 21:06:26
416
1
原创 【总结】Linux vim编辑文件中文乱码cat正常（亲测有效）
最近为了测系统的兼容性，公司运维装了一台统信UOS arm-64的系统，在该操作系统上部署时，发现vim 编辑文件中文乱码，但是使用cat 查看文件，却是正常。网上搜索了一番，终于解决问题。
2023-04-07 14:52:26
2278
原创 【总结】hadoop 磁盘满导致集群宕机排查解决
hadoop 集群因磁盘满了，导致服务挂掉，甚至有机器宕机。当机器重启后，启动nameNode 和 journalNode 有报错。
2023-03-29 16:21:21
1004
原创 【总结】解决dubbo 升级至apache 2.7.18版本发生Zookeeper连接失败问题
最近在做系统的架构升级，升级应用dubbo版本号至apache 2.7.18版，发生Caused by: java.lang.IllegalStateException: Failed to connect with zookeeper, pls check if url zookeeper。最终排查下来是因为curator-client 版本冲突导致。
2023-03-27 20:39:01
1420
原创 【总结】docker 安装教程
yum方式安装：yum install -y docker-ce shell在线安装：curl -sSL https://get.docker.com | sh 以上两种方式，均需要服务器能连接外网，且安装简单快捷。当服务器无法连接外网时，推荐使用tgz包方式手动安装，linux手动安装docker，这也是本文接下来重点描述的安装步骤。
2023-03-21 11:17:15
759
原创 【总结】hive-jdbc升级后执行spark.sql查询hive报错NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
看到 Caused by: java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 首先关键词是HIVE_STATS_JDBC_TIMEOUT，错误原因是NoSuchFieldError，说明存在类冲突，点击查看org.apache.spark.sql.hive.HiveUtils 类源码第212行，发现该代码引用了HiveConf.ConfVars中的枚举值。最后迫于无奈，只能将hive-common的版本号再次降回到1.2.1版本。
2023-03-08 11:44:55
733
原创 【总结】记一次log4j包冲突引发es类找不到的问题
ElasticSearch 7.17.5 相关操作报错，Caused by: java.lang.NoClassDefFoundError: Could not initialize class org.elasticsearch.client.RestHighLevelClient 。由于log4j和logback的冲突，导致该变量无法初始化，进一步导致RestHighLevelClient无法被加载成功。
2023-03-01 20:58:02
3433
原创 【总结】python3启动web服务引发的一系列问题
在某行的实施项目，需要使用python3环境运行某些py脚本。由于行内交付的机器已自带python3 ，没有采取自行安装python3，但是运行python脚本时报没有tornado module。为了解决这个问题，引发需要离线源码安装pip3等问题。最后，如果操作系统是centos、redhat 系列，建议直接采用anaconda 一键安装python环境，该软件安装完后，会将常用python 模块也附带安装掉。
2023-02-22 20:33:18
831
原创 【总结】安全漏洞组件升级修复问题集群
最近在搞系统安全漏洞组件修复的工作，项目是用springboot大件的，用到了很多第三方组件包，通过安全扫描软件时，报了很多组件存在安全漏洞。于是很多组件只能硬着头皮升级，升级后，遇到了很多编译启动问题，项目启动不了了。代码编译的情况，可以修改代码，但jar包冲突引发的启动失败，只能一个一个排查。
2023-02-06 10:12:08
1427
原创 【总结】手动安装jar包到maven本地仓库
项目组小伙伴引用了一个在maven公共仓库没有的jar包，于是乎本地编译通通过不了。本来应该是，申请运维工单，由运维传到maven私服仓库去。但流程太慢，任务紧急，只能先手动处理，安装到本地。目标：手动将jar包安装到maven本地仓库。
2023-01-30 18:06:42
205
原创 【总结】Elasticsearch 导出建索引语句
有时候开发中，经常会遇到多个环境间，索引不一致的情况，可能是开发过程中变更原有设计了，但是没有及时更新发布文档，导致上线后，多个环境间不一致。同样的功能，在开发测试环境没问题，在生产环境出问题。怀疑是索引建的有问题，那么可以通过以下方式，将开发测试环境的索引，重新在生产环境建一遍。创建索引，将上述构造好的建索引脚本，粘贴到–data-raw中。注意替换url部分ip、端口、索引名。settings部分，仅需要以下两个配置即可。分片数，按集群节点数1.5~2倍配置。
2023-01-17 15:14:55
1179
原创 【总结】ElasticSearch 安装启动报错max file descriptors [32768] for elasticsearch process is too low, increase
ES集群初次安装部署，启动的时候ERROR: bootstrap checks failedmax file descriptors [32768] for elasticsearch process is too low, increase to at least [65535]设置/etc/security/limits.conf 不生效
2022-12-01 09:38:29
1475
原创 【总结】Idea 编译maven项目报错NoSuchMethodError DefaultModelValidator
从网上git clone了一个项目，本地编译compile、打包package都没问题。但是启动服务，启动不了，且查看Dependency Analyzer 没有任何依赖信息。执行Reimport时，报错：Error injecting constructor, java.lang.NoSuchMethodError: org.apache.maven.model.validation.DefaultModelValidator: method ()V not found。
2022-11-21 20:00:01
1448
原创 【JVM学习】Jconsole 配置jmx 监控JVM
jconsole结合jmx监控jvm。在使用jconsole监控jvm之前，首先需要先打开jmx。启动jvm时，添加以下参数。jmx通过58088端口对外开放。
2022-11-18 16:12:29
1154
原创 【总结】mysql 忽然连接不上报CJException: null错误
mysql 连接不上报错cj.exceptions.CJException: null。重启之后就成功了。
2022-10-18 18:53:18
3900
原创 【总结】maven 打包刷新下载依赖卡死
idea 打包或者刷新maven依赖，总是出现卡死情况。之后就不动了。使用同样maven 命令打包也一样。这个问题以前出现过，但后来又几次是关机重启idea，或者重启电脑，或者有时候莫名其妙的就自己好了。和--update-snapshots有关。...
2022-08-26 10:24:26
3432
原创 【总结】shell 脚本命令执行结果赋值给变量无效
Linux shell 使用反引号为变量赋值，将命令执行结果赋值变量，未生效。反引号前后应该加空格。
2022-08-12 10:33:12
3589
2
原创 【总结】使用livy 提交spark任务时报错Connection refused
使用livy 提交spark任务时报错，错误信息：java.net.ConnectException: Call From dev-d-01.hz/10.192.168.62 to dev-d-02.hz:8032 failed on connection exception: java.net.ConnectException: Connection refused。原因是livy 代理用户不存在或者不生效，去掉livy 代理用户后，就可以正常提交任务了。...
2022-06-27 15:27:33
1409
原创 【总结】dubbo 服务注册消费正常，但调用失败
dubbo 服务正常注册和消费，但调用dubbo 服务时报错。组内有几个小伙伴，本地开发，调用dubbo服务，有一位同学调用报错。其他人都没报错。经过差异化对比，报错的同学因为比别人多集成了一个别人提供的组件。从zk上抓取dubbo 服务注册和消费信息来看，最终找到蛛丝马迹。报错的同学就是：10.57.240.33 这个消费者，他用的dubbo版本是release=2.7.7，别人用的都是dubbo=2.8.4。于是乎去分析代码的maven依赖，果然，新引进来的二方包，依赖了dubbo2.7.7.排除
2022-06-21 09:41:41
3793
原创 【总结】解决Linux机器重装后-免密登录报错问题
文章目录1.背景2.问题现象3.原因分析4.解决方法1.背景某天，因为安装某个软件，开发机器的ssh 免密登录被玩坏了，随后所有人都登录不上机器，导致系统必须重新安装。2.问题现象机器安装好后，重新设置ssh key 信任后，免密登录报错。报错信息：(base) [ywops@dev2-13 ~]$ ssh [email protected]@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOT
2022-05-27 14:01:19
672
1
原创 【总结】ElasticSearch创建索引失败，超过maximum shards
创建新的es索引报错，报错信息es已经超过最大的分片数。but this cluster currently has [999]/[1000] maximum shards open;更改es的最大分片数配置
2022-05-27 13:47:11
3391
原创 【总结】一次自动循环检测端口是否存活引发的问题
druid dataSource already closed ，org.springframework.boot.web.embedded.tomcat.ConnectorStartFailedException: Connector configured to listen on port 80 failed to start。问题解决排查
2022-05-18 19:20:52
3301
原创 【总结】Idea 总是提示 Class has too big memory footprint
Idea 总是报Class has too big memory footprint 的警告如图一，这个问题一直困扰了很久，各种搜索解决方法都没能解决。在Preferences 中搜索 memory footprint 关键词，去掉对勾或者调大阈值。
2022-04-20 19:07:30
1572
原创 【总结】springboot 应用启动后找不到类NoClassDefFoundError问题解决
springboot 应用启动成功后，找不到类NoClassDefFoundError问题解决，原因是服务器上混合部署很多服务，机器内存不足。
2022-02-23 11:28:24
5196
Redis+Desktop+Manager+0.9.3.39(最后的免费版本).zip
2020-04-08
redis-desktop-manager-0.8.3-3850.rar windows版
2017-01-20
redis-desktop-manager-0.8.3-2550.dmg mac版
2017-01-20
eclipse4.3安装配置反编译插件jad
2014-03-28
毕业论文信息系统
2012-11-15
班级事务管理系统
2012-11-15
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人