- 博客(174)
- 资源 (11)
- 收藏
- 关注
RSS订阅
原创 docker搭建hadoop集群
1.拉取hadoop镜像docker pull docker.io/sequenceiq/hadoop-docker
2021-06-08 15:38:01
1759
原创 springboot集成gateway和nacos
pom依赖如下，不要引入spring-boot-starter-tomcat否则会报错<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/
2020-09-29 15:11:42
5073
1
原创 JVM内存溢出CPU飙升排查方法
一、内存不足查看linux内存使用情况free -m查看java 进程/线程对系统的占用情况top 看堆内存信息jmap -heap pid导出dump java堆数据jmap -dump:live,format=b,file=/dump_.dat pid打开jvisualVM-》文件-》装入-》堆dump二、cpu飙升top命令...
2020-04-19 18:56:38
1316
原创 springboot+dubbo集成hystrix熔断器
简介熔断器的原理如同电力过载保护器。它可以实现快速失败，如果它在一段时间内侦测到许多类似的错误，会强迫其以后的多个调用快速失败，不再访问远程服务器，从而防止应用程序不断地尝试执行可能会失败的操作，使得应用程序继续执行而不用等待修正错误，或者浪费CPU时间去等到长时间的超时产生。dubbo-consumer、dubbo-provider分别作为服务的消费者和生产者，所有熔断相关配置是在消费者...
2020-03-17 14:22:53
878
原创 springboot RabbitMQ分布式事务-可靠消息的最终一致性方案代码示例
Rabbit mq分布式事务主要问题如果先发送消息，再执行本地事务，可能会出现消息已经发送成功，但是Rabbit mq没有返回，则无法更新消息表；或者接收到消息成功发送通知，但是更新数据库失败；如果先执行本地事务，再发送消息，可能本地事务执行成功，但Rabbit mq没有发送；或者发送了没有返回。Rabbit mq分布式事务实现思路生产者向Rabbit mq发送消息，消费者此时不消...
2020-02-22 00:07:40
3675
1
原创 springboot整合rabbitmq手动签收
Springboot为AMQP提供了自动化配置依赖 spring-boot-starter-amqp,因此在项目中添加该依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-star...
2020-02-13 18:48:26
2148
原创 springboot整合jwt
简介Jwt全称是：json web token。它将用户信息加密到token里，服务器不保存任何用户信息。服务器通过使用保存的密钥验证token的正确性，只要正确即通过验证。优点简洁: 可以通过URL、POST参数或者在HTTP header发送，因为数据量小，传输速度也很快； 自包含：负载中可以包含用户所需要的信息，避免了多次查询数据库； 因为Token是以JSON加密的形式保存...
2020-01-18 23:11:22
436
原创 springboot mybatis使用redis作为二级缓存
创建springboot项目引入如下依赖 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redi...
2019-12-24 21:30:09
401
原创 springboot JdbcTemplate工具类封装
pom引入以下依赖<dependency> <groupId>com.alibaba</groupId> <artifactId>druid</artifactId> <version>1.1.14</version> &...
2019-12-08 15:52:32
1919
原创 springboot集成CAS单点登录客户端
1. springboot项目pom.xml中 添加cas客户端依赖包<dependency> <groupId>org.jasig.cas.client</groupId> <artifactId>cas-client-core</artifactId> <version>3.5.0</...
2019-11-08 13:32:26
15208
11
原创 Elasticsearch增量同步Mysql数据
首先安装Elasticsearch，参考https://blog.csdn.net/letterss/article/details/91361205同步我们需要用到logstash工具，下载logstash将下载的logstash-7.2.0.tar解压tar -zxvflogstash-7.2.0.tar将mysql的连接库jar包放到logstash-7.2.0/confi...
2019-07-26 11:25:37
1215
原创 Linux搭建Elasticsearch集群详细过程
系统环境：centos7.5192.168.204.128192.168.204.129192.168.204.130JDK:1.8elasticsearch-7.1.11.配置JAVA环境，将JDK1.8解压到/usr/local/jdk/目录下，在/etc/profile中添加JAVA_HOME=/usr/local/jdk/jdk1.8CLASSPATH=.:$...
2019-07-21 15:20:47
797
原创 binlog2sql恢复mysql数据
1.查看数据库是否开启binlogshow variables like '%log_bin%';状态是ON说明已经开启开启binlog配置可以参考https://blog.csdn.net/letterss/article/details/89491552里面的my.cnf配置。查询当前binlog文件show master status;可以看到当前的binlo...
2019-06-26 14:45:32
7652
2
原创 Linux安装redis，配置主从，哨兵模式
系统环境centos71.首先安装Development Toolsyum updateyum groupinstall 'Development Tools'2.进入到usr/local目录下，下载redis压缩包cd /usr/localwgethttps://github.com/antirez/redis/archive/5.0-rc3.tar.gz3.解压...
2019-01-23 10:50:12
892
1
原创 JS捕获机顶盒遥控器按键
键值捕获keyevent.util.js带数字识别键值捕获keyevent.util.js不带数字识别提取码：7qpl在页面引入keyevent.util.js文件，并添加以下js代码，联通广电机顶盒都适用<script type="text/javascript" src="/js/keyevent.util.js"></script> <s...
2018-10-15 13:53:56
6175
原创 docker swarm 搭建分布式Mysql集群
系统环境：centos7，服务器数量>=2首先安装docker，在每台服务器shell依次输入以下命令。1.sudo yum install -y yum-utils device-mapper-persistent-data lvm22.sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/li...
2018-09-26 11:39:46
8232
4
原创 DockerFile启动jar程序
在项目的根目录下创建一个名为Dockerfile的文件，并使用文本编辑器打开它。4，结果验证，可以通过查看容器的日志来确认。上述命令中，-t选项用于指定镜像的名称，.表示使用当前目录作为构建上下文。在dockerfile文件目录下，执行以下命令。1.创建Dockerfile。
2024-04-03 10:38:59
538
原创 docker安装mongodb
2.1 登录mongo容器，并进入到【admin】数据库。2.2 创建一个用户，mongo 默认没有用户。1.1下载MongoDB镜像。1.2运行MongoDB容器。3.navicat连接测试。
2024-02-26 09:48:13
406
原创 Redis cluster集群搭建
1.2数据存储采用分片存储方式，整个redis集群有16384个哈希槽，集群中的每个节点负责一部分哈希槽，现在集群中三个主节点，就会把这些哈希槽平均分配给三个主节点，即节点Ａ存储的哈希槽范围是：0 – 5500，节点Ｂ存储的哈希槽范围是：5501 – 11000，节点Ｃ存储的哈希槽范围是：11001 – 16384，当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上，若是删除主节点A，就需要先将A中的哈希槽数据转移到BC节点上再进行删除。因为redis是用c实现的，所有要进行编译操作；
2024-02-21 11:37:38
1161
原创 DATAX改造支持geometry类型数据同步
2.将下载的datax引擎解压，将plugin里面reader模块的postgresqlreader和wrtier模块的postgresqlwriter分别替换自己的引擎模块即可，如果只使用postgresql数据库，则不用替换直接使用下载的引擎。同步成功，可以看到my_table_copy1 geom字段也有数据了，且数据一致。新建了两张表my_table，my_table_copy1。使用datax同步，dataxjson如下。向my_table添加数据。
2024-02-01 11:21:02
657
原创 mybatisplus乐观锁
支持的数据类型只有:int,Integer,long,Long,Date,Timestamp,LocalDateTime。仅支持 updateById(id) 与 update(entity, wrapper) 方法。在 update(entity, wrapper) 方法下, wrapper 不能复用!整数类型下 newVersion = oldVersion + 1。newVersion 会回写到 entity 中。在实体类的字段上加上。
2024-01-31 17:56:35
346
原创 IDEA远程服务器开发
IDEA的远程开发是在本地去操远程服务器上的代码，可以直接将本地代码的编译,构建,调试,运行等工作都放在远程服务器上而本地运行一个客户端远程去操作服务器上的代码,就如同我们平常写代码一样。相比于云桌面成本更低,开发效率更高。3. 指定远程开发的代码路径，代码需要提前clone到服务器上,点击按钮后会自动下载客户端。1.首先服务器配置jdk，maven以及环境变量。5.再次启动项目，运行成功。2. IDEA切换到主页。
2024-01-24 11:24:01
653
原创 Jenkins部署项目
shell脚本内容，maven需要提前上传到/usr/local目录，配置settings.xml文件。1.2执行启动jenkins命令，（注意jenkins版本需要的jdk版本）3.1 全局属性环境变量，添加如下配置，该配置解决执行脚本不生效问题。下载jenkins war包，上传到服务器/usr/local目录。1.3 访问Jenkins页面： http://ip:8020。2.3 保存git用户密码,执行以下命令再次输入git账号密码。2.1 服务器安装git,执行安装命令。三.Jenkins配置。
2024-01-02 18:06:20
1055
原创 Linux安装jenkins
下载wget http://pkg.jenkins-ci.org/redhat/jenkins-2.39-1.1.noarch.rpmrpm -ivhjenkins-2.39-1.1.noarch.rpm安装安装成功后修改jenkins用户名和端口vim /etc/sysconfig/jenkins添加jdk环境变量vim /etc/init.d/jenkins在...
2023-12-18 10:07:02
401
原创 seata1.8安装部署
3.将下载的seata解压，找到seata/script/server/db目录下对应数据库的sql脚本，创建数据库。4.修改seata/script/config-center目录下的config.txt文件，只需要修改以下内容。5.将配置发送到nacos，进入到seata/script/config-center/nacos目录执行。7.启动seata,进入seata/bin目录，执行 sh seata-server.sh,浏览器访问。-u: nacos账号。-w: nacos密码。
2023-11-07 16:08:59
704
原创 SpringBoot使用WebSocket收发实时离线消息
如果webScoket2断开连接后， webScoket1继续发送消息，等webScoket2连接后就会收到离线的消息。启动项目，使用apiFox测试，新建webScoket接口。新建webScoket2 ，可以看到连接后接收到了消息。新建websocket1，连接后发送消息。WebScoket配置处理器。webScoket消息对象。WebSocket操作类。
2023-10-26 16:45:06
877
原创 doris Table[xxxx]‘s state is not NORMAL. Do not allow doing ALTER ops问题
1.2.0版本后有light_schema_change"="true"选项，1.26版本修改可以直接使用 ALTER TABLE example_db.my_table SET ("light_schema_change"="true");但之前的版本只能重建表，在建表的时候设置此选项。问题：doris建好表后对表结构进行修改，使用alter语句修改，但多个alter执行就会报Table[xxxx]'s state is not NORMAL. Do not allow doing ALTER ops。
2023-08-29 10:45:08
1437
原创 doris修改列名
因为一些历史原因，目前列名称是直接写入到数据文件中的。Doris在查询时，也是通过列名查找到对应的列的。所以修改列名不仅是简单的元数据修改，还会涉及到数据的重写，是一个非常重的操作。Doris支持修改数据库名、表名、分区名、物化视图（Rollup）名称，以及列的类型、注释、默认值等等。但遗憾的是，目前不支持修改列名。在 1.2.0 版本之后, 开启。在 1.2.0 版本之前或未开启。选项时，可以支持修改列名。
2023-08-29 10:34:28
1335
原创 datax插件开发HdfsReader支持parquet
数据仓库HIVE存储数据一般采用parquet格式，但Alibaba datax开源版不支持parquet格式，只能自己开发。
2023-06-28 09:41:54
692
原创 datax自定义函数
1.下载datax最新版源码，函数转换在core模块com.alibaba.datax.core.transport.transformer目录下面。以AES加密函数为例，新建AESEncryptTransformer。@Overridetry {= 2) {try {//如果字段为空，跳过加密处理。
2023-06-26 14:29:48
339
原创 Flinkjar开发 CDC 实时mysql到mysql
CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。[mysqld][mysqld]重启数据库。
2023-06-09 15:46:11
3203
2
原创 Kafka管理工具Offset Explorer
Offset Explorer(以前叫Kafka Tool)提供GUI界面用来管理和使用Kafka集群。官网地址: https://www.kafkatool.com/Windows环境直接双击offsetexplorer_64bit.exe文件完成安装。配置jass Config,最后一定要有分号；配置zookeeper节点。配置security。
2023-06-07 11:23:53
393
原创 DATAX hdfsreader orc格式读取数据丢失问题
DATAX hdfsreader orc格式读取数据丢失，导致原因是读文件时 由于hdfs文件存储 是block 形式的。当单个文件 大于 单个block 的size时，出现一个文件 多个block 存储，仅读取了第一个block，造成了数据的部分丢失。
2023-04-27 10:51:13
901
1
datax改造引擎支持geometry类型同步
2024-02-01
springboot+dubbo3.0微服务框架
2023-12-20
国产瀚高数据库rpm安装包，含安装脚本
2023-11-14
瀚高数据库jdbc驱动jar
2023-11-14
高斯驱动jar包和使用说明
2023-11-07
datax hdfsreader修改，支持 hive Parquet格式,支持读取hive Long,Int类型
2023-09-04
datax rdbms reader改造，修复money类型带$符double失败问题，支持关系型数据库所有数据类型读取
2023-09-04
datax支持读取parquet格式文件，支持写入parquet格式文件，修复读取orc读取数据丢失问题
2023-06-28
android bottom.zip
2020-05-20
ajax.util.js
2019-12-09
cookie封装的js文件
2019-04-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人