qingwei201314的专栏

原创 阅读Spring Security源码

阅读Spring Security源码

原创 安装PostgreSQL

一、下载PostgreSQL安装包：postgresql-14.3.tar.gz解压至/usr/local/postgres二、执行以下命令进行安装，并启动：./configuremakemake installadduser postgresmkdir /usr/local/pgsql/datamkdir /usr/local/pgsql/logchown postgres /usr/local/pgsql/datachown postgres /usr/local/pgsql/

原创 OceanBase部署、使用

1.安装完成后，登录OBProxy命令：obclient -h192.168.198.137 -P2883 -uroot@proxysys -p

原创 单点登录，统一认证

关于单点登录的几点心得：一、登录流程如下：假设有系统A、系统B，以及注册中心。1.访问系统A，未登录，将被重定向至注册中心。2.注册中心发现未登录，跳转至登录页面，用户输入用户名、密码，登录成功。注册中心生成Token，state字段，然后返回，由浏览器重定向至系统A。3.系统A获取Token，state后，通过系统A后台，调用注册中心后台，验证Token有效性，以及state值是否正常。state值是为了避免跨站请求伪造：如系统A被植入页面脚本，使用黑客的Token请求注册中心，黑客的Tok

原创 DataX导数据MySQL -＞ MySQL

在Centos7环境下安装DataX，将数据从MySQL导入另一MySQL数据库中，采用直接覆盖原有数据的方式。使用操作系统的定时任务，执行：python datax.py …/job/mysql_read.json一、到http://github.com/alibaba/DataX下载DataX，安装。二、DataX安装完成后，如果MySQL用的是8.0版本，到安装目录下：1.datax/plugin/reader/mysqlreader/libs 替换MySQL的JDBC驱动包：mysql-con

原创 Spring Boot查多数据源，CountDownLatch

一、Spring Boot配置多数据源：1.application.yml中配置多个数据库链接：spring: datasource: ds_0: driverClassName: com.mysql.jdbc.Driver url: jdbc:mysql://127.0.0.1/demo_ds_0?characterEncoding=UTF-8 username: root password: 123456 ds_1: .

原创 MySQL数据库MHA, VIP 故障转移

MHA 加上MySQL 的半同步机制（Semi-Synchronous），可以保证master故障发生时，数据不丢失。准备4台机器，IP分别为：192.168.86.130192.168.86.131192.168.86.132192.168.86.133其中130-132三台机器部署MySQL集群，133部署MHA的manage节点。一、搭建MySQL集群分别在130-132上部署MySQL，采用1主2从的结构，主从复制采用MySQL的replication进行复制。MySQL

原创 Kafka zookeeper 集群

一、部署zookeeper集群1. 准备三台服务器，IP分别为: 192.168.86.130,192.168.86.131,192.168.86.132.2.下载zookeeper压缩包，解压，在conf目录下增加zoo.cfg文件，文件内容可参考zoo_sample.cfg. 具体内容如下：tickTime=2000dataDir=/usr/local/zookeeper-3.6.2/dataclientPort=2181initLimit=5syncLimit=2serv

原创 Kettle 增量导数据

一、新建转换。“源表”中的数据导入“目标表”。源表 ->目标表1.下载kettle安装包，启动kettle.2.新建转换“表输入”，设置数据库链接，查出目标表的最近修改时间：select if(ISNULL(max(ORDERDATE)), '1900-01-01 00:00:00', max(ORDERDATE))from kevin_t13.新建 “表输入",设置数据库链接，“从步骤插入数据”选择上一步的结果，查出源表中未修改的记录，SQL如下：select * fro...

原创 Hadoop cluster HA 客户端操作 Yarn高可用

一、通过QJM模式部署Hadoop HA三台机器：192.168.86.130、192.168.86.131、192.168.86.1321.部署zookeeper，分别在三台机器上部署zookeeper,配置文件zoo.cfg内容如下：tickTime=2000dataDir=/usr/local/zookeeper-3.6.1/dataclientPort=2181initLimit=5syncLimit=2server.130=192.168.86.130:2888:.

原创 Hive 通过JDBC操作Hive

package com.kevin.job; import org.springframework.stereotype.Service; import org.springframework.scheduling.annotation.Scheduled; import java.sql.*;@Servicepublic class HiveJob { private static int i = 1;@Scheduled(fixedD.

原创 Java操作HDFS

import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.springframework.web.bind.annotation.RequestMapping;import org.springframework.web.bind.annotation.RestController;import ja.

原创 spring boot spring cloud 打包 打jar包 pom.xml文件

在pom.xml文件中增加以下内容，将工程打成jar包，执行jar包命令: java -jar xxx.jar<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org.

原创 部署sharding-proxy

sharding-proxy 在windows的部署过程：1. 下载zookeeper-3.4.6，配置conf/zoo.cfg文件，主要修改数据存储路径：tickTime=2000initLimit=10syncLimit=5dataDir=D:\zookeeper-3.4.6\dataclientPort=21812. 启动zookeeper. 直接点击bin/zkServer.cmd 文件。3.解压sharding-proxy-3.0.0.tar.gz文件，配置conf/serve..

原创 Sqoop 导数据到HDFS, 用Spark SQL进行查询

1.启动HDFS:cd/usr/local/hadoop-2.7.7/sbin./start-dfs.sh2.启动Yarn:cd cd/usr/local/hadoop-2.7.7/sbin./start-yarn.sh3.启动Spark:/usr/local/spark-2.3.3-bin-hadoop2.7/sbin./start-master.sh -h 192.168.96.12./start-slave.sh spark://192.168.96.128:70...

免费样式模板

免费样式模板：http://www.os-templates.com免费样式模板：http://www.templatemo.com免费样式模板：http://www.cssheaven.org/免费样式模板：http://www.csstemplatesfree.org免费样式模板：http://www.865171.cn免费样式模板：http://www.freeadmintemplate.com/...

原创 安装Jenkins，发布jar包至Centos

一、安装Jenkins。二、安装Jenkins的Maven插件、SSH插件。三、在”系统管理“ -> "系统配置"里增加服务器：四、在Jenkins中增加任务：1.指定源码位置2.配置打包后安装包在服务器上的位置，并写执行命令：五、在安装包所运行的服务器上，写启动脚本run.sh:nohup java -jar Test-1.0-SNAPSHOT-project.jar > /home/application/test.log &注意：启动脚本须指定日志的输出

原创 SonarQube展示代码检查结果,GitLab代码扫描，Jenkins

IntelliJ IDEA 提交代码于GitLab后，启动pineline，自动触发代码检查，或通过设置schedule，定期进行代码审查。一、安装GitLab,并安装GitLab-runner。二、安装SonarQube8.8.0.427921. 在SonarQube的ALM Integrations 的GitLab页签中，配置GitLab的相关信息。2.增加GitLab的工程到SonarQube中，并使用 "With GitLab CI" ，按步骤配置完信息。3.在IntelliJ

原创 keepalived用的http_get

原创 mybatis 公用CRUD 增删改查

lic interface AllTypeMapper extends CommonMapper&lt;AllType&gt; {}2.公用mapper:package com.kevin.mapper.common;import java.util.List;import java.util.Map;import org.apache.ibatis.annotations.SelectProvider;/** * CRUD公用类 * @author Kevin Zhang @Dat

原创 八皇后问题

原创 jpa取不到最新值

ger entityManager;2.将取到的对象，执行以下操作，对象名为：detailentityManager.refresh(detail);

原创 加解密 验签

原创 js 判断某字段是否为空

原创 调试mysql存储过程 debugger for mysql

原创 java操作mongodb group by 查询aggegation查询

ew BasicDBObject("$eq", arg1));        matchFields.put("orgId", new BasicDBObject("$eq", arg2));        matchFields.put("country", new BasicDBObject("$eq", country));        // 分组        BasicDBObject gro

原创 maven maven 执行update project 后，出现Java compile versiont does not match问题解决

alName&gt;        &lt;plugins&gt;            &lt;plugin&gt;                &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt;                &lt;artifactId&gt;maven-compiler-plugin&lt;/artifactId&gt;

原创 test

原创 kafka配置

n#port=9092# Hostname the broker will bind to. If not set, the server will bind to all interfaceshost.name=192.168.152.130advertised.host.name=192.168.152.130num.network.threads=3# The number of threads doing disk I/Onum.io.threads=8# The send buffer (SO_S

原创 启动jar包脚本 shell linux

o.protocol.name/!d;s/.*=//' conf/jdbc.properties | tr -d '\r'`SERVER_PORT=`sed '/dubbo.protocol.port/!d;s/.*=//' conf/jdbc.properties | tr -d '\r'`LOGS_FILE=`sed '/dubbo.log4j.file/!d;s/.*=//' conf/jdbc.properties | tr -d '\r'`if [ -z "$SERVER_NAME&qu

原创 maven私服nexus eclipse .setting.xml配置内容

en.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"&gt;    &lt;localRepository&gt;D:\maven_repostitory&lt;/localRepository&gt;    &lt;pluginGroups&gt;    &lt;/pluginGroups&gt;    &lt;pro

原创 maven assembly插件打包工程

; &lt;artifactId&gt;maven-assembly-plugin&lt;/artifactId&gt; &lt;version&gt;2.6&lt;/version&gt; &lt;configuration&gt; &lt;descriptors&gt;

原创 eclipse maven 配置私服

schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd"&gt;   &lt;localRepository&gt;D:\maven_repostitory&lt;/localRepository&gt;  &lt;pluginGroups&gt;  &lt;/pluginGro

原创 wireshark抓取本地包

.1.14.120 mask 255.255.255.255 10.1.14.1 metric 1 10.1.14.120为本机ip, 10.1.14.1为路由地址

原创 nginx增加https ssl 及判断手机浏览器

ons  1024;}http {    include       mime.types;    default_type  application/octet-stream;    server_tokens off;    fastcgi_intercept_errors on;    error_page 502 = /index.html;    log_format  main  '$remote_addr $cookie_logCookie $cookie_loginId [$time_loc

原创 导入证书

原创 piwik

原创 nginx+php安装

骤您可以使用很多选项自定义 PHP，例如启用某些扩展等。 运行 ./configure --help 命令来获得完整的可用选项清单。 在本示例中，我们仅进行包含 PHP-FPM 和 MySQL 支持的简单配置。cd ../php-x.x.x./configure --enable-fpm --with-mysqlmakesudo make install创建配置文件，并将其复制到正确的位置。cp php.ini-development

原创 Mongodb java利用spring访问mongodb

3. 在spring的配置文件中增加以下内容： &lt;mongo:mongo host="10.1.5.105" port="27017"&gt; &lt;/mongo:mongo&gt; &lt;bean id="mongoTemplate" class="org.springframework.data.mongodb.core.MongoTemplate"&gt;

原创 js 实现发短信后倒计时1分种 倒数

   }    else{   $("#mobileSMS").show();    $("#sms_send_code").hide();    } }