jackson_hou03-CSDN博客

原创前后端分离的nginx配置

server { listen 443; server_name www.test.cc test.cc; ssl on; ssl_certificate /etc/letsencrypt/live/test.cc/fullchain.pem; # managed by Certbot ssl_certificate_key /etc/letsencrypt/live/test.cc/privkey.pem; # man...

2021-02-23 16:49:51 190

原创 Mysql主从同步，不同步删除的数据

做记录：https://blog.51cto.com/bbotte/1425487

2021-02-23 11:29:55 488

原创 MAC OS更新Big Sur后- VMware fusion12安装vmware tools灰色问题解决

前情：在Mac升级成big sur之后，虚拟机（vmware）不能正常使用了提示”内存不够，无法开启“；在网上搜索了一番big sur更新之后虚拟机的问题后，有人提供了安装vmware12 的解决方案问题：（但是）在安装vmware12后，遇到了无法与主机共享文件的问题，并且VMware Tools是灰色的解决方案：Step1:挂载镜像文件在应用程序中找到VMware图标右击“显示包内容”在路径：/Applications/VMware Fusion.app/Contents/Libra.

2021-02-20 16:50:22 2512 4

原创宝塔面板安装修改安装路径

宝塔面板的默认安装路径是/www，但是有时候根路径的磁盘空间很小，期望将面板安装在数据盘上。假设有一块数据盘挂载在/htdoc下1.进入/htdoc下cd /htdoc2.创建一个www目录mkdir www3.建立/htdoc/www 到/www的软连接ln -s /htdoc/www /www下面的安装过程参照：https://www.bt.cn/btcode.html...

2021-02-20 10:13:33 4874

原创 Centos实现硬盘挂载且重启不需要重新挂载

fdisk -l # 查看所有硬盘mkfs -t ext4 /dev/sdc1 # 先格式化mkdir /htdoc # 创建挂载点mount /dev/sdc1 /htdoc # 挂载df -h # 检查[root@Web kinesis]# blkid/dev/sdc1: UUID="2d577d60-d002-44f3-9591-ff416d6a4764" TYPE="ext4" /dev/sdb1: UUID="e8d5e0db-dbdb-4b13-8316-7c2f3b6

2021-02-20 10:07:16 415

原创 Mysql5.7数据恢复

工作中遇到服务器出现故障，Mysql程序出现故障无法启动，庆幸data中的数据还在。本文介绍如何通过data中的数据文件恢复Mysql的数据1、重新安装Mysql，建议5.7+的版本，恢复起来更方便2、在新的数据库中创建同样的数据库及对应的表（相信这个在测试库会有同样的表，导出一份脚本就行了，如果没有就麻烦了）3、利用navicat工具连接新库，执行脚本删除新库中的ibd文件# 分离表空间文件alter table biz_medal_item discar.

2021-02-20 09:56:08 448

原创 python方式对接AWS的kinesis

1、准备# 安装依赖pip3 install boto3 awsclipip3 install PyJWTpip3 install redispip3 install PyMySQL执行aws configure命令wikoapp01@wiko-app-preload:~$ aws configureAWS Access Key ID [****************EOFB]: accessKeyAWS Secret Access Key [****************r1Md]

2021-02-09 16:29:45 474

原创 mysql迁移数据库

# 导出数据库mysqldump -uroot -proot --databases xxx| gzip > xxx.sql.gz# 将文件传到另一台服务器上并解压scp xxx.sql.gz [email protected]:/root# 导入数据库， -S/tmp/mysql.sock 这个是可选mysql -uroot -proot -S/tmp/mysql.sock < xxx.sql...

2021-02-03 10:43:04 63

原创 linux服务器内存占高的问题

问题：php高并发服务器上没运行什么程序，内存占用过高现象：分析：网上都很多，不赘述了https://blog.51cto.com/lxshopping/1573631https://blog.csdn.net/hellojoy/article/details/80760010解决：crontab增加定时任务脚本:echo 3 > /proc/sys/vm/drop_caches...

2021-01-27 17:32:21 333

原创 linux根据进程名查看其占用的内存

ps --no-headers -o "rss,cmd" -C nginx | awk '{ sum+=$1 } END { printf ("%d%s\n", sum/NR/1024,"M") }'

2021-01-22 18:01:45 256 1

原创宝塔安装失败

root@iZgw8d625t5qmuk993h1feZ:~# /etc/init.d/bt startStarting Bt-Panel............failed------------------------------------------------------Traceback (most recent call last): File "/www/server/panel/BT-Panel", line 10, in <module> from geve

2021-01-15 10:40:05 3060 1

原创 ubuntu使用du命令查看一级子目录存储空间大小

sudo ls | xargs sudo du -ksh

2021-01-13 09:41:51 473

原创 Yarn设置国内镜像源

yarn config set registry https://registry.npm.taobao.org --globalyarn config set disturl https://npm.taobao.org/dist --global

2020-12-23 13:29:20 880

转载脚本一键生成SSL签名文件

创建脚本create_self_signed_cert.sh#!/usr/bin/env bash set -e# Locate shell script pathSCRIPT_DIR=$(dirname $0)if [ ${SCRIPT_DIR} != '.' ]then cd ${SCRIPT_DIR}fi# Generate RSA private key 注意修改这里的密码openssl genrsa -des3 -passout pass:xxx -out serve

2020-11-13 17:39:04 167

原创 jeecg分布式框架部署笔记

docker部署nacos# 拉取最新的nacos镜像版本docker pull nacos/nacos-server# 初始化数据库脚本https://github.com/alibaba/nacos/blob/master/config/src/main/resources/META-INF/nacos-db.sql# 启动镜像docker run -d \-e TZ="Asia/Shanghai" \-e MODE=standalone \-e SPRING_DATASOURCE

2020-11-13 16:17:44 1191

转载 Idea的Maven项目：子模块无法使用父模块中已导入的依赖问题

转载：https://blog.csdn.net/iteacoder/article/details/109322386问题描述使用idea创建maven项目后，如果频繁地修改maven模块名称，有可能会出现父模块中已经引入依赖在子模块中不能使用的问题。原因如果模块已经install到了本地maven仓库，修改模块名称后，本地仓库中旧名称的项目也会存在不会删除，而且idea的一些项目配置如*.iml和.idea文件中的配置也会记录以前模块名称，并且会和本地仓库中的旧名称模块产生关联，所以新项目的类会

2020-11-02 17:00:29 4328

原创 ubuntu中docker的安装和使用--学习笔记

1. Docker & Docker Compose1.1. Docker1.1.1. Docker安装sudo apt install docker.io1.1.2. Docker修改国内镜像加速器您可以通过修改daemon配置文件/etc/docker/daemon.json来使用加速器sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors":

2020-09-28 17:59:30 264

原创 Zabbix Server+Grafana安装手册

Zabbix Server+Grafana安装手册Zabbix Server架构Frontend：Web UIDB：zabbix数据存储Zabbix Server：数据搜集、计算触发器、发通知等Zabbix Server安装步骤Step 1: Install Zabbix server, frontend, and agentwget https://repo.zabbix.com/zabbix/5.0/ubuntu/pool/main/z/zabbix-release/zabbix-r

2020-09-24 17:11:34 1283

原创 nginx使用Let‘s Encrypt免费SSL证书

目录主要命令步骤参考文档Let’s Encrypt是什么就不多说了，不知道的百度一下就知道了。主要命令步骤sudo apt-get install certbot python-certbot-nginxcertbot certonly --nginx --nginx-server-root /www/server/nginx/conf -d qs.xxx.com -d xxx.com -m [email protected]# 这里[email protected]邮箱用于证书过期时的邮件提醒# nginx配

2020-09-07 13:18:44 595

原创一次使用logstash读取S3存储桶访问日志到mysql的实践

目录环境安装安装logstash-output-jdbc插件上传jdbc驱动和IP库写logstash配置文件启动logstash附录环境安装首先下载logstash和jruby，并且配置环境变量#java export JAVA_HOME=/usr/java/jdk1.8.0_144#pathexport PATH=$PATH:$JAVA_HOME/binexport PATH=$PATH:/home/ubuntu/logstash/jruby-9.2.12.0/binexport LO

2020-07-09 10:49:54 1215

原创 SpringBoot集成nacos动态刷新数据源

这里写自定义目录标题前言第一步：重写DruidAbstractDataSource类第二步：配置动态获取nacos配置信息第三步：手动刷新数据源前言因为项目需要，需要在项目运行过程中能够动态修改数据源（即：数据源的热更新）。这里以com.alibaba.druid.pool.DruidDataSource数据源为例第一步：重写DruidAbstractDataSource类这里为什么要重写这个类：因为DruidDataSource数据源在初始化后，就不允许在重新设置数据库的url和userName

2020-05-28 17:31:51 5982 1

原创 AWS利用CloudFront访问S3的未公开资源

目录1、创建CloudFront用户（后面会用到）2、创建CDN3、同一页配置https证书4、域名解析配置1、创建CloudFront用户（后面会用到）2、创建CDN3、同一页配置https证书4、域名解析配置在阿里云或者AWS上配置域名解析...

2019-11-08 18:07:00 798

原创 AWS在不同账户之间复制S3文件

目录1、在某台ubuntu服务器上安装aws li命令行2、配置aws客户端3、配置aws li客户端4、配置目标存储桶的访问策略5、执行同步命令1、在某台ubuntu服务器上安装aws li命令行参考aws文件https://docs.aws.amazon.com/cli/latest/userguide/install-bundle.html2、配置aws客户端参考aws文件https...

2019-11-06 20:09:59 1056

原创 mysql解决数据库主从同步失败的问题

现象：在从库上用查看同步状态：mysql> show slave status\G;Slave_IO_Running：No去到主库上：show master status;查看主库的状态发现从库上的Master_Log_File和Read_Master_Log_Pos跟主库上不一样解决方法：去到主库上：show master status;查看主库的状态mysql&g...

2019-10-11 13:55:27 1396

原创 layui父子表

效果图：代码：<!DOCTYPE html><html><head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0, maximum-scale=1.0,...

2019-07-31 10:39:48 7546 5

原创从代码来说scala隐式参数、隐式转换和隐式类

//隐式转换class Implicit(a: A) { def Test: Unit = { println("Implicit") }}class A {}object Implicit { //隐式转换 implicit def a2Implicit(a: A) = new Implicit(a) def ImplicitMethod(impli...

2019-07-12 17:57:39 129

转载 Spark应用程序第三方jar文件依赖解决方案

转载自：https://www.cnblogs.com/dinghong-jo/p/7873646.html第一种方式操作：将第三方jar文件打包到最终形成的spark应用程序jar文件中应用场景：第三方jar文件比较小，应用的地方比较少第二种方式操作：使用spark-submit提交命令的参数: --jars要求：1、使用spark-submit命令的机器上存在对应的jar文件2...

2019-07-11 17:30:55 491

转载 Mybatis 实现批量数据存在即更新不存在即插入操作 -- ON DUPLICATE KEY UPDATE

做后台接口时，经常会有插入与保存合一的接口。这时有的程序员会加判断，使用两个sql去实现(insert或update)。其实不用这么麻烦。使用ON DUPLICATE KEY UPDATE即可实现。该方法普通使用很简单，也可以实现批量操作。普通方法就不说了，下面举例批量操作的使用：注：mybatis中批量插入数据当主键或唯一键重复时对数据进行更新用ON DUPLICATE KEY UPDAT...

2019-06-27 13:16:53 1536

原创 ubuntu安装mysql

#命令1sudo apt-get update#命令2sudo apt-get install mysql-serversudo mysql_secure_installationvi /etc/mysql/mysql.conf.d/mysqld.cnf#表名忽略大小写lower_case_table_names = 1bind-address = 0.0.0...

2019-06-26 18:57:46 53

原创 mysql主从同步

192.168.33.102 --》master192.168.33.106 --》slave1、按照《ubuntu安装mysql》笔记中在两台虚拟中安装mysql数据库2、修改/etc/mysql/my.cnf文件（设置完需要重启mysql服务）设置主库的server-id=1设置从库的server-id=23、在主库中创建复制账号grant replication slave o...

2019-06-26 18:04:49 129

原创 java dump堆栈分析

在日常工作中，经常会遇到，系统跑着跑着就会出现性能问题，CPU居高不下。这个时候我们就需要对系统的堆栈信息进行分析。这里就介绍如何使用IBM内存检测工具（dumpAnalyzer）。本文以tomcat内存分析为例dumpAnalyzer工具下载地址：https://download.csdn.net/download/jackson_hou03/111260311、获取系统的进程号2...

2019-04-18 19:16:24 3911

原创 HBase安装

1、下载解压，配置HBASE_HOME环境变量2、配置$HBASE_HOME/conf/hbase-env.shexport JAVA_HOME=/usr/java/jdk1.8.0_144# 使用ZK管理HBase实例还是HBase自己管理，false表示用ZK来管理，所以这里要先安装ZKexport HBASE_MANAGES_ZK=false3、配置hbase-site.xml...

2019-04-10 16:57:28 75

原创整合Flume和Kafka的综合使用

1、技术选型Agent1：exec source + memory channel + avro sinkAgent2：avro source + memory channel + kafka sink2、Agent1配置exec-memory-avro.confexec-memory-avro.sources = r1exec-memory-avro.sinks = k1exec-...

2019-04-10 16:30:25 634

原创关于在logstash中使用ruby脚本

在logstash的filter中有很多种解析插件，常用的如：grok、mutate、date和ruby等（具体可以访问：https://www.elastic.co/guide/en/logstash/current/filter-plugins.html）。个人觉得其中ruby脚本的使用最为灵活，可以说它可以随心所欲的去解析任何日志信息。最重要的是它能在脚本中加上一些业务逻辑，如一些条件判断...

2019-04-09 18:00:15 4561

原创 kafka单节点多broker的部署和使用

1、直接将 kafka单节点单broker的部署和使用中的配置文件复制多份（一个server.properties就是一个broker）> cp config/server.properties config/server-1.properties> cp config/server.properties config/server-2.properties> cp co...

2019-04-09 13:49:46 619

原创 kafka单节点单broker的部署和使用

1、下载kafka安装包这里需要注意的是因为kafka的是用scala开发的，所以这里要注意scala的版本。kafka_2.12-2.0.0.tgz 从安装包的名称可以看出“2.12”为scala的版本号，“2.0.0”为kafka的版本号2、重要参数讲解$KAFKA_HOME/config/server.properties# The id of the broker. This m...

2019-04-09 11:10:53 685

原创 zookeeper部署安装

1、从官网上下载zookeeper安装包https://www.apache.org/dyn/closer.cgi/zookeeper/2、解压修改配置在$ZOOKEEPER/conf目录下，执行：hadoop@HTSW-DC:~/zookeeper-3.4.14/conf$ cp zoo_sample.cfg zoo.cfghadoop@HTSW-DC:~/zookeeper-3.4....

2019-04-09 08:51:21 61

原创 Flume应用案例三

需求：将A服务器的日志实时采集到B服务器技术选型：exec source + memory channel + avro sinkavro source + memory channel + logger sink案例架构图：使用Flume的关键就是写配置文件：A）配置SourceB）配置ChannelC）配置SinkD）把以上三个组件串起来192.168.199.150...

2019-04-08 18:16:54 123

原创 Flume应用案例二

需求：监控一个文件实时采集新增的数据输出到控制台Agent选型：exec source + memory channel + logger sinkFlume架构图：使用Flume的关键就是写配置文件：A）配置SourceB）配置ChannelC）配置SinkD）把以上三个组件串起来先从看一下官网上example入门：# example.conf: A single-nod...

2019-04-08 17:49:02 116

原创 Flume应用案例一

需求：从指定网络端口采集数据输出到控制台Flume架构图：使用Flume的关键就是写配置文件：A）配置SourceB）配置ChannelC）配置SinkD）把以上三个组件串起来先从看一下官网上example入门：# example.conf: A single-node Flume configuration# Name the components on this age...

2019-04-08 14:06:51 174