小P聊技术-CSDN博客

原创数据库原理以及SQL优化（二）：慢查询日志

数据库原理以及SQL优化（二）：慢查询日志

2022-08-12 13:19:23 735 1

原创数据库原理以及SQL优化（一）：数据库调优基础入门

数据库原理以及SQL优化（1）：数据库调优基础入门

2022-08-12 13:14:46 382

1 部署日志模块1.1 打包参考博文： ELK 日志采集框架（二）：日志模块开发下载源码，打包成jar包，上传到服务器的 /usr/local/1.2 部署[root@localhost software]# cd /usr/local[root@localhost local]# ll-rw-r--r--. 1 root root 252554263 3月 27 18:20 collector.jar1.3 启动[root@localhost local]# nohup j

2021-05-09 10:00:02 2728 25

原创 ELK 日志采集框架（七）：Kibana安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4kibana7.4.2CSDN kibana下载：https://download.csdn.net/download/qq_15769939/16760256官网下载地址：https://www.elastic.co/cn/downloads/past-releases#kibana2 介绍Kibana 是一个为 Logstash 和 ElasticSearch 提供的日志分析

2021-05-09 09:56:17 692 6

原创 ELK 日志采集框架（六）：ElasticSearch安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4elasticsearch7.4.2IP: 192.168.51.42 介绍Elasticsearch是一个基于Apache Lucene™的开源搜索引擎，无论在开源还是专有领域，Lucene可以被认为是迄今为止最先进、性能最好的、功能最全的搜索引擎库。但是，Lucene只是一个库。想要发挥其强大的作用，你需使用Java并要将其集成到你的应用中。Lucene非常复杂，你需要深入的了解

2021-05-07 20:28:49 320 2

原创 ELK 日志采集框架（五）：Logstash安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4logstash7.4.2IP: 192.168.51.42 介绍Logstash 是一个数据流引擎：它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎在几分钟内建立数据流管道具有水平可扩展及韧性且具有自适应缓冲不可知的数据源具有200多个集成和处理器的插件生态系统使用 Elastic Stack 监视和管理部署Logstash 几

2021-05-06 20:15:32 845 2

原创 ELK 日志采集框架（四）：Kafka安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略kafka2.12-2.1.0IP: 192.168.51.4zookeeper3.4.10IP: 192.168.51.42 介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等

2021-05-04 09:28:42 368 2

原创 ELK 日志采集框架（三）：Filebeat安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4Filebeat7.4.2CSDN filebeat下载：https://download.csdn.net/download/qq_15769939/167602302 介绍Filebeat是一个日志文件托运工具。可作为一个客户端安装在你的服务器上，Filebeat可以监控日志的目录或者指定的日志文件，实时读取文件，并将其上传到Elasticsearch或Logstash进行索引

2021-05-03 20:03:23 804 3

原创 ELK 日志采集框架（二）：日志模块开发

1 资源资源信息版本号备注springboot2.1.5.RELEASEspringboot-elk-demo 源码下载：https://download.csdn.net/download/qq_15769939/167566752 配置信息2.1 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"

2021-05-02 13:01:09 487

原创 ELK 日志采集框架（一）：架构设计

1 服务架构概述通过前文中对Kafka的安装介绍以及使用，本文将介绍Kakfa参与的一套《海量日志收集框架》，从零开始实现一个高可用的单机版的日期采集分析框架。架构使用技术： log4j2 + filebeat + kafka + logstash + elasticsearch + kibana2 服务架构设计架构图如下：日志输出 – log4j2日志收集 – filebeat日志过滤 – logstash日志持久化 – elasticsearch日志可视化 – kibana3

2021-05-01 10:06:52 867 2

原创 MQ 主流的MQ的对比与业务选型

1 简介消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题。它可以实现高性能、高可用、可伸缩和最终一致性架构，是大型分布式系统不可缺少的中间件。消息队列在电商系统、消息通讯、日志收集等应用中扮演着关键作用，以阿里为例，其研发的消息队列（RocketMQ）在历次天猫 “双十一” 活动中支撑了万亿级的数据洪峰，为大规模交易提供了有力保障。作为提升应用性能的重要手段，分布式消息队列技术在互联网领域得到了越来越广泛的关注。在之前的博文中，我们介绍了四种常用的消息中间件：Act

2021-04-30 08:33:13 656

原创 MQ Springboot整合kafka

1 资源资源信息版本号备注kafka2.12-2.1.0IP: 192.168.51.4springboot2.1.5.RELEASEspringboot-kafka-demo 源码下载2 kafka安装需要安装kafka，如果未安装，可参考博文：MQ Kafka安装部署和配置3 springboot整合3.1 父pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="

2021-04-29 08:20:33 2214 3

原创 MQ kafka单机安装配置和部署

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略kafka2.12-2.1.0IP: 192.168.51.4zookeeper3.4.10IP: 192.168.51.4JRE-1.8 下载CSDN kafaka下载官网地址：kafaka下载2 JDK安装zookeeper是需要依赖于JDK环境的，如果未安装，可参考博文：Centos7 离线安装和配置jre1.8：http

2021-04-28 13:19:52 192

原创 MQ kafka入门介绍及核心原理

1 简介Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。2 特点同时为发布和订阅提供高吞吐量。据了解，Kafka每秒可以生产约25万消息（50 MB），每秒处理55万消息（110 MB）。可进行持久化操作。将消息持久化到磁盘，因此可用于批量消费，例如ETL，以及实时应用程序。通过将数据持久化到硬盘以及replication防止数据丢失。分布式系统

2021-04-27 08:22:23 688

原创 MQ Springboot整合RabbitMQ

1 资源资源信息版本号备注rabbitMQ3.6.5IP: 192.168.51.4springboot2.1.5.RELEASEspringboot-rabbitmq-demo 源码下载2 rabbitmq安装需要安装rabbitmq，如果未安装，可参考博文：MQ RabbitMQ 单机版部署和配置3 springboot整合3.1 pom文件<?xml version="1.0" encoding="UTF-8"?><proj

2021-04-26 08:21:58 207

原创 MQ RabbitMQ 高可用集群（七）：集群应用监控

1 集群问题1.1 实际问题生产注意问题：https://blog.csdn.net/astiantian/article/details/84231578按默认配置安装完RabbitMQ后，发现其File descriptors（即文件描述符）和Socket descriptors都特别低，分别为924和829。客户端（消费者）保持长连接时很容易就将socket占满。2 核查问题经查该问题是由于系统当前的ulimit -n仅为1024，rabbitmq在启动时会进行如下换算：file_lim

2021-04-25 08:32:57 184 2

原创 MQ RabbitMQ 高可用集群（六）：集群管理

1 集群节点重置停止所有服务后，删除 /var/lib/rabbitmq/mnesia 文件夹内容，重新再启动每个节点！2 集群配置管理2.1 配置集群首先，我们在管控台里可以对集群的vhost、exchange、queue、用户等进行增删改查。我们在overview的最下面Import / export definitions中可以下载（当前集群配置）和上传（修改集群）配置，这些配置为json格式。如图所示：2.2 配置信息通过修改JSON文件的方式去通过管控台web界面去对集群配置

2021-04-24 09:31:50 305 1

原创 MQ RabbitMQ 高可用集群（五）：集群配置与测试运行

1 集群配置1.1 环境变量配置在 /etc/rabbitmq/ 目录下，创建 rabbitmq-env.conf配置文件rabbitmq-env.conf 配置内容：---------------------------------------关键参数配置-------------------------------------------RABBITMQ_NODE_IP_ADDRESS=本机IP地址RABBITMQ_NODE_PORT=5672RABBITMQ_LOG_BASE=/var/

2021-04-23 08:31:14 481

原创 MQ RabbitMQ 高可用集群（四）：Keepalived安装和配置

1 简介Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP（Virtual Router Redundancy Protocol）协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个）。

2021-04-22 08:25:39 480

原创 MQ RabbitMQ 高可用集群（三）：Ha-Proxy安装和配置

1 简介HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。HAProxy适用于那些负载较大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中，同时可以保护web服务器不被暴露到网络上。引用： http://www.rabbitmq.com/blog/2011

2021-04-21 08:54:51 2268 4

原创 MQ RabbitMQ 高可用集群（二）：集群搭建

1 集群节点安装单节点安装RabbitMQ，可参考博文：MQ RocketMQ安装部署和配置： http://www.baidu.com以上操作三个节点（71、72、73）同时进行操作2 文件同步配置选择71、72、73任意一个节点为Master（这里选择71为Master），也就是说我们需要把71的Cookie文件同步到72、73节点上去，进入/var/lib/rabbitmq目录下，把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777，原来是400；

2021-04-20 08:37:39 1215 7

原创 MQ RabbitMQ 高可用集群（一）：架构设计

1 服务架构概述架构使用技术：RabbitMQ Cluster + Queue HA + Haproxy + Keepalived3台rabbitMQ服务器构建broker集群，允许任意2台服务器故障而服务不受影响，在此基础上，通过Queue HA （queue mirror）实现队列的高可用，在本例中镜像到所有服务器节点（即1个master，2个slave）；为保证客户端访问入口地址的唯一性，通过haproxy做4层代理来提供MQ服务，并通过简单的轮询方式来进行负载均衡，设置健康检查来屏蔽故障节点对客

2021-04-19 14:37:27 253 2

原创 MQ RabbitMQ 集群部署入门

1 简介rabbitmq集群架构，包含主备模式、远程模式、镜像模式、多活模式。2 主备模式2.1 介绍也称为 Warren (兔子窝) 模式。一个主/备方案（activeMq 通过 zookeeper做主备）。实现 rabbitMQ 的高可用集群，一般在并发和数据量不高的情况下，这种模式非常的好用且简单。也就是一个主/备方案，主节点提供读写，备用节点不提供读写。如果主节点挂了，就切换到备用节点，原来的备用节点升级为主节点提供读写服务，当原来的主节点恢复运行后，原来的主节点就变成备用节点，和

2021-04-18 09:22:01 505

原创 MQ RabbitMQ 单机版部署和配置

1 资源资源信息版本号备注Centos77.5IP: 192.168.51.4RabbitMQ3.6.5CSDN RabbitMQ下载： https://download.csdn.net/download/qq_15769939/16470226官网 RabbitMQ下载：https://github.com/rabbitmq/rabbitmq-server/releases2 安装与配置2.1 上传服务器将文件上传到服务器的 /opt/modu

2021-04-17 19:50:02 478

原创 MQ RabbitMQ入门介绍和核心原理

1 简介RabbitMQ是一个开源的AMQP实现，服务器端用Erlang语言编写，支持多种客户端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX。用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。且RabbitMQ是基于 AMQP 协议的，目前各个互联网大厂都在使用RabbitMQ作为消息中间件。附上官网地址： https://www.rabbitmq.com/2 特点2.1 核心特点

2021-04-15 20:01:18 164

原创 MQ Springboot整合RocketMQ

1 资源资源信息版本号备注rocketMQ4.8.0IP: 192.168.51.4springboot2.4.0springboot-rocketmq-demo 源码下载2 rocketmq安装需要安装rocketmq，如果未安装，可参考博文：MQ RocketMQ安装部署和配置3 springboot整合3.1 pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns=

2021-04-14 08:30:24 406

原创 MQ RocketMQ安装部署和配置

1 资源资源信息版本号备注Centos77.5IP: 192.168.51.5JRE1.8如果已安装请忽略RocketMQ4.8.0JRE-1.8 下载：https://download.csdn.net/download/qq_15769939/12115544CSDN RocketMQ下载： https://download.csdn.net/download/qq_15769939/16091337官网 RocketMQ下载：https:

2021-04-09 08:50:00 370

原创 MQ RocketMQ入门介绍及核心原理

1 简介RocketMQ是一款分布式、队列模型的消息中间件，由阿里巴巴自主研发的一款适用于高并发、高可靠性、海量数据场景的消息中间件。早期开源2.x版本名为Metaq，迭代3.x版本，更名为RocketMQ，16年开始贡献到Apache。经过1年多的孵化，最终成为Apache顶级的开源项目，更新非常频繁，社区活跃度也非常高；目前4.8.0-release版本。RocketMQ参考借鉴了优秀的开源消息中间件Apache - Kafka，其消息的路由集群划分都借鉴了Kafka优秀的设计思路，并结合自身的 “

2021-04-07 08:43:32 1422 8

原创 MQ Springboot整合ActiveMQ

1 资源资源信息版本号备注activeMQ5.16.1IP: 192.168.51.4springboot2.1.5.RELEASEprettyZoo2.0zookeeper可视化工具springboot-activemq-demo 源码下载2 zookeeper安装需要安装zookeeper，如果未安装，可参考博文：MQ ActiveMQ安装部署和配置3 springboot整合3.1 pom文件<?xml version="1.0

2021-04-03 09:42:17 166

原创 MQ ActiveMQ安装部署和配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略activeMQ5.16.1JRE-1.8 下载CSDN ActiveMQ下载官网地址：ActiveMQ下载2 JDK安装zookeeper是需要依赖于JDK环境的，如果未安装，可参考博文：Centos7 离线安装和配置jre1.83 安装与配置3.1 上传服务器将文件上传到服务器的 /opt/module/software/Ac

2021-04-02 08:27:28 363

原创 MQ ActiveMQ入门介绍及核心原理

1 概述Apache下的一个非常流行的消息中间件，使用JAVA支持的JMS Provider实现，所以和JAVA程序完全兼容，开发java项目中间件首选。当然ActiveMQ不仅仅支持JAVA，在C++、Dotnet、Python、Php、Ruby、Websocket等多种客户端都可以提供良好的服务。ActiveMQ凭借其丰富的API、多种集群构建模式使得他成为业界老牌消息中间件，在中小型企业中应用广泛！在实际的使用，activeMQ在高并发，高性能的应用中，会抛出JMSException，并且断开链

2021-04-01 08:31:32 579

原创 MQ 分布式消息队列入门

1 概述消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削锋等问题。实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。目前在生产环境，使用较多的消息队列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。2 JMS简介2.1 JMS概述JMS（Java Messaging Service）是Java平台上有关面向消息中间件(MOM)的技术规范，它便于消息系统中的Java应用程序进行消息交换,并且通过提

2021-03-31 08:35:00 485 2

原创 ZK springboot整合zookeeper

1 资源资源信息版本号备注zookeeper3.4.10IP: 192.168.51.4springboot2.1.5.RELEASEprettyZoo2.0zookeeper可视化工具zookeeper可视化工具下载springboot-zookeeper-demo 源码下载2 zookeeper安装需要安装zookeeper，如果未安装，可参考博文：ZK zookeeper单机安装与配置3 springboot整合3.1 pom文件

2021-03-30 08:25:42 1208 2

原创 ZK zookeeper客户端命令行操作

1 基本语法命令基本语法功能描述help显示所有操作命令ls path [watch]使用 ls 命令来查看当前znode中所包含的内容ls2 path [watch]查看当前节点数据并能看到更新次数等数据create普通创建 -s 含有序列 -e 临时（重启或者超时消失）get path [watch]获得节点的值set设置节点的具体值stat查看节点状态delete删除节点rmr递归删除节点2 基础操作

2021-03-29 11:55:10 322

原创 ZK zookeeper集群安装与配置

1 环境准备1.1 资源资源信息版本号备注节点1Centos7IP: 192.168.51.4节点2Centos7IP: 192.168.51.5节点3Centos7IP: 192.168.51.6JRE1.8如果已安装请忽略zookeeper3.4.10JRE-1.8 下载zookeeper-3.4.10 下载1.2 关闭防火墙[root@localhost ~]# systemctl stop firewalld[roo

2021-03-28 08:23:46 330

原创 ZK zookeeper单机安装与配置

1 资源资源信息版本号备注服务器Centos7IP: 192.168.51.4JRE1.8如果已安装请忽略zookeeper3.4.10JRE-1.8 下载zookeeper-3.4.10 下载2 JDK安装zookeeper是需要依赖于JDK环境的，如果未安装，可参考博文：Centos7 离线安装和配置jre1.83 zookeeper安装与配置3.1 上传服务器将文件上传到服务器的 /opt/module/software 目录[r

2021-03-27 11:25:00 855 2

原创 ZK zookeeper入门与核心原理

1 简介Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。ZooKeeper是用于分布式应用程序的分布式，开放源代码协调服务。它公开了一组简单的原语，分布式应用程序可以基于这些原语来实现用于同步，配置维护以及组和命名的更高级别的服务。它的设计易于编程，并使用了按照文件系统熟悉的目录树结构样式设置的数据模型。它以Java运行，并且具有Java和C的绑定。众所周知，协调服务很难做到。它们特别容易出现诸如比赛条件和死锁之类的错误。ZooKeeper背后的动机是减轻分布式应用

2021-03-26 08:28:03 187

原创 FastDFS 阿里云OSS配置与使用

1 简介使用第三方的阿里云OOS来当文件服务器使用，稳定性相对来说比较高，容灾也方便。官方参考地址：https://help.aliyun.com/product/31815.html?spm=5176.7933691.J_1309819.8.2f1e2a66QAuBQL2 pom文件配置<dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</a

2021-03-25 08:26:57 1229 2

原创 FastDFS 整合springboot配置与使用

1 pom文件配置<dependency> <groupId>com.github.tobato</groupId> <artifactId>fastdfs-client</artifactId> <version>1.26.7</version></dependency>2 application文件配置###########################################

2021-03-24 08:22:23 1016

原创 FastDFS 整合nginx实现图片预览和文件下载

1 介绍FastDFS安装好了之后是无法通过http访问的，这个时候需要借助nginx来实现，需要安装fastdfs的第三方模块到nginx中。nginx需要和storage安装在同一个节点CSDN下载地址： https://download.csdn.net/download/qq_15769939/158041962 文件上传上传文件到服务器，目录为 /opt/module/software/FastDFS[root@localhost ~]# cd /opt/module/softwa

2021-03-23 08:30:34 1084 4