- 博客(30)
- 收藏
- 关注
RSS订阅原创 Kafka的核心概念
Kafka 是一个分布式的流处理平台，在 kafka0.8.x 版本的时候，kafka 主要是作为一个分布式的、可分区的、具有副本数的日志服务系统(Kafka™ is a distributed, partitioned, replicated commit log service), 具有高水平扩展性、高容错性、访问速度快、分布式等特性；主要应用场...
2023-04-26 17:18:38
569
1
原创 Kibana的离线安装部署
一、简介 Kibana 是为 Elasticsearch 设计的开源分析和可视化平台。你可以使用 Kibana 来搜索，查看存储在 Elasticsearch 索引中的数据并与之交互。你可以很容易实现高级的数据分析和可视化，以图表的形式展现出来。二、下载 当前最新的版本可在官网的下载界面直接下载，官网贴心的为大家准备了不同环境下安装包，可直接根据自己的安装环境下载，甚至还有打好包的 Docker 镜像。因为在撰写此文档时，当前最新的版本是 7.8.0，且笔者的操作系统为 Linux（Red Hat 7
2021-03-18 08:41:28
1117
原创 Elasticsearch的离线安装部署
Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎，具有现代、快速、分布式、可扩展、容错等优点。Elasticsearch 借助了 Apache Lucene 的能力，让你拥有更强的把控力，可以索引海量数据，并进行搜索。一、环境准备1.1 创建用户和组 Elasticsearch 5 版本开始，出于系统安全考虑设置，不再允许直接使用 root 用户启动了，会报 can not run elasticsearch as root 异常信息，所以需要将 Elasticsear
2021-03-18 08:38:36
1080
原创 Canal源码剖析之环境准备
既然咱们的目的是阅读 Canal 源码，那么，首先就得掌握如何在自己的电脑上搭建 Canal 的源码环境，甚至是知道怎么对它们进行调试。本文展示了很多实操步骤，建议你都跟着操作一遍，否则很难会有特别深刻的认识。一、环境准备 在阅读 Canal 源码之前，我们要先做一些必要的准备工作。这涉及到一些工具软件的安装，比如 Java、Maven、IDE、Git 等等。如果你是在 Linux 或 Mac 系统下搭建环境，你需要安装 Java、IDE 和 Git；如果你使用的是 Windows，那么你需要全部
2020-06-05 11:40:41
880
原创 Canal的安装与部署
一、环境要求1.1 操作系统Canal 是由 Java 开发，Windows/Linux 均可支持。不同的 Canal 版本所需的 JDK 版本亦不同，下表展示了它们之间关系。CanalJDK1.1.41.81.1.0 ~ 1.1.31.71.0.19 ~ 1.0.251.61.2 MySQL 要求目前 Canal 已支持 MySQL 5.7.13/5.6.10 及以下的版本，MariaDB 5.5.35 和 10.0.7（理论上可支持以下版本
2020-06-02 16:11:09
74625
1
原创 修改Canal的消费位点指南
在日常的使用中，因某些原因需要重新采集数据时，只要目标库中的 binlog 文件依旧存在，那么就能够将 Canal 的解析位置重新定位，从指定的位置开始解析。 Canal 默认在 ZooKeeper 中存储的节点为：/otter/canal一、停止 Canal 服务 在有数据被消费时，客户端的每次 Ack 都会使得服务端用本地缓存的位点信息去覆盖 ZooKeeper 上的位点，所以在修改 ZooKeeper 的位点之前，应先避免其不再被覆盖，即停止 Canal 服务。亦可停止该 instan
2020-05-22 14:38:01
5687
翻译 Java进程状况之 jstat 命令
jstat 命令可用来打印目标 Java 进程的性能数据。一、概述此命令是实验性的，不受支持。jstat -help|-optionsjstat -<options> [-t] [-h<lines>] <vmid> [<interval> [<count>] ]-help 输出帮助信息。-options 显示静态选...
2020-05-04 08:53:47
4897
原创 Kafka常用命令之kafka-console-producer.sh
kafka-console-producer.sh 脚本通过调用 kafka.tools.ConsoleProducer 类加载命令行参数的方式，在控制台生产消息的脚本。本文是基于 Kafka_2.12-2.5.0 版本编写的，--bootstrap-server 参数于此版本开始被使用，而 --broker-list 也是在此版本开始被置为过时，但其属性值依旧保持不变。在使用较旧版本时，注意...
2020-05-04 07:45:11
47087
5
原创 Mycat的sql解析源码剖析
Mycat 的 SQL 解析分为浅解析和深解析两部分，下面就分别讲解这两部分。本文分析的 Mycat 版本号是 1.6.7.4-test-20191226161308，具体的版本号信息详见源码的 io.mycat.config.Versions#SERVER_VERSION 属性。一、浅解析 不同类型的 sql 语句需要不同的逻辑处理，而浅解析则是用于判定出 sql 语句所属的类型，比...
2020-01-20 10:49:44
1346
原创 Mycat 结果集处理源码剖析
Mycat 结果集处理源码剖析 一、读入响应数据包 Mycat 主要采用 Reactor 模式作为通信模型，而此通信模型获取客户端发送到服务端的请求数据包是通过在信道中注册 SelectionKey.OP_READ 读事件。Mycat 也不例外，用名为 NIOREACTOR-i-RW 的线程在双向通道中注册读事件，并接收、处理请求数据包。package io.mycat.net;pub...
2020-01-19 16:40:03
717
翻译 Java进程状况之 jps 命令
JDK 中的 jps 命令 沿用了同样的概念：它将打印所有正在运行的 Java 进程的相关信息。一、概要jps [-q] [-mlvV] [<hostid>]jps [-help]-q 仅输出进程号。-mlvV-m 输出启动进程时传递给主类 main() 函数的参数。-l 输出应用程序主类的完整包名或应用程序 jar 文件的完整路径名。...
2020-01-03 22:25:06
606
原创 Mycat在Linux环境下的安装部署
创建 mycat 用户 通常我们所使用的环境中部署了各种应用，为了的各应用之间相互隔离，互不干扰，此处采用为 Mycat 创建一个专属的用户。 在创建用户前，先使用 root 用户检查是否已存在 mycat 用户：cat /etc/group|grep mycatcat /etc/passwd|grep mycat 若检查出的结果为空，则表示不存在 mycat 用户组及用户，可进行...
2019-11-29 08:08:42
741
原创 Mycat核心配置之schema.xml
schema.xml 作为 Mycat 中重要的配置文件之一，管理着 Mycat 的逻辑库、表、分片规则、DataNode 以及 DataSource。弄懂这些配置，是正确使用 Mycat 的前提。一、<schema> 标签 schema 标签用于定义 Mycat 实例中的逻辑库。Mycat 可以有多个逻辑库，每个逻辑库都有自己的相关配置。可以使用 <schema> ...
2019-11-26 09:43:33
966
1
原创 分布式BASE理论
一、概述 BASE 是 Basically Available（基本可用）、Soft state（软状态）和 Eventually consistent（最终一致性）三个词语的简写。二、来源 CAP 定理表明：对于一个分布式系统而言，它是无法同时满足 Consistency（强一致性）、Availability（可用性）和 Partition tolerance（分区容忍性）这三个条件的，最...
2019-10-24 11:12:05
525
原创 dubbox升级至apache-dubbo-2.7.2的兼容方案
一、Dubbo 的前世今生 Dubbo 是阿里巴巴内部使用的分布式业务框架，在2011年由阿里巴巴开源。由于 Dubbo 在阿里巴巴内部经过广泛的业务验证，在很短时间内，就迅速成为了国内该类开源项目的佼佼者，并产生了许多衍生版本，如网易、京东、新浪、当当、网易考拉等等。2014年10月30日发布 2.4.11 版本后，突然停止更新（其实在2012年10月之后就基本停止了重要升级，改为阶段性维护）...
2019-09-08 10:09:12
5915
9
原创 分布式CAP定理
“分区容错性”是基本要求，只能通过基础设施提升，无法通过降低“一致性”或“可用性”来提升，然后在“一致性”和“可用性”之间权衡。一般最推崇的是使用使用“最终一致性”来解决(并不适用所有场景)。
2019-06-09 11:12:52
238
原创 深入分析事务
一、概念 作为单个逻辑工作单元执行的一系列操作，要么都执行，要么都不执行。通俗的理解，事务是一组原子操作单元，从数据库角度说，就是一组SQL指令，要么全部执行成功，若因为某个原因其中一条指令执行有错误，则撤销先前执行过的所有指令。更简单的说就是：要么整体成功，要么整体失败。 一个数据库事务通常包含了一个序列的对数据库的读/写操作。它的存在包含有以下两个目的：为数据库操作序列提供了一个...
2019-06-08 16:39:59
324
原创 Spring事件
在设计模式的六大原则中，有一个接口隔离原则，其意为：使用多个隔离的接口，比使用单个接口要好。它还有另外一个意思是：降低类之间的耦合度。由此可见，其实设计模式就是从大型软件架构出发、便于升级和维护的软件设计思想，它强调降低依赖，降低耦合。 为了达到解耦的目的，一个类应当只做一件事，例如，用户进行注册时，需要创建注册相关的类，来完成注册事务。但是，如果注册成功时，还需要发送验证邮件，以及手机校验码...
2019-05-06 09:54:43
187
原创 Dubbo的容错机制原理
本文是基于 apache dubbo 2.7.0 版本的源码和参考官网的集群章节而成。 为了避免单点故障，现在的应用通常至少会部署在两台服务器上。对于一些负载比较高的服务，会部署更多的服务器。这样，在同一环境下的服务提供者数量会大于1。对于服务消费者来说，同一环境下出现了多个服务提供者。这时会出现一个问题，服务消费者需要决定选择哪个服务提供者进行调用。另外服务调用失败时的处理措施也是需要考虑的...
2019-05-04 13:15:32
4128
2
原创 Spring Bean的作用域
作用域限定了Spring Bean的作用范围，在Spring配置文件定义Bean时，通过声明scope配置项，可以灵活定义Bean的作用范围。
2019-04-08 22:36:17
432
原创 Kafka常用命令之kafka-console-consumer.sh
kafka-console-consumer.sh 脚本是一个简单的控制台 Consumer。此脚本的功能通过调用 ConsoleConsumer 实现。
2019-04-06 15:29:10
121902
21
原创 Spring Boot的常规配置
众所周知 Spring Boot 的核心：约定大于配置。这句话用于 Spring Boot 时可以从如下两点来理解：开发人员仅需规定应用中不符约定的部分。在没有规定配置的地方，采用默认配置，以力求最简配置为核心思想。 其实，总的来讲，上面这两条都遵循了推荐默认配置的思想；当存在特殊需求时候，自定义下配置即可。定义些默认配置办不到的需求即可，剩下的配置，默认就帮助你完成，大大减少配置工作...
2019-04-06 15:20:12
371
原创 Hadoop的HA模式部署
正式引入 HA 机制是从 Hadoop2.0 开始，之前的版本中没有HA机制。实现高可用最关键的是消除单点故障，Hadoop-ha 严格来说应该分成各个组件的HA机制——HDFS 的 HA、YARN 的 HA。
2019-03-31 15:22:26
1244
原创 大数据通用环境配置
一 关闭防火墙 在通常的分布式架构中，各节点之间要进行通信或传输数据，而其中使用的所有端口我们并不完全了解，所以，直接将其关闭。1.1 关闭防火墙iptableservice iptables stop # 临时关闭防火墙chkconfig iptables off # 永久关闭防火墙service iptables status # 查看防火墙的状态 当...
2019-03-27 09:03:01
157
原创 Kafka常用命令之kafka-topics.sh
本文所有命令都是基于 KAFKA_HOME 目录下运行。 kafka-topics 脚本主要负责 topic 相关的操作。它的具体实现是通过 kafka-run-class 来调用 TopicCommand 类，并根据参数执行指定的功能。一 创建 Topic TopicCommand.createTopic() 方法负责创建 Topic，其核心逻辑是确定新建 Topic 中有多...
2018-05-05 10:53:25
46066
5
原创 Kafka安装部署(Linux环境)
环境准备JDK：建议版本在 1.7 及以上，否则可能会报如下错误：java.lang.UnsupportedClassVersionError （安装步骤略）ZooKeeper：Kafka 的安装包中自带 zookeeper，但并不建议使用之，最好另外自行部署一个 zookeeper 环境。 （安装步骤略）下载Kafka下载地址:http://kafka.apache.org...
2018-04-15 17:12:08
2294
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人