若兰幽竹-CSDN博客

原创【Hadoop3.3.6】数据块副本放置策略及解析EditLog和FsImage

目录一、摘要二、正文2.1 环境说明2.2 网络拓扑2.3 Hadoop副本放置策略介绍2.4 解析EditLog和Fsimage镜像文件三、小结一、摘要通过解析存储于NameNode节点上的日志文件EditLog和镜像文件（元数据）Fsimage来反向验证HDFS的数据块副本存放策略，其目的是希望加深对Hadoop的数据块放置策略的理解以及掌握如何查看日志文件及镜像文件的方法和理解其内容。二、正文2.1 环境说明软件说明VMWareWorkstation版本16.2.+

2024-04-22 23:27:41 657

原创【Hadoop3.3.6全分布式环境搭建】

上传jdk-8u171-linux-x64.tar.gz到/root目录下，然后执行下面的命令进行解压安装。如果不一样的话，我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1）搭建一个时间同步的服务器，网上很多教程可以使用。4、配置免密码登录（配置两两之间的免密码登录）3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥：公钥和私钥。

2024-04-20 22:50:51 876 1

原创【openGauss5.0.0】数据库恢复XLOG分析

xlog当前插入点：0/244FE20,当前插入的xlog segment为：000000010000000000000002，LSN为：4521504。打开新的SSH会话窗口以immediate模式关闭数据库。重启数据库，查看t3表数据及当前xlog插入点及LSN。说明重启后，数据库需要重做日志，将数据进行恢复。打开新的SSH会话窗口以fast模式关闭数据库。查看当前xlog插入点及LSN所在WAL的位置。再重启数据库，查看t3表数据及运行日志变化情况。，这个值和第9步骤看到的是一样的。

2024-03-25 22:37:34 947

原创【基于openGauss2.1.0企业版安装X-Tuner参数调优工具】

遇到的问题：/tmp存储空间不足，如。新建setup.cfg文件。新增pip.conf文件。

2024-01-06 08:58:11 439

原创【导出与导入Virtualbox虚拟机和启动连接openGauss数据库】

到此，已完成了【导出与导入Virtualbox虚拟机和启动连接openGauss数据库】，接下来的事情你们自己可以愉快的玩耍了！启动后，登录到虚拟机中（

2024-01-04 17:26:20 1018

原创【openGauss服务器端工具的使用】

gs_check改进增强，统一化当前系统中存在的各种检查工具，例如gs_check、gs_checkos等，帮助用户在openGauss运行过程中，全量的检查openGauss运行环境、操作系统环境、网络环境及数据库执行环境，也有助于在openGauss重大操作之前对各类环境进行全面检查，有效保证操作执行成功。数据库运行时，某些操作在执行过程中可能会出现错误，数据库依然能够运行。当openGauss发生故障时，使用 gs_collector 此工具收集OS信息、日志信息以及配置文件等信息，来定位问题。

2024-01-03 22:49:25 958

原创【解决openGauss无法使用gs_check等服务器端命令问题】

-h 后面的IP地址换成你自己环境中数据库所在主机IP地址。重新执行openGauss服务器端命令，如下所示，正常显示。该命令执行成功后，会在omm用户家目录下生成一个隐藏目录。切换到omm系统用户下，执行如下命令生成密钥对。数据库所在主机之间没有实现SSH免密登录。

2024-01-03 17:40:46 537

原创【创建VirtualBox虚拟机并安装openEuler20.03 TLS SP1操作系统】

鼠标点击屏幕（虚拟机黑色屏幕）按电脑键盘上上下键选择第一个选项：Install openEuler 20.03-LTS-SP1。

2024-01-03 13:44:59 462

原创【基于VirtualBox及openEuler20.03 TLS SP1编译openGauss2.1.0源码】

下载openGauss源码和openGauss-third_party_binarylibs第三方库，进入到/opt/software目录下，下载openGauss2.1.0 源码和下载openGauss-third_party_binarylibs-2.1.0，由于开源软件编译构建耗时长，我们特地使用openGauss-third_party编译构建出了一份binarylibs并压缩上传到了网上，用户可以直接下载获取。，进入解压后的目录openeuler-lsb-5.0，将其中的。

2023-12-27 23:09:04 996

原创基于openGauss5.0.0全密态数据库等值查询小案例

密态数据库意在解决数据全生命周期的隐私保护问题，使得系统无论在何种业务场景和环境下，数据在传输、运算以及存储的各个环节始终都处于密文状态。当数据拥有者在客户端完成数据加密并发送给服务端后，在攻击者借助系统脆弱点窃取用户数据的状态下仍然无法获得有效的价值信息，从而起到保护数据隐私的作用。2. 特性介绍从用户视角来看，整个密态等值查询的主要功能分为三部分，主要通过新增的KeyTool工具以及openGauss的增强gsql客户端来实现。首先是客户端密钥管理功能。

2023-12-26 10:50:19 304

原创【基于openGauss5.0.0简单使用DBMind】

其他的有关DBMind的功能，大家感兴趣，可自行测试，希望对您有所帮助~~~~~感兴趣可以查看下queries.sql内容，看下生成了哪些SQL语句。为了测试AP性能，以omm用户上传tpch_ap_data.sql（查看了supplier表的总记录数为：10000条。至此，已完后TPCH测试数据的导入工作。至此，已完成了查询语句的生成。

2023-12-06 14:31:13 414

原创【基于VirtualBox和openEuler20.03 TLS安装openGauss5.0.0及安装DBMind】

因此，它与prometheus是一一对应的，即如果只有一个prometheus服务，则只需要一个reprocessing_exporter即可。prometheus和reprocessing_exproter一起部署在主控节点上，reprocessing_exproter依赖prometheus，所以需要先启动prometheus再启动reprocessing_exporter。安装Prometheus，并将其上传到omm用户的家目录/home/omm，修改其用户和用户组为omm:dbgrp。

2023-12-05 23:07:25 1279

原创基于Virtualbox和openEuler20.03 TLS一键式安装openGauss5.0.0企业版（单机版）

8）修改clusterconfig.xml：将hostname和ip改成你自己虚拟机的主机名称和IP。9）执行install.sh：在执行过程中，需要输入4次密码。7）上传clusterconfig.xml到虚拟机。

2023-12-03 08:37:49 1152

原创【openGauss2.1.0实现X-Tuner进行参数调优】

如果不是源码安装openGauss，而是使用编译好的openGauss安装包安装，则X-Tuner是openGauss2.1.0自带的一款工具。通过使用X-Tuner工具，可以对openGauss2.1.0的参数进行优化，以提高其性能。用户】，利用X-Tuner获得参数优化建议，执行如下命令，需要输入正确的omm数据库用户密码及omm操作系统用户密码（密码为关卡一中创建omm时设置的用户密码）。如果系统要求性能较高，在高并发和大业务量的场景下，虽缩短了半分钟时间，但从整体上看，性能还是有不少的提升。

2023-08-31 00:49:20 313

原创【openGauss2.1.0利用Index-advisor实现索引推荐】

如果不是源码安装openGauss，而是使用编译好的openGauss安装包安装，则X-Tuner是openGauss2.1.0自带的一款工具。通过使用X-Tuner工具，可以对openGauss2.1.0的参数进行优化，以提高其性能。用户】，利用X-Tuner获得参数优化建议，执行如下命令，需要输入正确的omm数据库用户密码及omm操作系统用户密码（密码为关卡一中创建omm时设置的用户密码）。产生的），记录下脚本执行时间，这个过程可能需要花费十多分钟的时间，请耐心等待。参数调优后，再次使用【

2023-08-30 23:52:51 247

原创【openGauss2.1.0 TPC-H数据导入】

openGauss2.1.0 TPC-C数据导入一、下载tpch测试数据二、导入测试数据一、下载tpch测试数据使用普通用户如omm登录服务器执行如下命令下载测试数据库：git clone https://gitee.com/xzp-blog/tpch-kit.git二、导入测试数据进入dbgen目录下，生成makefile文件：cd /opt/software/tpch-kit/dbgen/make -f Makefile连接openGauss数据库，创建tpch的databa

2023-08-29 23:53:27 1173

原创【基于鲲鹏及openEuler20.03TLS下MySQL8.0.17性能调优】

如果将缓冲池大小更改为不等于或等于innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的倍数的值，则缓冲池大小将自动调整为等于或者是innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances的。也欢迎您的建议和意见！使用压缩表时，报告的Innodb_buffer_pool_pages_data值可能大于Innodb_buffer_pool_pages_total。

2023-08-19 15:47:16 332

原创【RabbitMQ与SpringBoot集成测试收发消息】

修改application.properties，如步骤3所示，可直接复步骤3内容即可；根据你自己的环境改成你自己的ip、port、virtual-host、用户名和密码。该程序会一直运行，因为我加了while(true)，模拟用户一直产生数据。本文仅是博主本人在学习过程中作为学习笔记使用，常言道：好记性不如烂笔头。编写消费者工程，具体创建工程如步骤2所示；在RabbitMQ的UI界面或命令行上。本文参考了来自网络上的资料，，在其类上面添加注解。

2023-08-10 23:25:25 856

原创【RabbitMQ上手——单实例安装&5种简单模式实现通讯过程】

【RabbitMQ入门-单实例安装&5种简单模式实现通讯过程】一、环境说明二、安装RabbitMQ三、用户权限及Virtual Host设置四、5种简单模式实现通讯过程的实现五、小结一、环境说明安装环境：虚拟机VMWare + Centos7.6 + Maven3.6.3 + JDK1.8RabbitMQ版本：rabbitmq-server-3.8.8-1.el7.noarch.rpm二、安装RabbitMQ具体安装过程，可参考：CentOS7安装RabbitMQ(rpm包方式)

2023-08-10 00:29:42 1175

原创【源码编译并安装RocketMQ Dashboard】

本文仅作为学习过程的笔记，因官网有些步骤省略或者没有写全，为了方便后续查看，也为那些初学者提供一点参考和帮助。如本文对您有所帮助，目录，在该目录下会看到编译完成后的。正常编译完成后，会生成。

2023-08-09 21:43:07 526

原创【RocketMQ入门-安装部署与Java API测试】

NameServer成功启动后，我们启动Broker和Proxy，5.x 版本下我们建议使用 Local 模式部署，即 Broker 和 Proxy 同进程部署。5.x 版本也支持 Broker 和 Proxy 分离部署以实现更灵活的集群能力。至此，一个单节点副本的 RocketMQ 集群已经部署起来了，我们也通过编写Java程序进行简单的消息收发。会看到如下内容，说明已经正常启动了。会看到如下内容，说明已经正常启动了。

2023-08-09 16:22:59 606

原创【Windows10下启动RocketMQ报错：找不到或无法加载主类 Files\Java\jdk1.8.0_301\lib\dt.jar】解决方法

Windows上安装jdk默认安装到了C:\Program Files\路径下，即JAVA_HOME为C:\Program Files\Java\jdk1.8.0_301，其中路径中有。在rocketmq解压理解下的bin目录下找到runrocket.cmd，打开并在%CLASSPTH%上添加双引号，保存即可。，该路径空格导致问题产生。

2023-08-09 11:00:37 1735 1

原创【基于开源HBase和ElasticSearch构建大数据实时检索项目】

通过开源HBase和ElasticSearch构建大数据实时检索平台，加快海量数据查询的效率，提升大数据实时搜索的性能，以便于应对日常复杂大数据快速定位的问题。

2023-08-03 01:04:47 1466

原创【基于华为云ECS及openEuler20.03 TLS安装单机openGauss2.1.0企业版】

安装数据库分为两步，预安装gs_preinstall和安装gs_install。预安装会创建工具、数据、日志文件等目录，并将相关工具写入到对应目录下。安装则会初始化数据目录，将数据库配置文件、数据文件写入。输入的密码需要满复杂度要求，长度大于8字符且至少包含字母、数字、特殊字符中三种。预安装过程成会有一次交互输入，需要创建用户并属于设置用户密码。至此完成了整个数据库的安装与测试，恭喜大家~~进入到安装脚本目录下，执行预安装操作。请输入yes，并输入omm用户密码。为安装数据库的管理用户，

2023-07-12 21:55:36 289

原创【GaussDB(DWS)】数据分布式存储-三种类型的表

水平分表方式将一个数据表内的数据，按合适分布策略分散存储在多个节点内，DWS支持如表1所示的数据分布策略。用户可在CREATE TABLE时增加DISTRIBUTE BY参数，来对指定的表应用数据分布功能。DWS采用水平分表的方式，将业务数据表的元组打散存储到各个节点内。这样带来的好处在于，查询中通过查询条件过滤不必要的数据，快速定位到数据存储位置，可极大提升数据库性能。三种类型表测试完毕，感受是。

2023-07-09 01:20:15 2792

原创【GaussDB分布式特性】

1.双AZ采用带第三方仲裁方式部署，即独立Server9网络域。由此，我们得出GaussDB中表可以安装分片进行存储的。2.4C4D4副本，一共需要9台物理机(4+4+1)如RANGE：类似二级分区，单机上的分区功能。5.核心组件两个AZ对称，支持跨AZ双活；3.DN主备交叉部署，主统一在AZ1。test1是按照range分片，得出。4.主机故障优先在同AZ切换。

2023-06-30 01:29:05 810 1

原创【Windows下gsql连接GaussDB云数据库】

到此，已完成了Windows下gsql连接到GaussDB云数据库中了。其中-h后面的ip为弹性公网IP，根据你自己的实际情况进行替换即可。登录华为云管理，购买华为云GaussDB云数据库服务（此步省略）设置GaussDB云数据库安全组规则，开放8000端口。然后选择服务列表，选择【数据仓库服务】

2023-06-30 00:05:42 693 1

原创【Data Studio 2.1.0连接openGauss2.1.0】

至此，已完成了配置！大家可以尽情的玩耍了~~~~

2023-06-27 20:52:32 632 1

原创【基于华为云ECS及openEuler 20.03 TLS和openGauss2.1.0环境安装X-Tuner】

【代码】【基于openEuler 20.03 和openGauss2.1.0环境中安装X-Tuner】

2023-06-26 18:08:00 331

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.1.0源码】

下载openGauss源码和openGauss-third_party_binarylibs第三方库，进入到/sda目录下，下载openGauss2.1.0 源码和下载openGauss-third_party_binarylibs-2.1.0，由于开源软件编译构建耗时长，我们特地使用openGauss-third_party编译构建出了一份binarylibs并压缩上传到了网上，用户可以直接下载获取。下载比较慢，请稍等几分钟。，进入解压后的目录openeuler-lsb-5.0，将其中的。

2023-06-09 14:19:23 759 2

原创【基于华为云ECS及openEuler 20.03 TLS编译openGauss2.0.0源码】

之前安装过程中openGauss用户互信，openEuler服务器需要用到Python-3.7.x命令，但是默认Python版本为Python-2.7.x，所以需要切换Python版本。】进入/sda/openGauss-server目录下，选择版本进行configure。】当安装openGauss成功后，需对其进行数据初始化，在初始化数据库时，需要设置数据库密码，并且要使用复杂密码，如下命令。，进入解压后的目录openeuler-lsb-5.0，将其中的。修改python版本并安装libaio包。

2023-06-05 21:28:01 333

原创 openGauss2.0.0之Java简单测试Sequence

•创建序列后，在表中使用序列的nextval()函数和generate_series(1,N)函数对表插入数据，请保证nextval的可调用次数大于等于N+1次，否则会因为generate_series()函数会调用N+1次而导致报错。2. 另一种是使用CREATE SEQUENCE自定义一个新的Sequence，然后将nextval(‘sequence_name’)函数读取的序列值，指定为某一字段的默认值，这样该字段就可以作为唯一标识符。

2023-01-14 00:03:09 745 1

原创 Apache Knox安装测试

官网介绍：Apache Knox网关是一个为集群中的Apache Hadoop服务提供单点身份验证和访问的系统。目标是为用户（即访问集群数据和执行作业的用户）和操作员（即控制访问和管理集群的用户）简化Hadoop安全。网关作为服务器（或服务器集群）运行，提供对一个或多个Hadoop集群的集中访问。一般来说，网关的目标如下：- 为Hadoop REST API提供外围安全，使Hadoop安全更易于设置和使用- 在外围提供身份验证和令牌验证- 实现与企业和云身份管理系统的身份验证集成。

2022-09-20 23:17:21 1562

原创【openGauss3.0.0之Java API基本操作】

使用Java API简单操作openGauss

2022-09-05 23:58:46 804

原创【openGauss-3.0.0单节点安装】

创建dbgroup组和用户omm，修改/opt/software/openGauss目录用户及其用户组为omm:dbgroup。在当前目录下创建cluster_config.xml，下面IP、主机名等修改成你自己的环境。root登录虚拟，创建/opt/software/openGauss目录。检查如果没有问题就继续下面步骤操作，如有问题，检查下是什么问题。在执行过程中，会提示是否需要创建omm用户，输入yes。进入当前目录下的script目录下，执行预安装命令。删除数据库testdb01，执行。

2022-09-05 23:38:55 1124

原创 Flink消费Kafka主题消息的演示

本案例实现的功能统计对Kafka中的消息单词出现的次数，即词频统计。其主要演示了Flink流式程序消费kafka中的消息，其目的想让初学者了解Flink如何编写消费Kafka中消息的程序以及通过程序的演示来进一步学习flink。......

2022-06-24 20:37:04 685

原创 WordCount打包部署到Flink Standalone 集群模式的运行过程演示

本次实验主要是向大家演示了在Flink Standalone 模式下运行WordCount程序的过程，其目的想让大家知道flink程序开发完成后，如何将其打包上传到服务器，并能通过查看webui界面查看flink相关的概念等。......

2022-06-23 21:57:23 511

原创 HBase几种安装方式

HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装（如伪分布式、全分布式等）zookeeper已经完成安装（全分布式和HA模式需要）环境对应关系如下：hbase环境对应hadoop环境对应外部zookeeper环境本地模式不需要不需要伪分布式伪分布式单机安装（也可用hbase内置zookeeper）全分布式全分布式集群模式（也可用hbase内置zookeeper）HA模式HA模式集群模式（也可

2022-05-19 22:55:54 2022 1

原创 Flink的流批WordCount入门案例

Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结一、环境说明工具版本IDEA2021.3.2Flink1.10.2Scala2.12JDK1.8_181二、实现步骤新建maven工程添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0

2022-05-12 17:58:00 715 2

原创 Flink概述

Flink概述一、Flink 是什么二、为什么要用 Flink三、流处理的演变发展四、Flink 的主要特点五、Flink vs Spark Streaming一、Flink 是什么Flink 起源于 Stratosphere 项目， Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目， 2014 年 4 月 Stratosphere 的代码被复制并捐赠给了 Apache 软件基金会，参加这个孵

2022-05-12 10:07:32 1182