- 博客(214)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 Future和CompletableFuture
它扩展了Future的功能，提供了更加强大和灵活的异步编程支持。CompletableFuture可以手动完成计算、组合多个CompletableFuture、处理异常等。它是Java 8引入的新特性。，用于表示一个异步计算的结果。它提供了一些方法来检查计算是否完成、等待计算完成并获取结果等操作。Future可以通过ExecutorService的submit方法来创建。Future更侧重于代表异步操作的结果，而Async则侧重于异步执行的过程。
2024-03-25 23:30:00
688
原创 走进HBase
什么是Hbase 建立在Hadoop之上HDFS分布式文件系统，面向列的存储系统 列式数据库是针对行数据库而言的，行式数据库是以一行数据作为一个存储单元，而列式数据库是以一列数据为一个存储单元，针对HBase来说，一行数据的某一个列值就是一个存储单元 HBase表中的字段是可以动态增加的，因此HBase数据库是NoSQL数据库 优缺点 优点 HDFS有高容错，高扩展的特点，而Hbase基于HDFS实现数据的存储，因此Hbase拥有与生俱来的超强的扩展性和吞吐量。 HBase采用的是Ke
2023-10-15 09:00:00
496
原创 走进Hive
什么是Hive Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，构建在分布式HDFS系统运行的数据库 应用场景 大数据集的批处理作用，做离线的数据分析 日志分析 多维度数据分析 海量结构化数据离线分析 统计网站一个时间段内的pv、uv 优缺点 优点 可扩展：为超大数据集设计了计算/扩展能力（MR作为计算引擎，HDFS作为存储系统） 延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数 容错：良好的容
2023-10-14 10:00:00
251
原创 走进Spark
什么是Spark 是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎，因为是基于内存的所以可以更快的完成任务 离线计算:离线计算一般存储在HDFS中使用MapReduce或Hive处理，离线计算启动进程，处理完成后销毁进程 实时计算：实时计算一般存储在消息队列中，使用Spark（DStream）或者Storm、Flink等其他实时计算框架，进程7*24小时运行都在 应用场景 大规模数据处理和分析 流处理 ： Spark Streamin
2023-10-13 22:30:00
835
原创 走进GraalVM
是什么 GraalVM是一个高性能的JDK，旨在加速用Java和其他JVM语言编写的应用程序的执行，同时还为JavaScript，Python，Ruby和许多其他流行语言提供运行 特点 GraalVM可以代替JDK、JVM之前的工作。 GraalVM除了支持Java，也支持多种语言。 GraalVM可以对应用AOT（提前编译-静态编译），也就是把程序直接编译成二进制，从而提升启动速度、改进内存使用。 为JVM提供了高性能的JIT-动态编译：也就是程序在运行时才会去编译 提供运行Java
2023-10-13 22:00:00
859
原创 走进Flink
什么是Flink Flink是一个分布式的、高性能的、可伸缩的、容错的流处理引擎，它支持批处理和流处理，并提供了丰富的 API 和库，是实时数据处理的理想选择 由Java 和 Scala 实现的，所以所有组件都会运行在Java 虚拟机【单个JVM也可以】上 不需要依赖于hadoop集群的组件 优缺点 优点 事件驱动型。Flink的事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。 高吞吐、低延迟、高性能。Flink被设计
2023-10-13 20:00:00
779
原创 DbLInk使用
DbLink是一种数据库连接技术，在不同的数据库之间进行数据传输和共享。它提供了一种透明的方法，让一个数据库访问另一个数据库的数据。DbLink的优点是可以在多个数据库间实现数据共享，并且为不同数据库间的数据访问提供了便捷的方式。通过使用DbLink，用户可以在不将数据从一个数据库移动到另一个数据库的情况下，对其他数据库中的数据进行读取和写入操作。这种技术可用于多种应用程序，例如在线交易、数据仓库和数据集成等。
2023-09-04 19:00:00
1160
原创 Docker安装及Docker构建简易版Hadoop生态
添加当前用户到Docker用户组：为了避免在执行Docker命令时使用sudo，可以将当前用户添加到Docker用户组中。启动Docker服务：使用以下命令启动Docker服务，我们通过ps命令可以看到docker服务的进程。使Docker开机自启：使用以下命令将Docker服务添加到系统服务中，使其在系统启动时自动启动。验证Docker是否安装成功：使用以下命令检查Docker是否成功安装。安装Docker：使用以下命令在Linux上安装Docker。更新系统：首先打开终端，更新系统包列表。
2023-08-26 21:33:40
1100
原创 Java通过PowerMockito和Mokito进行单元测试
是Mockito的扩展，它允许您在测试中执行更多的操作，如模拟静态和私有方法，模拟构造函数，甚至在单个测试中模拟静态和普通方法的混合调用。PowerMockito和Mockito都是Java测试框架，用于模拟对象和方法，其中PowerMockito可以模拟一些无法使用Mockito单独模拟的场景，例如静态方法、私有方法等。它允许你模拟对象，在测试中隔离被测代码的依赖项。总之，Mockito是一个基于模拟的测试框架，而PowerMockito是Mockito的扩展，允许您在测试中模拟更多的Java类和库。
2023-08-24 22:45:00
1321
原创 互联网开发工具篇
数据治理工具的主要功能包括：数据分类、数据质量管理、元数据管理、数据安全与隐私保护、数据标准化、数据血缘分析、数据合规性管理等。Kafka Tool：是一款基于 Java 的 GUI 客户端工具，可以用于 Kafka 集群的管理和监控，支持多集群、多主题、多消费者组的管理。Conduktor：是一款基于 Java 的 Kafka 可视化工具，它提供了更直观的界面和更丰富的功能，包括流测量数据、分区大小、负载均衡等等。数据库监控工具，用于监视数据库的性能、安全性和可用性。
2023-08-14 19:45:00
187
原创 编写一个Dag作业Demo
在上述代码中，我们定义了三个任务，分别是数据抽取、数据转换和计算、数据存储。数据抽取任务和数据存储任务是PythonOperator，它们的python_callable函数分别实现了从数据源抽取数据和将计算结果存储到数据仓库中的逻辑。数据转换和计算任务也是PythonOperator，其python_callable函数实现了对从数据源抽取的数据进行转换和计算的逻辑。我们可以使用Airflow编写一个DAG作业，每天自动运行，将数据从数据源抽取并进行转换和计算，最后将结果存储到数据仓库中。
2023-07-27 23:00:00
232
原创 Hive的更新和删除
更新数据： Hive中的更新操作实际上是替换记录的过程。删除数据： 在Hive中，您可以使用DELETE语句删除表中的数据。但是，与传统的关系型数据库不同，Hive实际上并不删除数据，而是将其标记为已删除。但是，这些操作的执行方式与传统的关系型数据库不同，因为Hive使用Hadoop的MapReduce框架来处理数据。请注意：更新和删除操作都需要将新数据写到数据表的结尾，这样会导致数据表的大小增加，因此在大数据环境下执行更新和删除操作需要谨慎。这将删除所有标记为已删除的数据，并且释放已删除数据占用的空间。
2023-07-17 23:30:00
2185
原创 Spring集成Flink快速开发
这是一个简单的示例，说明了如何使用Spring和Flink集成进行快速开发。实时数据处理：Flink可以在不停机的情况下对实时数据进行处理，例如流媒体、交易数据、机器日志等。流式处理：Flink可以处理针对数据流的有状态处理、窗口计算、复杂的数据处理逻辑等。事件驱动型应用：Flink支持基于事件的应用编程模型，并支持事件时间和处理时间。Flink是一个流式数据处理框架，它可以对无限量的数据进行快速、有状态的处理。批处理：Flink也支持批处理，可以用于离线数据分析等场景。
2023-07-15 00:45:00
992
原创 Spring Boot使用DataFreezer操作Aerospike
DataFreezer是一个用于将Aerospike数据转储到磁盘上的工具，它可以备份和导出Aerospike数据，也可以将冷数据从Aerospike中释放并转储到磁盘上，以减轻Aerospike的负载。需要注意的是，如果使用DataFreezer来备份和导出数据，建议在将数据转储到磁盘上之前先停止对Aerospike的写操作。然后，在Spring Boot应用程序中，我们需要创建一个Aerospike客户端实例，并使用该实例创建一个DataLoader对象，用于数据备份和导出。
2023-07-14 23:30:00
580
原创 oracle unpivot用法
Oracle UNPIVOT函数是将列旋转为行的一种方式。UNPIVOT函数可以将多个列转换为对应的行，以便进行聚合或插入操作。UNPIVOT函数可以将多个列转换为对应的行，以便进行聚合或插入操作。在这个查询中，首先从表中选择所有列，然后使用UNPIVOT函数将Name，Age和Gender列转换为对应的行。最终结果将为每个ID和属性组合返回一个行。其中属性是列标题（Name，Age，Gender），值是对应的单元格值。
2023-07-13 19:15:00
1621
原创 Aerospike 介绍
数据持久化：Redis具有多种数据持久化方式，如RDB和AOF，可以在系统故障时恢复数据。而Aerospike采用的是分布式架构，具有数据备份和恢复的功能，可以在节点故障时保证数据不会丢失。性能：Aerospike在读写性能方面相对较好，可以快速处理大量数据，而Redis在单线程模式下的读写性能也很高。但是Aerospike的部署和维护比较复杂，需要较高的技术水平。数据模型：Redis使用键值对存储数据，而Aerospike可以使用键值对、文档或者图形数据模型存储数据。
2023-07-12 22:00:00
589
原创 SpringBoot接入Aerospike【As内存数据库】
其中，AerospikeTemplate为Spring提供的一个封装好的操作模板。可以通过它来获取Aerospike的客户端，并进行读写操作。在业务逻辑中调用Aerospike操作类的方法，即可实现对Aerospike的读写操作。其中，host为Aerospike服务的IP地址或主机名，port为Aerospike服务的端口号。编写一个Aerospike的操作类，可以实现对Aerospike的读写操作。以上就是接入Aerospike的基本流程，可以根据实际需求进行相应的配置和操作。
2023-07-12 21:30:00
323
原创 Spark和Hive概念
Hive是一个基于Hadoop平台的数据仓库工具，它可以将结构化数据映射到Hadoop上，并提供类SQL的查询语言，使用户能够轻松地查询和分析大规模数据。此外，Hive还支持各种数据存储格式，如HDFS、HBase等。在Spark中执行Hive语句，可以将数据保存在多种格式中，如CSV、JSON、Parquet等，而在Hive中运行SQL只能将数据保存在Hive表中。在Spark中执行Hive语句，可以使用Spark的分布式计算能力进行数据处理，而在Hive中运行SQL，数据处理只能在单个节点上完成。
2023-07-12 00:00:00
2271
原创 spring boot 引入hive
可以从Spring容器中自动注入。在这个例子中，使用Hive的。指定Hive的元数据服务地址。指定HDFS的地址，
2023-07-11 23:30:00
3365
原创 shell脚本入门使用以及基础语法介绍
Shell脚本是一种用于自动化任务和批处理的脚本语言。它在Unix、Linux和类Unix系统中非常常见，并且也可以在Windows系统中使用。这些是Shell脚本的一些基础语法和用法。使用这些基础知识，你可以开始编写简单的自动化任务和批处理脚本。这表示脚本将使用bash作为解释器。你也可以使用其他Shell解释器，如#!
2023-07-11 23:00:00
267
原创 spring boot 集成spark操作hive
上面的配置中，hive.metastore.uris是Hive的元数据存储地址。确认系统中已经安装了Hadoop和Spark，并且配置好了环境变量。其中，my_table是Hive中已经创建的表。
2023-07-11 22:30:00
1153
原创 SQLite简单概述以及使用
SQLite是一种轻量级的关系型数据库管理系统，它不需要独立的服务器进程，也不需要配置多个参数，就可以直接访问一个文件中的数据库，它以C语言库的形式提供了一个嵌入式的数据库引擎，支持SQL语言标准的大部分功能，但相比于MySQL、Oracle等数据库，SQLite的体积小、速度快、易于安装和使用，适用于小型应用或嵌入式设备。总之，SQLite的优点是轻量级、速度快、易于使用和移植性好，适用于小型应用或嵌入式设备，但在高并发、大数据量、复杂查询等场景下表现不如MySQL、Oracle等数据库。
2023-06-06 18:17:47
946
原创 性能优化-缓存预热
Warmup ：在基准测试代码正式度量之前，先对其进行预热，使得代码的执行是经历过了类的早期优化、JVM运行期编译、JIT优化之后的最终状态，从而能够获得代码真实的性能数据。JMH的测试套件（Fixture） ：@Setup 会在每一个基准测试方法执行前被调用，通常用于资源的初始化，@TearDown 则会在基准测试方法被执行之后被调用，通常可用于资源的回收清理工作。在每一轮的度量中，所有的度量数据会被纳入统计之中（预热数据不会纳入统计之中）
2023-03-21 20:00:00
583
1
原创 List转成Set去重案例代码
package com.tuling.kafka.kafkaDemo.Command;import java.util.ArrayList;import java.util.HashSet;import java.util.List;import java.util.Set;/** * @USER: hx * @DATE: 2022/4/27 **/public class SetTest { private String name; private Stri.
2022-04-27 23:00:00
621
原创 Kafka关键参数介绍
acks：（一般来讲通过acks设置all，加上业务捕捉异常记录表，就能知道kafka生产者发送的情况）ACKS为 0：（消息发出去了，不管有没有落到磁盘上，就认为成功）我的kafkaProducer在客户端，只要把消息发送出去，不管那条数据有没有在哪怕Partition Leader上落到磁盘，就不管他了，直接认为这个消息发送成功。如果你采用这种设置的话，那么你必须注意的一点是，可能你发送出去的消息还在半路。结果呢，Partition Leader所在Broker就直接挂了，然后结果你的客户端
2022-04-14 22:30:00
1904
原创 ShadingShereJDBC使用遇到的坑
项目场景：spring boot引入shadingShere-jdbc正常启动，程序运行时SQL会报错问题描述：：shadingshere 4.0.0-RC1 版本，使用此版本之前，程序一直运行正常，当我研究到shardingsphere的事务的时候，引入 sharding-transaction-spring 架包（3.1.0）版本，结果shadingshere-jdbc执行SQL时就报错了@Override public void run() { bytes = mmInStrea
2021-11-19 10:04:49
429
原创 ShardingSphere-Proxy
ShardingSphere-Proxy：服务端分库分表定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构语言的支持。 目前提供 MySQL 和 PostgreSQL（兼容 openGauss 等基于 PostgreSQL 的数据库）版本，它可以使用任何兼容 MySQL/PostgreSQL 协议的访问客户端（如：MySQL Command Client, MySQL Workbench, Navicat 等）操作数据，对 DBA 更加友好。...
2021-10-29 00:49:54
422
原创 ShardingSphere-JDBC
优点： 客户端分库分表-和业务代码无缝粘合引入jar配置即可定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 它使用客户端直连数据库，以 jar 包形式提供服务，无需额外部署和依赖，可理解为增强版的 JDBC 驱动，完全兼容 JDBC 和各种 ORM 框架。适用于任何基于 JDBC 的 ORM 框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template 或直...
2021-10-29 00:48:09
269
原创 Spring声明式事务不生效场景
场景一Service方法抛出的异常不是RuntimeException或者Error类型，并且@Transactional注解上没有指定回滚异常类型。对应的代码例子为：@Servicepublic class UserServiceImpl implements UserService { private final UserMapper userMapper; public UserServiceImpl(UserMapper userMapper) {
2021-07-19 20:17:45
748
1
原创 logstash-es数据搬迁到es上
input { stdin{ } elasticsearch { type => "type类型和output的type类型保持一致" hosts => ["http://es输入数据ip:es输入数据端口"] user => "用户名" index => "es上的索引" password => "密码" #设置为true，将会提取ES文档的元数据信息，例如i.
2021-07-05 20:20:29
2067
2
原创 ES集群配置
ES集群步骤：1，需要几个ES节点，安装几个ES服务，同一台机器设置对外暴露的Http端口和ES交互的TCP端口需要不一致2，每个ES服务如下增加ES配置，有中文说明，可自行更改# ======================== Elasticsearch Configuration =========================## NOTE: Elasticsearch comes with reasonable defaults for most settings.#
2021-07-05 20:10:22
3006
原创 ELK启动命令
es启动命令，进入到elasticsearch安装根目录查找ES进程 ps -ef | grep elastic杀掉ES进程 kill -9 （进程号-pid）启动：./bin/elasticsearch -d kibana启动，进入到kibana安装目录 杀掉kibana进程: netstat -tunlp|grep kibana默认端口 找到pid kill -9 pid 启动前台命令：./kibana ...
2021-07-05 19:59:24
430
原创 ES集群同步原理
（1）、ES基本概念名词 Cluster 代表一个集群，集群中有多个节点，其中有一个为主节点，这个主节点是可以通过选举产生的，主从节点是对于集群内部来说的。es的一个概念就是去中心化，字面上理解就是无中心节点，这是对于集群外部来说的，因为从外部来看es集群，在逻辑上是个整体，你与任何一个节点的通信和与整个es集群通信是等价的。 Shards 代表索引分片，es可以把一个完整的索引分成多个分片，这样的好处是可以把一个大的索引拆分成多个，分布到不同的节点上。构成分布式搜索。分..
2021-07-05 19:54:44
3926
原创 关于Elasticsearch的分片和副本
1，分片（Shard）Elasticsearch是一个分布式的搜索引擎，索引的数据也是分成若干部分，分布在不同的服务器节点中分布在不同服务器节点中的索引数据，就是分片（Shard）。Elasticsearch会自动管理分片，如果发现分片分布不均衡，就会自动迁移一个索引（index）由多个shard（分片）组成，而分片是分布在不同的服务器上的2，副本为了对Elasticsearch的分片进行容错，假设某个节点不可用，会导致整个索引库都将不可用。所以，需要对分片进行副本容错。每一个分片都会有对应的.
2021-07-05 19:44:58
1241
原创 elasticsearch.yml配置说明
1.1、cluster.name: elasticsearch配置es的集群名称，默认是elasticsearch，es会自动发现在同一网段下的es，如果在同一网段下有多个集群，就可以用这个属性来区分不同的集群。1.2、node.name:"Franz Kafka"节点名，默认随机指定一个name列表中名字，该列表在es的jar包中config文件夹里name.txt文件中，其中有很多作者添加的有趣名字。1.3、node.master: true指定该节点是否有资格被选举成为node，默认是tr.
2021-07-05 19:43:46
937
原创 MY.CNF参数说明
[mysqld]server-id=513306 # Mysql唯一标识，一个集群中唯一；port=3306 # 服务端口，默认3306user = mysql # 启动用户，建议用户mysqlbind_address= 0.0.0.0 # 绑定的IP地址，建议使用具体地址basedir=/mysql/...
2021-07-05 15:09:16
201
springboot利用拦截器打印各个接口的响应时间.rar
2019-07-25
Navicat Premium.rar
2019-07-25
Apache httpd-2.2.25-win32-x86-no_ssl.msi
2019-03-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人