- 博客(63)
- 收藏
- 关注
RSS订阅原创 @Transactional导致切换动态数据源失败
Spring在进行事务管理时，先创建了事务、再获取了数据源（默认数据源），然后执行代码，然而这个流程，当执行到mapper层时，就已经存在了数据源，即主数据源。Spring Cloud项目中，两个数据库，业务数据库是主数据库，管理员数据库是其他数据库，在删除管理员数据库时，报错。在服务层代码手动切换数据源。
2023-07-04 09:44:17
538
原创 HBase Java 过滤器
大数据相关博客的目录HBase过滤器过滤器简介HBase过滤器可以提供多个纬度对数据进行筛选，类似于SQL中的WHERE条件。过滤器可以根据如下纬度进行过滤：行键列簇列单元格时间戳组合过滤HBase过滤器使用方法// do somethingTableName tableName = TableName.valueOf("表名");Tabl...
2022-07-27 04:40:33
305
原创 HBase Java 增删改查操作
大数据相关博客的目录添加依赖 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>2.4.8</ver...
2022-07-26 10:11:57
503
原创 【Servlet】环境部署与HelloWorld
前置条件——JAVA环境需要将JDK和JRE添加至环境变量，并配置CLASSPATH以我的电脑为例：# javaexport JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_333.jdk/Contents/Homeexport JRE_HOME=$JAVA_HOMEexport CLASSPATH=.:$JA...
2022-07-25 13:43:58
182
原创 【Servlet】简介
Servlet是什么Servlet(Java Servlet)是运行在Web服务器或应用服务器(最典型的是Tomcat)上的程序，是作为来自浏览器或其他客户端的HTTP请求和HTTP服务器上的数据库或应用程序之间的中间层。使用Servlet可以接收来自用户的请求并进行响应，创建动态网页。为什么需要ServletServlet可以替代传统的使用CGI实现的程序，其根本原因在...
2022-07-24 12:51:49
380
原创 关系型数据库与非关系型数据库
数据库的发展数据库是在数据管理发展到一定阶段的产物，数据库具有有组织、可共享、统一管理等诸多优点。早起数据库的发展主要集中在基于行式存储的关系型数据库，然而随着互联网的发展，各种半结构化数据需要进行存储和管理，同时还有缓存存储等需求，于是非关系型数据库应运而生。对比存储方式：RDBMS通常存储在磁盘中，NoSQL通常存储在内存中(也可以持久化)存储结构：RDBMS通常...
2022-07-23 12:53:55
205
原创 HBase Shell 操作
大数据相关博客的目录进入HBase Shellhbase shell命名空间操作命名空间概述命名空间是表的逻辑分组，这种抽象为租户提供相关功能奠定了基础：配额管理：闲置一个命名空间可以使用的资源(Region或Table)命名空间安全管理：为多租户提供另一级别的安全管理RegionServer组：一个命名空间或一张表可以被固定到一张表上、也可以被固定到一组Reg...
2022-07-22 01:44:31
182
原创 基于CentOS镜像和数据挂载卷实现Docker搭建HBase集群
大数据相关博客的目录前置准备拥有三台具有Hadoop和Zookeeper的容器。基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群基于CentOS镜像和数据挂载卷实现Docker搭建Zookeeper集群配置环境变量将HBase放入数据挂载卷中，配置环境变量/etc/profile。# hbaseexport HBASE_HOME=/opt/mo...
2022-07-21 09:40:15
310
原创 HBase简介
大数据相关博客的目录HBase是什么HBase是基于Hadoop的、面向列的、NoSQL数据库，是一个针对半结构化数据的、开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的、面向列的动态模式数据库。其全称是Hadoop Database。HBase的数据模型是稀疏排序映射表(Key/Value)，其中键由行关键字、列关键字和时间戳构成。HBase的目标是存储并处理大...
2022-07-19 07:57:13
1734
原创 基于CentOS镜像和数据挂载卷实现Docker搭建Zookeeper集群
实现原理以三台server的Zookeeper集群为例，在搭建时，需要如下条件：启动三台机器三台机器要相互和自身免密登录每台机器要有Java和Zookeeper环境，并且拥有相同的Zookeeper配置文件基于这个条件，构建一个已经安装好相关软件的CentOS7镜像。基于centos:7镜像搭建Hadoop集群构建预装必要软件的、可登录的CentOS7容器# ...
2022-07-18 07:02:31
232
原创 Zookeeper简介
Zookeeper是什么Zookeeper是一个分布式的、开源的分布式应用程序协调服务。是Hadoop和HBase的重要组件，他是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。官网：https://zookeeper.apache.org/源码：https://github.com/apache/zookeeperZoo...
2022-07-17 11:12:53
339
原创 分布式协调技术
分布式协调技术主要用来解决分布式场景下多个进程之间的同步控制，让他们有序的去访问某种临界资源，防止造成"脏数据"的后果。例如在上图中，有三台机器，每台机器各跑一个程序，各提供一种服务，然后我们将这三台机器通过网络连结起来，构成一个能够为用户提供三种服务的一个系统，然而对于用户来说，他是感知不到自己的服务是由三台机器提供的，感知不到自己使用的系统是一个什么样的架构。我们称之为分...
2022-07-16 05:39:39
148
原创 MapReduce实操5-1数据预处理——巴西利亚历史气温数据分析
大数据相关博客的目录数据集及其介绍数据来源：conventional_weather_stations_inmet_brazil_1961_2019.csv序号葡萄牙文字段 - 英文字段中文描述1Esracao - Weather station sode气象监测站代码2Data - Date (dd/MM/YYYY)日期3Hora...
2022-07-15 21:49:39
1255
1
原创 DataNode新节点服役与旧节点退役
大数据相关博客的目录在阅读此篇之前，应当先阅读基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群服役与退役Hadoop集群中管理员经常需要向集群中添加节点，或从集群中移除节点。例如为了扩大存储容量或其他业务需求，需要上线一个DataNode的新节点，这被称为服役(新节点上线)。相反的，在某些节点出现反常(如故障率过高或者性能过于低下)或其他业务需求，...
2022-07-14 04:47:51
400
原创 MapReduce实操4——美国疫情数据分析【Combiner Grouping的利用】
大数据相关博客的目录数据集及其说明数据来源：和鲸社区 - 美国各州各城市2019新型冠状病毒-COVID19数据选择us-counties.csv数据集。数据集说明datecountystatefipscasesdeaths日期县州编码确诊数死亡数需求根据数据集，统计每个县累计确诊数、死亡数，并先按照州名的自然排序排序，再按...
2022-07-13 10:50:08
889
原创 MapReduce理论与实操3——MapReduce各个过程
大数据相关博客的目录数据集：1949-1951某些天数的最高温度1949-10-01 14:21:02 341949-10-02 14:01:02 361950-01-01 11:21:02 321950-10-01 12:21:02 371949-11-02 14:01:02 371951-12-01 12:21:02 231950-10-02 12:21:02...
2022-07-12 10:38:16
265
原创 MapReduce面向对象实操2——统计手机号的上行流量、下行流量、总流量
大数据相关博客的目录数据集以TAB为分隔符第一列：序号第二列：手机号第三列：网络IP第四列：访问的域名第五列：上行流量第六列：下行流量第七列：HTTP状态码1 13736230513 192.196.100.1 www.atguigu.com 2481 24681 2002 13846544121 192.196.100.2 ...
2022-07-11 16:05:28
807
原创 MapReduce理论与实操1——WordCount
大数据相关博客的目录MapReduce概述MapReduce定义MapReduce是一个分布式并行计算框架，其核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，在一个Hadoop集群上并发运行。MapReduce优缺点优点易于编程：通过实现一些接口即可完成一个分布式程序，并且可以分布到大量的廉价机的机器上运行。易扩展性：当资源不足时，...
2022-07-10 03:16:08
610
原创 Java序列化与Hadoop序列化
大数据相关博客的目录序列化什么是序列化在程序运行的过程中，对象是存储在内存当中的，一旦断电或程序停止，对象就会消失，而且内存中的对象无法通过网络进行传输。序列化可以将对象转换成字节序列，这些字节序列允许持久化和网络传输。反序列化是指将持久化的对象或网络传输的对象转换成为内存中的对象。Java序列化在Java中，通过实现Serializable接口实现序列化。该接口...
2022-07-08 03:18:58
197
原创 环境变量是如何生效的——以Linux操作系统为例
什么是环境变量从我们学习Java开始，就经常接触一个东西——PATH，也叫环境变量。环境变量是操作系统提供给应用程序访问的简单 key / value字符串；windows/linux/mac都有同样的概念。环境变量的作用当我们拥有一个可执行文件，并且想让它可以在任意目录下执行时，我们可以将该文件所在的目录添加进环境变量中。举个例子——以Java为例在没有配置Java...
2022-07-07 14:29:52
2766
原创 浅谈hosts文件
在我们写代码的过程中，尤其是模拟线上环境的时候，我们经常接触到hosts文件。域名是如何定位到资源的域名和IPIP地址(Internet Protocol Address)是指互联网协议地址，又译为网际协议地址。IP地址是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。我们可以通过一个IP地址去寻找到一台主...
2022-07-06 05:58:39
1383
原创 【Java基础】IO流
IO简介IO(in和out)，即输入和输出，指程序和外部设备之间的数据传递，常见的包括文件、管道、网络连接等。在Java中，通过流处理IO。流指的是一连串的数据(字符或字节)。当程序需要读取数据时，会开启一个通向数据源的流；当程序需要写入数据时，会开启一个通向目的地的流。流具有以下特征：先进先出：最先写入输出流的数据最先被输入流读到顺序存取：一个接着一个地往流中写...
2022-07-05 15:56:05
149
原创 docker容器设置时区的方法
数据挂载卷docker run -v /etc/localtime:/etc/localtime，此方法在centos、ubuntu下没问题，但此命令会在mac下报The path is not shared from OS X and is not known to Docker，可以采取下面的几个方法timeZone参数docker run -e TZ=Asia/Sh...
2022-07-04 18:17:38
610
原创 【Java基础】反射机制
反射机制的概念Java反射机制可以在程序运行状态时，可以任意获取一个类的属性和方法，可以任意调用一个对象的属性和方法。这种动态获取信息以及调用对象的方法的功能被称为反射机制。反射机制相关类所在包java.lang.class：代表整个类，即整个字节码。一个类的Class对象是唯一的，即不论通过何种方式、使用哪个对象获得的Class对象都是相同的。java.lang.r...
2022-07-01 05:25:06
47
原创 HDFS实践操作
大数据相关博客的目录HDFS Shell常用命令操作在学习此操作之前，建议先学习Linux 文件管理目录操作-ls：显示目录信息[root@master ~]# hdfs dfs -ls /2022-07-08 10:26:13,603 WARN util.NativeCodeLoader: Unable to load native-hadoop libra...
2022-06-30 01:35:02
280
原创 HDFS理论简介
大数据相关博客的目录HDFS概述HDFS诞生背景随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS是分布式文件管理系统中的一种。HDFS的定义HDFS(Hadoop Distributed File System)，它是一个文件系统...
2022-06-29 04:42:02
231
原创 Linux文件管理
Linux系统目录结构/bin：bin是Binaries(二进制文件)的缩写，存放最长使用的命令。/dev：dev是Device(设备)的缩写，该目录下存放的是Linux的外部设备，在Linux中访问设备的方式和访问文件的方式是相同的。/etc：etc是Etcetera(附加物)的缩写，用来存放所有的系统管理所需要的配置文件和子目录。/home：用户的目录，每个用户都...
2022-06-28 23:35:19
139
原创 Spring Boot Logback 日志配置
Spring Boot原生日志默认情况下，Spring Boot会用Logback来记录日志，并用INFO级别输出到控制台。启动一个SpringBoot项目，会出现如下日志：. ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \( ( )\___ | '_ | '_| |...
2022-06-27 11:00:50
480
原创 基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群
大数据相关博客的目录实现原理以一主二从的Hadoop集群为例，在搭建时，需要如下条件：启动三台机器三台机器要相互和自身免密登录每台机器都要有Java和Hadoop的环境，并且Hadoop的配置文件也要相同基于这个条件，构建一个已经安装好相关软件的CentOS7镜像。在启动镜像时，设置数据挂载卷到指定目录，作为Java、Hadoop以及以后的Storm、Hive等...
2022-06-26 02:07:08
799
原创 Hadoop简介
大数据相关博客的目录Hadoop 是什么Hadoop是一个由Apache基金会所开发的分布式系统基础架构。主要解决，海量数据的存储和海量数据的分析计算问题。广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。Hadoop 发展历史为了实现与Google类似的全文搜索功能，Hadoop创始人Doug Cutting在Lucene框架基础上进行优化升...
2022-06-25 13:15:11
426
原创 大数据目录
HadoopHadoop简介基于CentOS7镜像和数据挂载卷实现Docker搭建Hadoop集群HDFS理论简介HDFS实践操作Java序列化与Hadoop序列化MapReduce理论与实操1——WordCountMapReduce面向对象实操2——统计手机号的上行流量、下行流量、总流量MapReduce理论与实操3——MapReduce各个过程MapReduce实操4——美...
2022-06-23 09:10:58
198
原创 Docker Compose暴力入门
Docker ComposeDocker Compose是Docker官方的开源项目，负责实现对Docker容器集群的快速编排，可以管理多个Docker容器组成一个应用。需要定义一个yaml文件docker-compose.yml，写好多个容器之间的调用关系，只要一个命令即可同时启动/关闭这些容器。Docker-Compose的功能Docker建议每个容器中只运行一个服务...
2022-06-22 04:53:37
63
原创 Spring Boot Druid
Druid简介数据库连接池连接池是将已经创建好的连接保存在池中，当有请求来时，直接使用已经创建好的连接对数据库进行访问。这样省略了创建连接和销毁连接的过程，从而实现性能的提高。作用：资源重用：由于数据库连接得到重用，避免了频繁创建、释放连接引起的大量性能开销。在减少系统消耗的基础上，增进了系统环境的平稳性(减少内存碎片以级数据库临时进程、线程的数量)更快的系统响应速度...
2022-06-21 16:44:41
57
原创 rPPG —— 非接触式心率测量程序
项目简介heartbeat是一个国外的大佬发起的项目，自2016年维护至今，主要用途是利用视频图像完成非接触式心率测量，主要应用到的技术有深度学习和计算机视觉。该项目拥有PC、Web、安卓三个版本。Mac m1运行Heartbeat安装OpenCV最简单的方法是在自己的电脑上安装brew，然后通过brew install opencv安装。如果在安装过程中出现：==...
2022-06-13 20:37:37
2382
3
原创 进程与线程
操作系统上一篇：操作系统概述操作系统下一篇：进程同步与通信进程的引入进程与程序进程是可并发执行的程序在一个数据集合上的执行过程。程序是一个按顺序设计的计算机指令的集合，而进程就是执行这个指令集合的过程。程序是一个存放在计算机存储空间内的静态文件。单道程序的顺序执行程序的顺序执行顺序执行中，每个程序的执行顺序是严格按照次序先后关系进行的。例如：在单道环境中，程...
2022-06-09 04:32:16
334
原创 Mac(m1)奇葩问题解决
Node 报错重现方法：Node12运行vue工程报错日志：/Users/zhinushannan/.nvm/versions/node/v12.22.12/bin/npm run dev> [email protected] dev /Users/zhinushannan/code/wanxiao_reported/vue-manage-system...
2022-06-05 04:58:48
639
原创 Mac(m1)安装配置Java/Python/Node/Git/Hadoop/Scala/Spark/Docker
前置要求进入~/目录，查看是否存在.bash_profile文件，若不存在，则创建，在最后添加export PATH。修改~/.zshrc文件，在最后一行添加source ~/.bash_profile。解释：在配置环境变量中，我们通常编辑/etc/profile，但是这是系统级别的文件，最好的方式是编辑用户级别的配置文件，即~/.bash_profile，但是在Mac中...
2022-06-04 03:20:52
781
原创 Docker网络暴力入门
Docker上一篇：Dockerfile暴力入门Docker下一篇：Docker网络在一台安装Docker的Linux机器上执行ifconfig命令，可以发现出现一个名为docker0的虚拟网桥：Docker网络常用命令查看Docker网络命令的帮助docker network --help：查看Docker网络模式列表docker network ls：查看...
2022-05-29 23:35:48
97
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人