禧年

原创 Hive 四种排序 （亲手实战 + 理解，烦请您过目）

文章目录:1、全局排序 （order by）① 使用order by排序的子句在select 结尾处。降序：desc升序：asc 不需要指定，默认是升序②案例实操：结果：2、区内排序 （sort by ）分区字段 (distribute by)设置reduces 个数:set mapreduce.job.reduces = 3;distribute by 分区字段 store by 排序字段 联合使用②案例实操：不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且

原创 Presto 概念 及 架构

文章目录:一、概念：1.1 Presto概念1.2 Presto应用场景1.3 Presto的架构组成部分：1.4 Presto 优点：Presto 缺点：二、Presto优化2.1数据存储2.2 查询SQL优化2.3 无缝替换Hive表2.4 建表格式的选择搭建部分不写了就。官网查看。 【转载注明出处，还望尊重原创 】 【作者水平有限，如有错误欢迎指正 .】一、概念：Presto 是一个开源的分布式SQL查询引擎，数据量支持GB到PB字节，主要用来处理秒级查询的场景。1.1 Presto概念P

原创 数据库 面试题 实战解答

目录：1、触发器的作用？2、什么是存储过程？用什么来调用？3、 存储过程的优缺点4、索引的作用？和它的优点缺点是什么？5、什么是内存泄漏？6、维护数据库的完整性和一致性，你喜欢用触发器还是自写业务逻辑？为什么？7、什么是事务？什么是锁？8、什么叫视图？游标是什么？9、 where和Having区别：10、on和in的区别:11、union和union ALL 的区别:12、数据库的备份类型：13、...

原创 面试常问：Hive分区与分桶的区别

分区表与分桶表的区别：创建表时可以同时为表创建一个或者多个分区，我们在加载数据时为期指定具体的 分区，查询数据时可以指定具体的分区从而提高效率。分区表是把分区当成目录的，分区实际上是将表文件分成多个有标记的小文件以方便查询。桶表：1.分区表是将大的表文件划分成多个小文件以利于查询，但是如果数据分布不均衡，也会影响查询效率。2.桶表可以对数据进行哈希取模，目的是让数据能够均匀的分布在...

原创 Cloudera Manager大数据平台

一、CDH概述前言：Cloudera 提供了 Hadoop 的商业发行版 CDH ，能够十分方便地对 Hadoop 集群进行安装、部署里面不仅包含了 loudera 的商业版 Hadoop ，同时 DH 中也包含了各类常用的开源数据处理与存储框架，如 Spark Hive HBas 等。CDH和Hadoop对比Hadoop 大致 分为 Apach Hadoop 和第三方发行版 Ha...

原创 MySQL 数据库索引 与 复制表结构方式

一、数据库索引作用：提高查询速度确保数据的唯一性可以加速表和表之间的连接，实现表与表之间的参照完整性使用分组和排序子句进行数据检索时，可以显著减少分组和排序的时间全文检索字段进行搜索优化二、索引分类主键索引（PRIMARY KEY）唯一索引（UNIQUE）常规索引（INDEX）全文索引（FULLTEXT）主键：某一个属性组能唯一标识一条记录如：学生表（学号，姓名，班级，...

原创 Oracle窗口函数和分析函数

一、分析函数带有一个开窗函数over()，包含三个分析子句:分组(partition by), 排序(order by), 窗口(rows) ，他们的使用形式如下：分析函数名(参数) over (partition by 子句 order by 子句 rows/range… 子句)(注：若窗口函数内和sql语句末尾共存在两个order bya) order by 字段两者一致：即sql语句中的...

原创 SQL语言概述

SQL 全称是结构化查询语言，英文译作 Structured Query Language，它是一种在关系型数据库中定义和操纵数据的标准语言 一、SQL语言的特点： 集合性SQL 可以在高层的数据结构上进行工作，工作时不是单条地处理记录，而对数据进行成组的处理。所有 SQL 语句都接受集合作为输入，并且返回集合作为输出，SQL 的集合特性允许一条 SQL 语句的结果作为另一条 SQL...

原创 Oracle 数据库的基本概念及搭建

概述：Oracle是著名的Oracle(甲骨文)公司的数据库产品。Oracle是世界上第一个商品化的关系型数据库管理系统。Oracle采用标准SQL（结构化查询语言），支持多种数据类型，提供面向对象的数据支持，具有第四代语言开发工具，支持UNIX、WINDOWS、OS/2等多种平台。Oracle公司的产品丰富，包括Oracle服务器、Oracle开发工具和Oracle应用软件。其中最著名的就是O...

原创 工作中常用的Lambda表达式

【代码】工作中常用的Lambda表达式。

原创 MybatisPlus 中 的 SQL 使用函数

数据库自己去建一张表对应的。

原创 电脑上卸载流氓软件—UniAccessAgent

https://blog.csdn.net/xioayu96/article/details/108335469

原创 ES 面试题总结 ----＞第六章节

系统中的数据，随着业务的发展，时间的推移，将会非常多，而业务中往往采用模糊查询进行数据的搜索，而模糊查询会导致查询引擎放弃索引，导致系统查询数据时都是全表扫描,在百万级别的数据库中，查询效率是非常低下的，而我们使用ES做一个全文索引，将经常查询的系统功能的某些字段，比如说电商系统的商品表中商品名，描述、价格还有id这些字段我们放入ES索引库里，可以提高查询速度。如果你要在更快的CPUs和更多的核心之间选择，选择更多的核心更好。master节点的职责主要包括集群、节点和索引的管理，不负责文档级别的管理;...

原创 针对 JavaAPI ElasticSearch 操作 ----＞第五章节

代码】针对JavaAPIElasticSearch操作----＞第五章节。

原创 ElasticSearch【乐观并发控制】----＞第四章节

Elasticsearch乐观并发控制文章案例学习：http://t.zoukankan.com/huangying2124-p-11986897.html

原创 ElasticSearch 【增删改查 之动态、静态映射】操作---＞ 第三章节

1.1、创建索引:格式: PUT /索引名称举例: PUT /db_index1.2、查询索引:格式: GET /索引名称举例: GET /db_index方式二：可以在浏览器进行查询方式三：也可以在APIPOst进行测试。1.3、删除索引:格式: Delete /索引名称举例: Delete /db_index1.4 添加文档:格式:PUT /索引名称/类型/id举例:遇到的问题:1.4.1 在执行下面的时候,报错类型不支持。解决办法:_doc 改为这个类型可以插入成功！要添

原创 Linux 环境搭建 kibana ----＞第二章节，踩坑集

1、细心点找上面的配置地方2、替换自己的。3、访问的时候没有后缀的，注意下。4、后台运行的方法:1）启动参考报错：https://blog.csdn.net/weixin_45495060/article/details/1251833412）授权思路：http://t.zoukankan.com/xiaomaomao-p-15573991.htmlhttps://blog.csdn.net/chenxb1986/article/details/84262331...

原创 ElasticSearch Linux 环境搭建----＞第二章节，踩坑集

http://t.zoukankan.com/it-deepinmind-p-14275872.html我这里安装的ES 是8.X版本的，JDK 替换成了17的。总结：之前7.X 版本需要改名，可能需要，但是我安装的是8.X版本 不需要改名了。因为安全问题，ES 不允许root 用户直接运行，所以要创建新用户，在root用户中创建新用户。esuser soft nofile 65536esuser hard nofile 65536/opt/software/es/elasticsearch-8.3.2

原创 ElasticSearch 开篇----＞第一章节

Elasticsearch是一个分布式、RESTful风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例.作为Elastic Stack的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。The Elastic Stack，包括 Elasticsearch、Kibana、Beats和 Logstash(也称为ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch,简称为ES，ES是一个开源的高扩展的分布式全文搜索

转载 Yarn的基础介绍以及job的提交流程

YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。ResourceManager：ResoueceMananer是基于应用程序对集群资源的需求进行调度的yarn集群的主控制节点，负责协调和管理整个集群，相应用户提交的不同的类型的应用程序，解析、调度、监控等工作。ResourceManager会为每一个application启动一个MRappmaster，并且MRappmaster分散在各个n

原创 事务注解学习: @Transactional(rollbackFor=Exception.class)

在项目中，@Transactional(rollbackFor=Exception.class)，如果类加了这个注解，那么这个类里面的方法抛出异常，就会回滚，数据库里面的数据也会回滚。也就是带 SQL 事务代码得 时候才使用 。

原创 SpringBoot内置工具类应有尽有，真香香香

文章目录:断言对象、数组、集合StringUtils ：CollectionUtilsFileCopyUtils (文件、资源、IO 流)ResourceUtils (从资源路径获取文件) ：StreamUtils：ReflectionUtils(反射、AOP)：AopUtils：断言1.断言是一个逻辑判断，用于检查不应该发生的情况2. Assert 关键字在 JDK1.4 中引入，可通过 JVM 参数-enableassertions开启3. SpringBoot 中提供了 Assert 断言工

原创 Redis 连接超时：io.netty.channel.ConnectTimeoutException: connection timed out:

这个大坑问题，找了一天一夜的问题，睡觉都在想，为啥会本地连接超时呢，首先我连接的时Redis 哨兵集群:关键信息：最后有篇文件说让关闭了6379 端口：因为我的是基于服务器，所以我就试着关闭了下，真的就可以连接上了。奇葩的问题1. 在yml 中配置如下：2. pom文件配置如下： <dependency> <groupId>org.springframework.boot</groupId> <artifactId

原创 Redis 主从搭建_____ (及遇到的坑____)

文章目录:前言：开始搭建Redis 主从集群:1.上传下载好的 linux 版本的Redis 的服务器：2.集群规划：3. 我们创建三个文件夹，名字分别叫7001、7002、7003：4.拷贝配置文件到每个实例目录5.修改每个实例的端口、工作目录6.修改每个实例的声明IP逐一执行7.启动8.启动完成之后报错信息:自言自语中:敲黑板：开始测试查看状态主从集群永久生效和临时生效两种：9.总结：前言：今天是 五一劳动节 的第二天，心血来潮，买来一台服务器，搭建redis集，解决下本地java 中的另外一个问题

原创 fastJson序列化和反序化 （记录一下）

@Testvoid testuser(){ User user = new User(); user.setNickName("nick"); user.setPhone("13653602974"); user.setId(1L); String resultJson = JSON.toJSONString(user); // 转json stringRedisTemplate.opsForValue().set("Person:",resultJson); String person

原创 关于MySQL自定义排序（Java & MySQL 版本）

前言：首先需要这个自定义排序的字段需求是，在本地项目的点赞功能 时 比如你有两个id ，需要对先点赞的用户id 这个字段先显示后面的，现在点赞的用户显示在前面时，用到。1、 数据库字段sql 实现当字段的值比较多时，首先想到的肯定时in 这个字段。然后查询：id 1 在前，5在后，我需要 5 在前1 在后这个样子才合了我的口味。2、Mybatis 中怎们实现这个自定义排序功能1、在Mapper 文件中我试了下暂时还没想出来，后面研究。2、根据老师的写法如下：重点：3、但是这样写是有问题：在

原创 Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor

报错信息:Error getting generated key or setting result to parameter object. Cause: org.apache.ibatis.executor.ExecutorException: Could not determine which parameter to assign generated keys to. Note that when there are multiple parameters, ‘keyProperty’ must

转载 IDEA 本地如何 一次性 启动多个服务项目

在IDEA中一个项目启动多次有两种方式，现在和大家分享一下。第一种、第一步、选择“Edit Configurations”第二步、勾选“Allow parallel run”以上操作完成后就OK啦。不过重复运行项目前，记得要先更改项目的端口号哈，不然端口号被占用启动不起来哦。第二种、使用“-Dserver.port=8080”使用 -Dserver.port设置要使用的端口号就可以了...

原创 Failed to deserialize java.time.LocalDateTime:

在本地post 请求数据时解析时间时报错：思路：1.后端属性是：private LocalDateTime date;2.前端提交的参数：不是json或者格式 2020-11-19解决：1.加上注解@JsonFormat(shape = JsonFormat.Shape.STRING, pattern=“yyyy-MM-dd HH:mm:ss”)private LocalDateTime date;2.提交的时间格式：yyyy-MM-dd HH:mm:ss /**

原创 使用 APIPost 本地测试报错401状态解决办法：org.springframework.http.converter.HttpMessageNotReadableException: JSON

前言： 实现需求就是先从redis 查询缓冲，缓存与数据库双写一致性需要，如果管理段更新了数据，那么数据库和redis 中的数据都是一致的才对。还原报错控制台异常日志：2022-04-04 22:38:36.214 ERROR 14084 — [nio-8081-exec-1] com.hmdp.config.WebExceptionAdvice : org.springframework.http.converter.HttpMessageNotReadableException: JSO

原创 Yarn 的基本思想

YARN的基本思想是将资源管理和调度及监控功能从MapReduce分离出来，用独立的后台进程实现。这个想法需要有一个全局的资源管理器（ResourceManager），每个 应用还要有一个应用主管（ApplicationMaster）。应用可以是一个单独MapReduce作业，或者是一个作业的有向无环图（DAG）。资源管理器和节点管理器（NodeManager）构成了分布式数据计算框架。资源管理器是系统中所有应用资源分配的最终仲裁者。节点管理器是框架中每个工作节点的代理，监控节点CPU、内存、磁盘、网.

原创 ArrayList 和 LinkedList 的区别，ArrayList 为什么查询快（为 什么用数组就快）

原创 JavaSE 基础知识 面试题 大总结

文章目录:1.什么是B/S架构？什么是C/S架构2.你所知道网络协议有那些？3.Java都有那些开发平台？4.什么是JVM？java虚拟机包括什么？5.Java是否需要开发人员回收内存垃圾吗？6.什么是JDK？什么是JRE?7.什么是数据结构？8.Java的数据结构有那些？9.什么是OOP?10.什么是面向对象？11.类与对象的关系?12.Java中有几种数据类型13.什么是隐式转换，什么是显式转换14.Char类型能不能转成int类型？能不能转化成string类型，能不能转成double类型15.什么是拆

原创 实站 ---- 《面试官远程发我的SQL面试题，今天正好做完，把它整理出来》

文章目录:不废话，直接进入主题：1、建表语句：2、实现：建表语句:实现:总表查实现： 下面题目是设计到行列转换的问题： 建表语句：实现：注意点：面试原题：输出结果： 总结：以上纯属个人学习与记录，欢迎学习与交流，本次记录结束。2022-03-21 星期一 不废话，直接进入主题：一、关于表内容如下：日期 结果2005-05-09 胜2005-05-09 胜2005-05-09 负2005-05-09 负2005-05-10 胜2005-05-10 负2005-05-10 负如

原创 MySQL 存储过程：UnKnown database ’test‘

前言：看到一篇公众号说：一千万数据，怎么快速查询？为了测试性能，在使用存储过程造数据的同时，出现了此错误！一、建表语句CREATE TABLE `user_operation_log` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_id` varchar(64) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci NULL DEFAULT NULL, `ip` varchar(20) CHARAC

原创 Zookeeper ＜---＞ 学习（全）

什么是 Zookeeper ：ZooKeeper 是分布式应用程序的高性能协调服务。它在一个简单的界面中公开了常用服务，例如命名、配置管理、同步和组服务，因此您不必从头开始编写它们。您可以现成地使用它来实现共识、组管理、领导者选举和存在协议。您可以根据自己的特定需求在此基础上进行构建。Zookeeper 的选举机制：Zookeeper 如何解决数据一致性问题？什么是 ZAB 算法.Zab 借鉴了Paxos算法，是特别为 Zookeeper设计的支持崩溃恢复得原子广播协议。基于该协议，Zook

原创 java反射机制的优点和缺点

一、反射机制的优点首先，反射机制极大的提高了程序的灵活性和扩展性，降低模块的耦合性，提高自身的适应能力。其次，通过反射机制可以让程序创建和控制任何类的对象，无需提前硬编码目标类。再次，使用反射机制能够在运行时构造一个类的对象、判断一个类所具有的成员变量和方法、调用一个对象的方法。最后，反射机制是构建框架技术的基础所在，使用反射可以避免将代码写死在框架中。java的反射机制就是增加程序的灵活性，避免将程序写死到代码里。例如： 实例化一个 person()对象， 不使用反射， new person(

原创 突发奇想；HAVING 可以作为单读的条件进行查询嘛？好奇心

突发奇想;关于在Mysql中Having 可以单独组为条件使用吗？很好奇吧。其实我i也是!!!having是对分组结果的筛选开始实验:1、自己创建一张测试表,表的测试数据如下。。。2、单独使用Having 进行查询走起。结果是可以查询出来的。SELECT * FROM first_one HAVING id >23、具体是为啥可以这样，还需要去研究，先写到这里。...

原创 Parquet 与 ORC 区别

两者主要共性都是apache顶级项目，都是高性能的列式存储格式Parquet和Orc都是以二进制方式存储的，所以不可以直接读取支持的编码格式（游程，字典，增量，bit），压缩格式（zlib，snappy，LZO等等）基本一致两者主要差异...

原创 hive 数据倾斜

数据倾斜结合篇：https://www.cnblogs.com/qingyunzong/p/8847597.html数据倾斜:现象:当有多个reduce时，其中有大量的数据全部集中到某一个或者几个reduce中时本质原因: 1)、key分布不均匀 2)、业务数据本身的特性 3)、建表时考虑不周 4)、某些SQL语句本身就有数据倾斜表现:任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其处理的数据量和其他reduce差异