- 博客(129)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 【cdh】hive执行SQL提示缺少3.0.0-cdh6.3.2-mr-framework.tar.gz文件
在hdfs上查看的时候连文件夹都没有，所以这个异常会抛出，但是我是基于CDH搭建的，可以直接基于下面操作。问题：执行SQL报错提示缺少文件。重新执行SQL发现可以正常执行了。执行完成之后查看HDFS文件。
2024-01-28 21:12:03
555
原创 面试题-【消息队列】
分析：可能是消费端出现问题不消费了或者是消费变慢了，以及可能消息队列中数据快把磁盘堆满了都没人消费，并且在RabbiteMQ中有TTL设置，过期的数据可能就丢失了，常见的例子比如消费端需要把数据写入到数据库，结果mysql挂了，消费就hang住了。其实activeMQ、RabbiteMQ更类似单机应用，一个queue的数据不会被拆分成多分分散到多个机器上，RocketMQ、kafka是分布式的，一个topic数据可以被拆分成多个partition，进而分散到多个机器上，摆脱单机容量限制。
2024-01-24 22:58:28
1056
原创 spark Structured报错解决
报错，不想看原因的直接去解决方案试试按道理不应该出现C:/。。。。这个是我本地的一个地址，但是却拼接到了hdfs文件系统下，应该是什么配置的有问题顺着报错信息只需要checkpointRoot修改就行这个地址来源于checkpointLocation也就是说直接改变“checkpointLocation”的值就行。
2023-09-22 22:21:38
597
原创 SpringBoot之Actuator基本使用
自定义端点主要是指扩展性，用户可以根据自己的实际应用，定义一些比较关心的指标，在运行期进行监控。原生端点是在应用程序里提供众多 Web 接口，通过它们了解应用程序运行时的内部状况。
2023-08-03 11:39:13
719
原创 Linux常用小技巧
Linux常用小技巧命令编辑及光标移动删除从开头到光标处的命令文本删除从光标到结尾处的命令文本历史命令快速执行部分历史命令查看实时查看日志磁盘或内存情况查看当前目录各个子目录占用空间大小当前内存使用情况根据名称查找进程id根据名称杀死进程查看进程运行时间多条命令执行查看压缩日志文件计算程序运行时间查看内存占用前10的进程快速查找你需要的命令搜索包含某个字符串的文件屏幕冻结命令编辑及光标移动这里有很多快捷键可以帮我们修正自己的命令。接下来使用光标二字代替光标的位置。删除从开头到光标处的命令文本ctrl
2021-12-18 11:18:27
712
原创 MySQL日志【bin log,redo log,undo log】
MySQL日志概括bin logredo logundo log3种日志在事物执行过程中的工作mysql中比较重要的日志包含bin log(归档日志)、redo log(重做日志)、undo log(回滚日志)概括MySQL中有六种日志文件，分别是：重做日志（redo log）、回滚日志（undo log）、二进制日志（bin log）、错误日志（error log）、慢查询日志（slow query log）、一般查询日志（general log），中继日志（relay log）。其中bin lo
2021-12-06 00:18:28
192
原创 MySQL 四种隔离级别及实验
MySQL 四种隔离级别事务的 ACIDMysql的四种隔离级别Read Uncommitted（读取未提交内容）Read Committed（读取提交内容）Repeatable Read（可重读）Serializable（可串行化）测试Mysql的隔离级别read uncommitted(未提交读)read committed(已提交读)repeatable read(可重复读)可串行化(Serializable)事务的 ACID事务具有四个特征：原子性（ Atomicity ）、一致性（ Consi
2021-11-30 01:05:21
399
原创 slf4j实现原理
slf4j原理为什么要使用slf4jslf4j应用举例slf4j实现原理为什么要使用slf4j我们自己的系统中使用了logback这个日志系统我们的系统使用了A.jar，A.jar中使用的日志系统为log4j我们的系统又使用了B.jar，B.jar中使用的日志系统为slf4j-simple 这样，我们的系统就不得不同时支持并维护logback、log4j、slf4j-simple三种日志框架，非常不便。解决这个问题的方式就是引入一个适配层，由适配层决定使用哪一种日志系统，而调用端只需要做的事
2021-11-28 21:04:30
944
原创 Arthas安装及基本使用
Arthas安装及基本使用Arthas安装常用命令返回信息说明dashboardthread可用参数jvmsc可用参数sm可用参数jadclassloadermonitor可用参数返回结果watch可用参数trace可用参数stack可用参数ttresetquitshutdownArthas 是基于 Greys 进行二次开发的全新在线诊断工具，利用Java6的Instrumentation特性，动态增强你所指定的类，获取你想要到的信息，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，可以方便定位
2021-05-21 00:56:03
1659
2
原创 Redis 处理Spring Boot项目Session 共享问题
Redis 处理Spring Boot项目Session 共享问题背景一、问题再现二、原因分析背景Web 开发中，通过 Session 在服务端记录用户状态是很常见的操作。但是 Session 的机制对于单机应用是没问题的，但是对于集群环境，由于在将请求分配到另一台服务器时，新的服务器无法通过浏览器传入的 Cookie 值取到 Session，所以导致所有基于 Session 的操作都会失败，如：登录状态。 本文通过搭建一个非常简易的集群环境，来演示 Session 机制在集群环境中存在的问题，并
2021-04-30 23:44:18
557
5
原创 centos下docker安装以及springboot远程发布docker
centos下docker安装以及springboot远程发布docker1.CentOS7.0下JDK1.8的安装2.Docker的安装3.Docker使用Maven插件构建并上传镜像1.CentOS7.0下JDK1.8的安装（1）到Oracle官网下载好 jdk-8u291-linux-i586.tar.gz备用（2）卸载系统自带的javajava -versionrpm -qa | grep javayum -y remove [上面查出来的内容，多个用空格分隔]（3）安装jdkm
2021-04-27 23:34:45
596
5
原创 CentOS7安装htop
htop是一款功能强大的互动的进程查看器。但是我们使用yum install -y htop的时候出现了找不到htop包的情况，因为htop不是基础命令，有的系统优化去掉了。可以使用下面命令解决:yum install -y epel-releaseyum install -y htop就可以正常使用了...
2021-01-03 22:59:30
4127
原创 hdfs一次一直处于安全模式检查与修复
hdfs一次一直处于安全模式检查与修复查找问题思考排查处理进入cm界面发现两个服务出现了异常查找问题二话不说，重启本地的服务哈，如果是线上的请跳过…反馈结果：问题依旧查看相关信息吧我们知道hive依赖hdfs，所以hive的问题有可能是hdfs导致两条信息HDFS Canary这个要读写hdfs验证hdfs的可用性。NameNode 当前处于 safe mode。所以是第二个问题导致的前面的验证不通过。所以我们需要排查一下namenode的sofemode命令行查询一下h
2020-12-09 22:50:31
1225
原创 Flink版本WC
Flink版本WCwc是一个非常经典的大数据例子，下面我们运行一下wcflink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.2.100:8020/data/tmp/wc/input/ --output hdfs://192.168.2.100:8020/data/tmp
2020-12-07 23:32:42
3101
原创 CDH6.3.1安装FLINK
CDH6.3.1安装FLINK1. 准备2. 将上面文件移动到master对应位置位置3. 重启cdh集群4. 添加Flink服务5. 可能出现的问题默认情况下我们安装好的cdh集群是不包含flink，但是我却又想使用flink集群。下面我就使用cdh6.3.1安装1. 准备下载下面三个文件FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jarFLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcelFLINK-1.9.0-csa1.0.0.0-cdh
2020-12-07 23:17:59
4362
4
原创 keytool基本使用
keytool基本使用Keytool 是一个Java 数据证书的管理工具 ,Keytool 将密钥（key）和证书（certificates）存在一个称为keystore的文件中 在keystore里，包含两种数据：密钥实体（Key entity）——密钥（secret key）又或者是私钥和配对公钥（采用非对称加密）可信任的证书实体（trusted certificate entries）——只包含公钥创建证书库keytool -genkey -alias tomcat -keyalg RS
2020-11-25 23:40:03
7400
原创 那些用过一次就不会卸载的软件
安利软件笔记软件文件搜索实时通讯软件浏览器思维导图安全杀毒持续更新，那些我们用过一次就不会忘记的软件，欢迎留言补充笔记软件有道云笔记、印象笔记、为知笔记其实有道云笔记、印象笔记、为知笔记等基本可以满足大部分人的记录要求印象笔记官网有道云官网为知笔记官网mybase可以用作知识库，很方便地自我调节结构，以及对我们知识库进行整理和补充，目前小编正在从有道云迁移到这个软件上，大赞。mybase官网文件搜索everythingeverything官网在windows上随
2020-11-17 23:33:03
458
原创 Centos7安装k8s
Centos7安装k8s环境介绍安装docker-ce 18.09.9（所有机器）准备k8s环境（所有机器）安装k8s v1.16.0 master管理节点1. 安装kubeadm、kubelet、kubectl2.初始化k8s3. 获取将node加入集群的命令安装k8s v1.16.0 node工作节点1. 安装kubeadm、kubelet2. 加入集群安装flannel（master机器）1.下载官方fannel配置文件环境介绍CentOS7（master、slave1、slave2）flann
2020-11-08 17:30:08
3752
1
原创 MySQL使用注意点
MySQL使用注意点概述sql执行顺序LIMIT概述mysql作为我们日常使用的RDBMS，但是在使用过程中还是有一些需要注意的事项。我们可以一起了解一下哈。sql执行顺序了解sql执行顺序尤其是表的加载顺序，对于理解FROM < left_table > ON < join_condition > < join_type > JOIN < right_table > WHERE < where_condition > GROU
2020-10-28 23:27:12
167
原创 解决spark-shell启动，hdfs权限问题
解决spark-shell启动，hdfs权限问题环境问题尝试创建创建文件夹环境cdh6.3.2问题在启动spark-shell的时候，出现 /user/spark/driverLogs does not exist. Please create this dir in order to persist driver logs错误虽然后面正常启动了，但是心中还是觉得创建一下这个日志路径比较好尝试创建hadoop dfs -mkdir -p /user/spark/driverLogs可
2020-10-26 23:35:34
1134
原创 Elasticsearch 入门
Elasticsearch 入门Elastic Stack安装路径下内容JVM配置安装/简单配置 Kibana基本概念Elasticsearch是一款基于 Lucene 的开源分布式搜索分析引擎。并且可以结合Kibana、Logstash、 Beats等组件，应用于日志分析、指标监控、信息安全等领域。与阿里云合作提供阿里云Elasticsearch特性：高性能、容易使用、容易扩展在db-engines中整体排名第8， search engine排名第1 db enginesElastic Stac
2020-10-24 16:10:52
127
原创 Redis缓存穿透问题及解决方案
Redis缓存穿透问题及解决方案视频地址：https://www.bilibili.com/video/av753586082/场景：查询信息的时候，缓存并未找到对应信息，则查数据库为空，且不会加入缓存，这就会导致，下次在查询同样信息，由于缓存未命中，则仍旧会查底层数据库，所以缓存就一直未起到应有的作用，当并发流量大时，会很容易把DB打垮。缓存击穿示意一般查询的时候：1.缓存层不命中。2.存储层不命中，不将空结果写回缓存。3.返回空结果。缓存穿透问题可能会使后端存储负载加大，由于很多后端存
2020-08-10 09:50:17
1000
原创 dbeaver连接hive
dbeaver连接hive首先搭建好hive环境，启动hive的metastore和hiveserver2启动服务本地连接测试服务可用性说明服务可用设置连接驱动，移除到之前默认的（很大可能性下载失败），添加hive-jdbc-1.2.2-standalone.jar和hadoop-common-2.9.0.jar包点击测试连接...
2020-08-04 19:05:33
1885
原创 windows下安装hadoop
windows下安装hadoop背景环境搭建安装jdk安装Hadoop安装window下编译必须库文件启动Hadoop集群初始化namenode启动HadoopwebUI验证运行wc来进行测试遇见问题背景原本使用虚拟机搭建集群，后来因为某些原因，不能使用虚拟机。然后想在一台配置还行的云主机上搭建一下。结果遇见了小坑，希望能给小伙伴搭建的时候提供一些想法。环境windows 2019hadoop 2.9.0jdk 1.8搭建安装jdk必须依赖jdk,如果已经安装好以及配置好环境变量请跳过
2020-08-02 23:48:22
2157
1
原创 经典排序java实现
经典排序java实现介绍冒泡排序(Bubble Sort)步骤最快最慢实现优化选择排序步骤实现插入排序步骤实现希尔排序步骤归并排序（Merge sort）步骤实现快速排序步骤实现堆排序（Heapsort）步骤代码计数排序实现桶排序最快最慢实现基数排序基数排序 vs 计数排序 vs 桶排序代码介绍排序算法分为内部排序和外部排序。以内存为区分界限，如果在内存中完成即为内部排序。常见排序算法有：冒泡排序、选择排序、插入排序、希尔排序、归并排序、快速排序、堆排序、计数排序、桶排序、基数排序。排序算法
2020-06-16 15:49:12
173
原创 Mysql视频学习总结
Mysql视频学习总结1.索引优化与分析1.1.索引简介1.2.性能分析1.2.1.Mysql Query Optimizer1.2.2.Mysql常见的瓶颈：1.2.3.explain1.3.索引优化1.3.1.索引分析1.3.2.索引失效（避免）1.3.2.1一般建议：2.查询截取分析2.2.查询优化2.2.慢查询日志2.3.批量数据脚本2.4.Show Profile2.5.全局查询日志（测试环境）3.mysql 的锁4.主从复制1.索引优化与分析1.1.索引简介索引结构： BTree索引、Ha
2020-06-14 23:23:37
173
原创 大数据面试之遇见问题及思考
大数据面试之遇见问题及思考1.hadoop存储一亿数据1.1 添加硬盘，或者数据目录1.2 添加数据节点1.3 容量监控2.rowkey原则3.hadoop幽灵进程3.java基本操作kafka4.spark读取数据1.hadoop存储一亿数据考虑：大文件和小文件肯定是要预先设计的，这样就可以调整默认数据块大小，以及可以考虑CombineFile文件压缩，或者归档存储的方式。如果真是上亿个文件信息，一定会导致许多问题，比如性能方面。以及内存中维护目录树能否存储下。推断有可能会有以下情况：a.内存直接溢出
2020-06-14 23:10:40
655
原创 大数据面试之MongoDB
大数据面试之MongoDB1.MongoDB1.1 MongoDB简单介绍1.2 数据库的整体结构1.3 MongoDB优势1.4 MongoDB使用场景1.5 MongoDB支持哪些数据类型1.6 MongoDB索引1.7 MongoDB中的key命名规则如下：1.8 常用命令1.9 MongoDB增删改命令1.10 索引操作1.11 查询说明，感谢亮哥长期对我的帮助，此处多篇文章均为亮哥带我整理。以及参考诸多博主的文章。如果侵权，请及时指出，我会立马停止该行为；如有不足之处，还请大佬不吝指教，以期共同
2020-06-14 23:06:40
179
原创 大数据面试之Redis
大数据面试之Redis1.Redis （Remote Dictionary Server，远程字典服务器）1.1 Redis五种用途1.2 Redis的基本使用1.2.1连接客户端1.3 Redis数据类型1.4 Redis使用模式1.5 Redis缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题1.Redis （Remote Dictionary Server，远程字典服务器）1.1 Redis五种用途1.全页面缓存2.顺序排列3.会话Session存储4.队列5.pub/sub
2020-06-14 23:04:38
167
Cisco实验1-配置Cisco交换机
2019-01-31
ehcache-1.1.jar
2017-09-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人