墨者大数据-CSDN博客

直接上图：显示有多个slf4j, 解决方法如下： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter</artifactId> <exclusions>

2022-05-18 12:08:09 165

java项目启动后生成的图案很不错，下面把网址给到大家，可以看看，选择不同的字体样式：http://patorjk.com/software/taaghttp://www.network-science.de/ascii/http://www.degraeve.com/img2txt.phhttp://patorjk.com/software/taaghttp://www.network-science.de/ascii/http://www.degraeve.com/img2txt.php.

2022-05-10 19:16:07 1923

原创 springboot集成mq启动不了，可能的解决方法

上异常："D:\Program Files\Java\jdk1.8.0_201\bin\java.exe" -XX:TieredStopAtLevel=1 -noverify -Dspring.output.ansi.enabled=always -Dcom.sun.management.jmxremote -Dspring.jmx.enabled=true -Dspring.liveBeansView.mbeanDomain -Dspring.application.admin.enabled=true

2022-04-15 12:15:36 1599

原创 flink设置checkpoint部署后一直重启，出现检查点无法写入的问题

问题描述项目一共有7个应用程序，只有其中一个程序出现检查点问题，参数配置都相同。flink部署后的异常为：org.apache.flink.util.FlinkRuntimeException: Exceeded checkpoint tolerable failure threshold最终发现这个提示是没有用的，最后经过一番艰苦的努力，终于解决了问题，这里直接上干货。问题原因：由于这个程序连接的数据库比较多，可能会出现这个检查点没有做完，被丢弃掉，又重新开始了一个，循环往复。导致的问题.

2022-04-07 13:59:45 3379

原创非对称加密异常:java.lang.IllegalArgumentException: Illegal base64 character 20

1.出现上述问题的原因：非对称加密的密文有 "+" , 再网络传输的时候（通过url）,传递到后端时 "+" 被替换为 " "。后端解析错误。需要将空格进行替换。PKCS8EncodedKeySpec pkcs8EncodedKeySpec = new PKCS8EncodedKeySpec(Base64.getDecoder().decode(Constant.PRIVATE_KEY));KeyFactory keyFactory = KeyFactory.getInstance("RSA");

2022-03-23 20:28:09 3750

原创 vuex之刷新页面时token丢失问题

前端项目，使用vuex作为状态存储，但是遇到一个问题，就是在刷新页面时出现了丢失token的问题，下面给出完美的解答：1.可以使用缓存将vuex中的state缓存起来，可以使用localStorage和sessionStorage。cookie不适合存储。localStorage是长期存储，sessionStorage是会话期间存储，这里使用sessionStorage.在这里插入图片描述2.上代码App.vue中添加 mounted()和methods，在刷新的时候进行持久化。<te

2022-03-14 22:32:30 4897

原创 CDH中出现hbase错误：org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

问题：org.apache.hadoop.hbase.PleaseHoldException: Master is initializingxia产生的原因：因为之前格式化了namenode，导致hbase出现问题，解决方法如下：CDH环境中：在终端输入：zookeeper-client：进入zookeeper，查看zookeeper中的hbase目录删除hbase节点的目录 rmr /hbase/meta-region-server输入quit推出，重启hbase, 到此解决问题；.

2022-03-08 10:15:13 2619

原创 CDH中连接hbase时出现kerberos问题

CDH中连接hbase时出现上图的错误上面的提示涉及到了kerberos在项目的pom.xml文件中添加如下依赖： org.apache.hadoop hadoop-auth 3.1.3![在这里插入图片描述](https://img-blog.csdnimg.cn/34098301970e4367bc2974b993851a52.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1N

2022-03-07 16:40:57 2094

原创 idea中怎么去掉项目中的.iml，.idea的文件

有些文件显示在项目中，感觉项目文件过多，观感不好。可以在下面的输入框中加入.iml和.idea

2022-03-05 13:34:18 2358

原创 DataGrip连接不上CDH中的hive,原因分析

安装好CDH之后，想使用DataGrip连接集群的hive,但是试了好多种方法都连接不上。最后才发现时jar的问题。在如下目录中查询jar包：/opt/cloudera/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554/jars使用如图的jar，就可以连接hive。连接之后就可以愉快的写sql了……下面附上比较详细的文档：https://blog.csdn.net/bing0008/article/details/121769303...

2022-02-11 17:40:17 1945

原创 springboot出现Factory method ‘sqlSessionFactory‘ threw exception； nested exception is java.lang.reflec

SpringBoot搭建环境时出现如下提示：Factory method 'sqlSessionFactory' threw exception; nested exception is java.lang.reflect.MalformedParameterizedTypeException映射有问题，最后查找出时由于jar包冲突。如上图中，在导入mybatis依赖时出现重复导入的现象，所以遇到类似的问题，如果找不到答案时可以看看是不是jar包冲突造成的，这种问题，在我这个错误中比较难发现，希望

2022-02-10 19:22:56 17896 1

原创 springboot启动logo的设置相关

1.springboot项目中的输出的logo可以修改application.yml或者application.properties文件中的log的类型默认实在src/resources目录下的banner.txt文件2. 生成logo的网站https://www.degraeve.com/img2txt.phphttp://patorjk.com/software/taaghttp://www.bootschool.net/ascii可以根据自己的喜好，选择不同的风格...

2022-02-10 17:28:10 635

原创 MySQL8.X误删除root@localhost的修复操作

浪费了整整一下午时间，才解决------------->出现的结果：mysql无法登录，试了多种方法都无法修改配置文件#1.mysql所在的主机vim /etc/my.cnf#在[mysqld]中添加如下配置skip-grant-tables2.重新启动systemctl restart mysqld.serviceuse mysql;3.添加用户insert into user(User,authentication_string,ssl_cipher,x509_is

2022-01-27 16:01:34 2344 2

原创 Intellij中Ctrl + / 注释靠左的解决方法

很好用，直接转载https://blog.csdn.net/qq_41157588/article/details/106823214

2022-01-24 14:37:12 774

原创 Linux和windows查询进程号号关闭进程操作

废话不说……1.首先传统的使用 ps -ef | grep 8082 查询，只能查询是否在运行，无法 kill -9 …2. linux终端：2.1 查看进程netstat -tln #查看所有占用端口的使用情况netstat -tln | grep 8082 # 查看8082端口的使用情况2.2 查看被那个进程占用lsof -i :80822.3 关闭进程kill -9 进程IDWindows平台3.1 查看进程号netstat -ano # 显示所有被占用的端口

2022-01-20 17:36:13 736

原创 Centos7.x的yum源出现：failure: repodata/repomd.xml from flink-on-cdh: [Errno 256] No more mirrors to try

使用yum的什么命令都是报错，报错如下：如果出现上述的问题，可以在 /etc/yum.repos.d/ 目录是否存在或者目录中的文件是否存在，如果不存在，可以将其他主机的文件拷贝过去。这样即可解决问题，测试有效！！！...

2022-01-13 15:46:29 1363

原创 Kylin在创建Cube时出现 unkown queue:default（找不到默认队列）

为了在运行任务时取得资源隔离的作用，设置了不同的队列，这里我的集群为例，队列有：hive 、spark 、flink。环境：CDH集群，kylin采用tar包安装集成，需要手动启动。kylin默认的队列是default;查看日志报错如下解决方法：上面的问题时由于kylin中的默认队列是：default, 需要修改为yarn中的队列（本集群的yarn队列有hive, spark， flink）这里采用将kylin默认的yarn队列设置为hive, 需要在kylin的配置文件中添加配置，

2022-01-11 17:06:58 842

原创在window上安装Kerberos客户端遇到的问题

1.客户端下载软件http://web.mit.edu/kerberos/dist/2.记住在安装目录中寻找programData目录下的Kerberos5/krbt.cnf,不是在program files/MIT/kerberos/目录，这个很重要，否则会出现“cannot find default realm”的错误。

2022-01-05 16:42:53 470

原创 HUE的警告：必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。

警告：必须在 HBase 服务中配置 Thrift Server 角色以使用 Hue HBase Browser 应用程序。步骤：1.添加角色实例2. 为Hbase Thrift Server选择主机3.在HUE中选择HBase Thrift Server属性中选择服务器以使用Hue HBase Browser应用程序在界面上勾选即可。...

2022-01-04 14:53:50 1609

原创 HUE运行任务时出现“Unkown queue: deafult“,也就是找不到默认队列, 详解

1.删除默认的default队列后，新增spark，hive队列，需要修改不少地方，一个yarn，一个hivehive-site.xml，修改那些参数，我这里不做赘述，如果有需要可以留言我……上菜啦，上图是hue运行任务是出现错误.解决方法如下：再次运行，就没有问题了！...

2021-12-30 15:47:07 1499

原创 CDH内存挑拨过度验证阈值（Memory Overcommit Validation Threshold）的解决方法

1.在集群页面上存在一个"红色的扳手"首先，咱们先了解一下内存调拨过度是什么？阈值默认为0.8，假如，总内存如果为16G, 0.8*16=3.2,基本可以了，但是如果总内存为256，预留20%操作系统内存（51.2G）有点太多了。需要修改他的阈值。操作如下图：搜索 “Memory Overcommit”，我的主机内存为64G,留给系统的内存为：49 * 0.2 = 5G,够用了！！！java的堆内存大小可以自行查询！...

2021-12-28 13:43:14 2361

原创 CDH中出现Permission denied: user=root, access=WRITE, inode=“/user“:hdfs:supergroup:drwxr-xr-x

1.CDH安完成之后，使用"hive"命令进入hive的操作页面，创建表之后，插入数据报错，原因：由于权限问题Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x问题解决方法有多种，但是现在使用的时CDH,所以要使用CDH的方式解决问题。从报错的数据得知，是由于没有访问hdfs的权限导致的。打开HDFS中的配置选项...

2021-12-27 16:54:32 1683

原创大数据仓储怎么实现高并发的框架选择，以及高并发的含义。。。。

在构建大数据架构时领导要求实现数仓数据的高并发查询，impala支持的并发数量为99。需要搭建一个高并发的查询架构，实现数据的实时查询。经过我的调研，发现采用Kylin+hadoop可以实现实时查询和高并发。大家可以试试看……附上并发的解释：[添加链接描述](https://www.cnblogs.com/xiaowenshu/p/10727523.html)...

2021-12-14 13:13:29 1435

原创一篇文章熟悉flink中的checkpoint……

文章地址：https://blog.csdn.net/qq_43081842/article/details/112161557

2021-10-23 16:53:03 90

原创 sql中的group by和聚合函数哪些不得不说的事……

啥也不说了，先上代码：--数据装载insert overwrite ads_sku_infoselect '2020-06-14' dt, source, target, count(*)from( select concat('step-', step, ':', source) source, concat('step-', step+1,':', target) target from (

2021-09-16 16:49:12 254

原创 hive中的order by的用法及坑的所在

order by 后面是默认的是上无边界到当前行，但是如果有的行数的值相同，则会出现错误，今天就提醒一下：explode(partition by .. order by.. ),order by 后面最好跟上范围，这样就不会出现上述问题。

2021-09-13 17:00:22 1035

原创 SparkSQL之UDAF函数的定义以及实战应用案例！！！

sparkSql内置的函数有时可能无法满足需求，需要自定义函数，在sparkSql中有两种udf和udaf下面是一个关于UDAF的实战案例：数据：创建user.json文件，将如下内容放入。{"age":20,"name":"qiaofeng"}{"age":19,"name":"xuzhu"}{"age":18,"name":"duanyu"}import org.apache.spark.SparkConfimport org.apache.spark.sql.expressions.

2021-08-30 20:41:00 563

原创算法之队列~使用数组模拟队列，详解！！！

下面介绍一下队列：1.队列是一个有序列表，可以用数组或者列表来实现2.遵循先入先出的原则3.队列示意图：从图中可以看出，队列有头部 front, 尾部：rear。队列的最大容量。在使用数组模拟队列的过程中，取数据时数组的数据并没有被删除，而是随着指针的移动，队列的的头部发生变化而引起队列数据的变化。这就是使用数组实现队列的效果。具体内容，可以自行品读其中玄妙…………上代码：// 使用数组模拟队列-编写一个ArrayQueue类 class ArrayQueue { privat

2021-08-26 10:36:02 234

原创算法之~~~二维数组和稀疏数组之间的相互转换（棋盘、地图）

棋盘的结构如上图所示，将棋盘转换成二维数组，二维数组转换成稀疏数组，具有压缩的功能。具体代码如下：二维数组是：11 X 11稀疏数组：具有固定的散列，行数是二维数组中的值+1public class SparseArray { /** * @param args */ public static void main(String[] args) { // 创建一个原始的二维数组 11 * 11 // 0：表示没有棋子，1：表示黑子，2:表示蓝子 int chessArr.

2021-08-25 21:33:22 163

原创 Scala中的控制抽象、柯里化、尾递归的应用实例，详解！！！

今天给大家聊一聊关于Scala中比较重要的知识点，并且也是容易出错的，希望对大家有所帮助。首先，我们先了解一下控制抽象的概念：一些语句的聚集，也就是代码块。其中包括值传递和名传递。1.控制抽象：值传递举例：def ValueDelivery(name: String) = { println(s"你好 ${name}")}def toName(): String = { "小明"}val value: Unit = ValueDelivery(toName)print.

2021-08-13 18:14:59 161

原创在启动kafka时要连接那台节点，以三台虚拟机为例 kafka-topics.sh --bootstrap-server

连接kafka时需要输入kafka节点名和端口：例如：kafka-topics.sh --bootstrap-server hadoop102:9092 --listkafka-topics.sh --bootstrap-server hadoop102:9092,haddoop103:9092,hadoop104:9092 --list这两种的启动效果是一样的，都是连接kafka集群。有人会问：kafka集群有leader和follower，为什么不直接连接kafka集群？无论连接哪个

2021-08-05 12:53:55 586 2

原创 java中的list集合的clear方法详解以及使用时遇到的问题

废话不多说，直接上代码------------------> String serialNo = "2118%000690;2118%000691;2118%000692;2118%000693;2118%000694;2118%000695;2118%000696;2118%000697;2118%000698;2118%000699;" + "2118%000700;2118%000701;2118%000702;2118%00

2021-06-08 13:53:43 8426 2

空空如也

空空如也