- 博客(195)
- 资源 (14)
- 问答 (12)
- 收藏
- 关注
RSS订阅原创 Cannot retrieve repository metadata (repomd.xml) for repository: base
产生背景及错误信息环境centos 6.5操作：yum install ruby]错误信息：Loaded plugins: refresh-packagekit, securityhttp://mirrors.aliyun.com/centos/6/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22 - "The requested URL returned error: 404 Not Found"Trying other mir
2021-11-20 14:56:46
1307
1
原创 关于elasticsearch 可视化界面中集群健康值: yellow (x of y)问题排查
由于我遇到问题时候没有保存截图，所以我就在网上找了一个同样问题的图片。我们先分析一下颜色值的具体指什么情况elasticsearch head插件会以不同的颜色显示。1）、绿色——最健康的状态，代表所有的主分片和副本分片都可用；2）、黄色——所有的主分片可用，但是部分副本分片不可用，此时也应当即使进行跟进处理；3）、红色——部分主分片不可用。（此时执行查询部分数据仍然可以查到，遇到这种情况，一般都是由于机器故障导致的，已经道道了error级别，应该及时进行处理。。）最准确的内容可以参考官网：.
2021-11-14 10:00:13
668
原创 安装elasticsearch集群
认识elasticsearch最近在做一个关于spark整合Elasticsearch的项目，闲下在自己机器上安装了一下elasticsearch集群。关于elasticserarch，这里简单做一下介绍：它 是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它的底层是基于Lucene实现的一个搜索引擎。关于Lucene我在四年前写过几篇文章，大家可以看一下。Luncen介绍Luncen分词器的使用安装环境： JDK1.7.55+elasticsearch-2.3.1.t
2021-11-13 22:48:35
2112
原创 关于Spark error: value write is not a member of org.apache.spark.sql.DataFrame的分析与总结
最近自己在spark集群云顶DataFrames向HDFS集群写入文件时候的遇到了下边错误信息的问题error: value write is not a member of org.apache.spark.sql.DataFrame其实通过上述错误信息描述并不能第一时间来进行确定问题所在之处，通过仔细检查代码，发现并无不妥之处，参考网上了说的一些说的主要几个场景，包括隐式转换位置错误，case class定义位置错误等等，关于说引入隐式转换的位置顺序出问题这个思路时，当时也有一点点怀疑，因..
2021-10-23 23:11:50
3579
原创 解决scala项目打包时出现Error: bad option -make:transitive的问题
错误信息Error: bad option -make:transitive最近scala项目编译打包时候总是出现上述问题，目前最快捷的解决方案就是删除.idea目录下的scala_compiler.xml文件中的 但是这种方案治标不治本，每次加载后后仍会重新出现该问题，这里我们可以检查，在pom文件中是否存在下边的配置内容： <configuration> <args>
2021-08-14 22:56:23
406
原创 基于mahout推荐算法的推荐系统简单流程分析
前言最近太忙了，很久没有更新文章了。最近一段时间也在看一些书，关于大数据的推荐系统领域，根据自己的所见所想对整个推荐系统做了一个简单的流程图并进行了简单的分析，并对所用到的算法进行了一个简单的调用说明。（其中太多的细节没有说明，只介绍了整体流程）数据流程 如果关于大数据相关知识相对比较薄弱的同学，我们可以简单假设一个场景，就是上述流程图就是关于一个在线服装店，其中收集数据就包括了用户的点评，分享，打分等信息。其中准备数
2021-07-03 19:09:19
1551
6
原创 Hbase ERROR: Can‘t get master address from ZooKeeper； znode data == null 解决方案
最近在给新机器配置hbase集群时候出现个问题。错误信息为：ERROR: Can’t get master address from ZooKeeper; znode data == null前期探索判断zookeeper问题根据错误信息描述，潜意识认为是zookeeper集群没有起来，就跑到集群中看错误信息，发现一个leader两个follwer正常运行。初步排除集群问题，然后根据网上的一些错误描述说是节点数据问题，需要删除data目录下的内容（除myid文件）然后重启，试之~ 无果。hb.
2021-04-16 22:45:55
3673
1
原创 centos yum失败 Loaded plugins: fastestmirror, refresh-packagekit, security Determining fastest mirror
背景&问题最近需要在虚拟机上安装mysql,为了方便采取的是yum install mysql-server方式，但是刚开始源于到了问题removing mirrorlist with no valid mirrors: /var/cache/yum/x86_64/6/base/mirrorlist.txtError: Cannot find a valid baseurl for repo: base由于本人是研发非专业运维人员，所以主要考在线寻找问题，经过国内的度娘发现大部分帖子上
2021-03-02 22:58:53
1530
原创 springboot整合thymeleaf页面跳转失败问题 Exception processing template “xxx“: Error resolving template ...
问题[THYMELEAF][http-nio-8989-exec-1] Exception processing template "login1": Error resolving template [login1], template might not exist or might not be accessible by any of the configured Template Resolversorg.thymeleaf.exceptions.TemplateInputException
2020-12-14 17:17:02
14225
10
原创 实时计算入门篇-了解storm
离线计算最近在了解离线系统，根据自己的了解，以及参考网上的相关资料，总结了相关知识，供刚入门的同学们了解。离线计算，就是批量获取数据、批量传输数据、周期性批量计算数据、数据展示，相信大家在了解实时计算的时候肯定对离线计算有一定的了解了，比如Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据、任务调度等技术（zakaban），这些都是离线计算流式计算流式计算，数据实时产生、数据实时传输、数据实时计算、实时展示。Flume实时获取数据、Kafka/m
2020-07-24 08:41:47
277
原创 Idea下载Maven项目提示找不到包的相关问题
情形再现最近在做领导安排的一个任务，发现从git上拉取源码后，编译始终不通过，一直提示程序包不存在和找不到符号，但是找到problem问题的那一段代码发现没有错误，其中找不到符号的类可以进入到源码中，通过思考应该不是真正找不到程序包。于是便开始了下边的历程。1.更改jar包版本，无果。2.网上说设置对应的jdk版本，操作，无果3.删除maven库，重新下载，无果。4.重新安装maven，...
2020-04-18 15:13:05
1064
2
原创 Mac宿主主机无法ping通docker容器ip
起源在安装azkaban时候发现无法在宿主主机上调用https://ip:8443这个uri,确认docker中的服务启动，继续尝试ping容器发现无法ping通。慢慢就发现了新大陆。下边就开启追溯原因和探索解决方案：mac下的宿主无法ping通docker容器原因在于docker在OSX的实现方式，是首先创建一个linux的虚拟机，在将docker放入到虚拟机中实现，而对于linux虚拟机...
2020-04-09 21:42:52
4850
8
原创 mongodb数据备份dump&restore操作
最近由于也无需求需要将mongodb数据库数量进行备份到另一台机器中，所以开启了研究之路，期间也多方进行谷歌，但是发现很多教程不太详细，所以经过实践和总结，将步骤描述如下。导出数据这里我是通过操作远程数据库的方式进行导出需要身份认证方式mongodump -h 主机名 -u mongo用户名 -p mongo密码 -d 操作的数据库 -o 文件存放到本地的路径 --authentic...
2020-01-21 11:10:29
739
原创 docker容器部署redash&安装过程中存在的问题
redash部署文档&简单实用说明前置环境dockerdocker-composenodejs拉取代码通过git目录拉取代码git clone https://github.com/getredash/redash.git进入redash目录编辑docker-compose.yml文件修改文件内容其中需要将redash服务镜像版本和worker镜像的版...
2019-12-31 18:07:42
3664
6
原创 利用docker搭建haood集群，以及常见问题的总结与分析
前言相信很多码友们也从事大数据行业，我接触大数据也有一段时间了，之前是在本机上利用Vmware搭建hadoop集群，随着时间的推移，发现电脑和人一样，到了年龄，身体一天不如一天。所以决定今天决定利用docker容器进行搭建一套伪分布式系统。如果没有了解过docker，下章我将会对docker的入门进行做一些说明，这里先普及一下什么是docker.Docker 是一个开源的应用容器引擎，让开发...
2019-12-22 22:09:52
429
原创 git pull/push代码 每次都要输入账户名和密码的解决方法
最近修改了邮箱的密码，但是不知怎么地码云每次pull and push 都要输入账户名和密码，由于我的码云账户是基于邮箱创建的。所以貌似产生了什么幺蛾子。废话少说，直接干：首先找到你的git客户端，那些习惯用图形化窗口界面操作需要改一下这个不好的毛病了（同时也在说我自己/奸笑）。如果足够厉害也可以自行操作图形化界面，反正我是没有找到方法。第一步git config --global c...
2019-11-09 17:48:38
617
1
原创 git pull代码和push代码 每次都要输入账户名和密码的解决方法
最近修改了邮箱的密码，但是不知怎么地码云每次pull and push 都要输入账户名和密码，由于我的码云账户是基于邮箱创建的。所以貌似产生了什么幺蛾子。废话少说，直接干：首先找到你的git客户端，那些习惯用图形化窗口界面操作需要改一下这个不好的毛病了（同时也在说我自己/奸笑）。如果足够厉害也可以自行操作图形化界面，反正我是没有找到方法。#### 第一步 git conf...
2019-11-09 17:37:31
206
原创 java代码中获取异常信息存储到字符串对象
在Java开发中，我们经常要处理各种异常，我们一般用e.toString()或e.getMessage()得到异常信息，但是有时候异常堆栈中会存在很多信息，比如用下面的代码抛出异常：代码如下： public static String getErrmessage(Throwable t){ StringWriter stringWriter=new Str...
2019-10-12 14:14:02
2140
原创 java异步编程入门篇 (springboot)
常见的方法调用都是同步调用，这种调用方式是一种阻塞式的调用方式，即客户端（主调用方）代码一直阻塞等待直到被服务端（被调用方）返回为止。这种调用方式相对比较直观，也是大部分编程语言直接支持的一种调用方式。但是，如果我们面对是基于粗粒度的服务组件，面对的是一些需要比较长时间才能有响应的应用场景，那么我们就需要一种非阻塞式调用方式，即异步调用方式相信很多同学们刚开始都会对异步、同步、多线程很困...
2019-09-30 10:13:25
384
原创 java项目中关于登录拦截器的实现 （涉及注解的创建与使用，springboot的拦截器的创建与注册，session的校验）
本文主要写了一个关于登录校验的demo,使用范围，java 项目进行接口请求的校验，采用了springboot框架+注解+拦截器的方式来实现，也是当前行业中比较常用的一种模式，现在主要对代码流程进行解析和说明。创建一个注解@Target({ ElementType.TYPE, ElementType.METHOD })@Retention(RetentionPolicy.RUNTIME)@...
2019-09-29 14:50:04
707
原创 rabbitmq的应用总结
环境搭建项目采用springboot整合rabbitmq完成，所以项目的一些配置都是采用springboot操作pom配置文件 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-st...
2019-08-22 19:49:06
274
1
原创 springBoot项目与Eureka注册中心整合时候关于版本兼容问题
java.lang.NoSuchMethodError: org.springframework.boot.builder.SpringApplicationBuilder.([Ljava/lang/Object;)V如果在搭建springboot项目的时候遇到过这样的问题，那么这个问题就是版本兼容问题。还有一种情况就是关于绑定的问题。提示binder failed,问题大概类似。这个问...
2019-08-19 09:04:21
3957
3
原创 解决jpa 中查询一个对象然后修改内容返回给前端，发现数据库中内容变了
需求是这样的，我用的jpa 实体框架，从数据库中捞出一个对象，然后根据需求需要设置某些敏感字段为null,但是这个方法里边我用到了spring的前置和后置通知，其中后置通知中包含了save操作。在执行过程中发现报错了，提示这个敏感字段为null的异常，苦思冥想半小时，我没有保存这个对象呀，ememmemmme........。突然想到之前hibernate中有关于游离对象，瞬时对象的状态，大胆继续...
2019-07-01 18:20:37
3075
原创 一次maven项目拆分的经历（涉及私服搭建）
由于工作安排，进行了项目架构的调整，由原来的根目录为父项目，子项目也附着于该项目下，为了完全进行微服务化和后期的维护方便，现将子项目单独拆分出来。由于不在同一个目录下了，发布在服务器上之后无法直接进行依赖，所以需要安装私服。安装私服linux下安装私服这里就不做多讲了。需要注意点的是安装之后会有三种type 分别为proxy host goup 我们根据需要可以创建自己的mavne...
2019-06-21 09:09:01
466
原创 java获取完整的异常信息堆栈写入到io中
在Java开发中，我们经常要处理各种异常，我们一般用e.toString()或e.getMessage()得到异常信息，但是有时候异常堆栈中会存在很多信息。下边代码就是个工具方法，可以直接获取堆栈中的异常信息。代码如下： public static String getErrmessage(Throwable t){ StringWriter stringWriter=...
2019-06-17 17:32:01
3046
1
原创 springboot自定义参数解析HandlerMethodArgumentResolver的使用
在实际开发中我们一般会将传入controller的参数进行处理，但是每个方法都进行处理很不友好，这样的话我们可以通过类似于AOP的方式去建立一切面。通过该切面来共享这个方法。比如我的入参有个对象，我自己又建立了一个注解，我可以在切面中通过判断如果存在该注解则进行解析参数。下边是核心接口的两个方法，第一个方法校验通过后执行第二个方法进行解析参数，这样我们可以对参数进行操作。1.写个注...
2019-05-14 15:51:19
5680
1
原创 关于jvm性能调优
关于jvm内存调优我们需要首先知道都是存在哪些情况，根据不同的情况来进行调优。所以这里给大家分享一下在网上看到的各种东西进行的汇总：部分内容来源于网上。内存泄漏一般可以理解为系统资源（各方面的资源，堆、栈、线程等）在错误使用的情况下，导致使用完毕的资源无法回收（或没有回收），从而导致新的资源分配请求无法完成，引起系统错误。整个JVM内存大小=年轻代大小 + 年老代大小 + 持久代大小,目前来说...
2019-03-10 16:19:15
230
原创 关于linux下查看开放的端口以及新增开放端口的具体操作
首先查看linux中防火墙配置中开放的端口号列表 /etc/init.d/iptables status我们可以编辑开放端口列表中的内容，命令如下:vi /etc/sysconfig/iptables 效果如下： 如果我们想添加一个一个允许规则。比如添加8080端口允许 输入下边内容即可-A INPUT -m state –state NEW -m t...
2019-01-12 12:12:03
2146
原创 微服务中关于feign整合hystrix的案例使用以及注意事项
What Is Hystrix?在一个分布式系统里，许多依赖不可避免的会调用失败，比如超时、异常等，如何能够保证在一个依赖出问题的情况下，不会导致整体服务失败，这个就是Hystrix需要做的事情。Hystrix提供了熔断、隔离、Fallback、cache、监控等功能，能够在一个、或多个依赖同时出现问题时保证系统依然可用。知道它的，作用优点和好处了。那么下边就跟着我一起来操作一下feign整合...
2018-12-19 22:23:06
1242
转载 java并发编程：从线程池的理论到实践
在java并发编程中对于线程池要求甚高。下边我们就来学习一波线程池操作。 如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？ 在Java中可以通过线程池来达到这样的效果。今天我们就来详...
2018-12-12 09:33:12
273
原创 阿里云上redis外网无法访问的解决方案
折磨了一天的我，现在是夜里21：45.终于把redis给弄通了。从安装到跑通可谓是一路艰辛。下边说一下情况吧。下边这个工具是windows连接redis的最佳工具（可以说没有之一我个人认为的）。有兴趣大家可以去下载连接一下哦 这就是问题，redis已经安装好了，而且跑起来了。阿里云服务器上可以直接操作，但是本地连接的时候就会报错mmp.各种骚操作更改配置文件，然后各种不行。下边...
2018-12-04 22:05:17
8640
14
原创 java中关于随机数产生的公式分析
相信大家在随机数产生的过程中有很多不解吧， Random random=new Random(); int i = random.nextInt(10) + 8; System.err.println(i); }如果你认为上边产生的数字是8-10之间那么你就需要来看看了下边内容，如果不是的你也可以忽略改文章（点个赞再走也不晚~~~~~）。下边的一部分式子是来源于网络，不...
2018-11-29 08:54:59
920
原创 springboot整合定时任务（相对于Quartz和Task等框架非常简单）
最近真正用springboot整合定时任务发现其流程灰常简单，进一步突出了springboot的强大之处。相对于之前用过的quartz和task来说可以说是简单爆了，尤其是quartz整合spirng的时候那配置简直是日了动物园了。废话不说直接怼代码。package com.example.demo;import org.springframework.boot.SpringApplic...
2018-11-17 15:18:15
564
1
原创 java中守护线程与用户线程
最近在深入学习java的相关知识，走到了多线程方面，发现了一个奇怪的问题就是守护线程，仔细研究一番发现线程分为两种线程，用户线程和守护线程。所谓守护线程是指在程序运行的时候在后台提供一种通用服务的线程，比如垃圾回收线程就是一个很称职的守护者，并且这种线程并不属于程序中不可或缺的部分。因 此，当所有的非守护线程结束时，程序也就终止了，同时会杀死进程中的所有守护线程。反过来说，只要任何非守护线程还...
2018-11-15 21:54:12
217
1
原创 dubbo的xsd文件The matching wildcard is strict, but no declaration can be found for element
dubbo配置xml文件报错“Multiple annotations found at this line: - cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'dubbo:application'. - sc...
2018-11-15 16:33:58
3147
原创 io相关知识的梳理
关于java的io操作相信很多人很迷糊，其中不乏有三五年开发经验的人员。前几天就对java的io做了一些不太深入的学习。在这里分享给大家，希望有所帮助。首先java中io很多类型，比如输入操作主要有inputString Reader 输出操作有OutputStream和Writer 下边又继续划分FileInputStream FileReader FileOutputStre...
2018-11-15 08:56:41
318
原创 springboot访问jsp页面时候却变成了下载文件
前几天在自己写springboot项目的时候遇到个棘手 的问题，就是我访问项目url的时候本来应该跳转到jsp页面呢，然而却变成了下载文件（如图）打开文件一看竟然是我要访问的jsp页面内容。感到很奇怪，于是就仔细检查代码，检查是否加上了responseBody是否把路径写作了，配置文件里是否有错误问题，找了半天都没有发现问题，百度了一番，说是没有加入jsp的相关依赖。然后就尝试着加入下...
2018-11-11 10:41:56
14960
转载 plsql登陆oracle提示TNS: no listener
安装Oracle后,用PL/SQLDeveloper连接oracle时出现ORA-12541:TNS:无监听程序的错误,如下图: 发现原来是oracle的监听没有启动,重启监听后就连接成功了,下面跟大家分享一下如何启动oracle的监听。 1.打开NetConfiguration Assistant 2.选择...
2018-11-03 13:14:47
4906
原创 微服务SpringCoud之Ribbon学习案例和源码
ribbon在springcloud微服务中应用主要就是用来作为负载均衡的。相对于传统的Nginx来说它有着独特的优点。Nginx可以说是服务端的负载均衡，而ribbon可以说是服务端，客户端的负载均衡。下边是引用网上的一些内容，大家可以自己理解一下：Spring Cloud Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具。它是一个基于HTTP和TCP的客户...
2018-10-29 11:48:42
229
微服务注册中心eureka
2018-10-29
dubbo约束文件
2017-10-02
iview与js数据交互进行请求后台操作
2018-07-10
springboot入门项目打包出错
2018-06-30
easyui框架的openDialog()问题
2018-06-01
zookeeper启动失败，求大神助攻
2017-06-21
spring aop编程遇到如下问题
2017-03-24
html5中notification问题在谷歌浏览器中也不能运行
2016-05-05
C#编程中如何获取CheckedListBox中的若干个复选框
2016-04-06
java字符串中求字串的个数。求大神指点。谢谢
2016-02-02
一直出现找不到输出表 'weidianlun6' 。
2016-01-23
html表格中的标签问题。
2015-11-13
编写一个java代码接受用户输入的账号和密码 给三次机会。但是运行后输入后显示错误。
2015-11-09
TA创建的收藏夹 TA关注的收藏夹
TA关注的人