丶亦尘-CSDN博客

原创 Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 遇到的坑

前几天公司的集群从 Hadoop 2.7 + Spark 2.4 + Hive 2.X + Scala2.11 直接干到了Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 + Scala 2.12 ，然后项目就要跟着升级啦，结果问题就来了一堆了，此篇记录下遇到的几个问题以及解决办法。使用 mvn package 打包的时候发现 df.foreachPartition内部报错：Error:(83, 19) value hasNext is not a member of...

2020-11-03 14:57:24 6754 4

转载关于Kafka日志留存策略的讨论

关于Kafka日志留存(log retention)策略的介绍，网上已有很多文章。不过目前其策略已然发生了一些变化，故本文针对较新版本的Kafka做一次统一的讨论。如果没有显式说明，本文一律以Kafka 1.0.0作为分析对象。所谓日志留存策略，就是Kafka保存topic数据的规则，我将按照以下几个方面分别介绍留存策略：留存策略类型留存机制及其工作原理一、留存策略类型目前，与日...

2019-03-07 11:59:05 470

转载 MySQL 和 Redis缓存数据不一致解决方案

需求起因在高并发的业务场景下，数据库大多数情况都是用户并发访问最薄弱的环节。所以，就需要使用redis做一个缓冲操作，让请求先访问到redis，而不是直接访问MySQL等数据库。这个业务场景，主要是解决读数据从Redis缓存，一般都是按照下图的流程来进行业务操作。读取缓存步骤一般没有什么问题，但是一旦涉及到数据更新：数据库和缓存更新，就容易出现缓存(Redis)和数据库（MyS...

2019-03-07 10:40:31 4129

原创 explain之key_len计算

通常在优化SQL查询的时候，我们都会使用explain分析SQL执行计划，通常来说当用到组合索引的时候我们如何判断索引完全用上呢？当然高手看看表结构及SQL语句就知道到底用到了几个字段，对于不熟悉的同学呢？我们还是可以看看key_len的长度，当然这个计算还是有点复杂的，不过在你看过我这篇博客以后，相信你肯定会计算的，这难不倒聪明的你。废话不多说了，我们直接上例子。表结构如下。^_^ ...

2019-02-25 14:19:19 357

转载最左匹配

CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(255) DEFAULT NULL, `cid` int(11) DEFAULT NULL, PRIMARY KEY (`id`), KEY `name_cid_INX` (`name`,`cid`), KEY `nam...

2019-02-25 14:17:36 881

原创二叉树的BFS 和 DFS 实现

这里写自定义目录标题概念源码实现节点实体类定义树定义测试类实现概念BFS又称广度优先遍历，从树的根节点按照层级进行遍历DFS又称深度优先遍历，包括先根遍历（先遍历根节点，其次左结点，最后右节点），中根遍历（先遍历左节点，其次根结点，最后右节点），后跟遍历（先遍历左节点，其次右结点，最后根节点）源码实现节点实体类定义package com.cxk.tree;public class ...

2019-02-15 16:09:52 2945

原创 Java获取项目路径的几种方法

1. 项目的绝对路径( 输出位置：执行启动脚本的全路径 )String path = System.getProperty("user.dir")2.获得项目的ClassPath （以下四种方式在Web容器中均可以运行）Thread.currentThread().getContextClassLoader().getResource(".").getPath() //本地...

2019-02-14 18:06:26 983

原创链表的反转算法

说到链表的反转，当初第一次接触这个概念的时候，首先想到的办法就是，首先对链表做一个遍历，强行给每个节点记录一个顺序，然后再根据顺序重新构建列表，这种办法虽然可以实现，但是效率不高（主要是取决重新排序生成列表的排序算法复杂度），下面这个办法的算法复杂度仅仅为O（N），附代码 // Java program for reversing the linked list ...

2018-09-15 23:32:58 400

转载使用maven加载项目中缺少的jar包

在学习maven，对maven的一些用法还知之甚少下载了一个maven项目导入eclipse，发现我本地仓库少了一些项目需要的jar包怎么办呢？解决办法：进入项目的根目录（即 pom.xml文件所在的目录）执行：mvn dependency:copy-dependencies完成后进入eclipse，发现项目不再报错前提条件：1,安装了maven2,将maven

2017-11-08 17:32:20 652

原创 spark性能优化：数据倾斜调优

调优概述转载于：http://blog.csdn.net/lw_ghy/article/details/51419877有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。数据倾斜发生时的现象　　1、绝大多数ta

2017-06-01 16:13:43 303

原创如何确定 Hadoop map和reduce的个数--map和reduce数量之间的关系是什么？

参考：http://www.aboutyun.com/thread-6945-1-1.html一般情况下，在输入源是文件的时候，一个task的map数量由splitSize来决定的，那么splitSize是由以下几个来决定的goalSize = totalSize / mapred.map.tasksinSize = max {mapred.min.split.size, mi

2017-05-31 09:59:48 554

原创总结iframe高度自适应，自适应子页面高度

在网上找了很多iframe的高度自适应，发现很多兼容性都不是很好，于是自己总结了一下。页面html节点上要有下面红色部分，不然ie浏览器会无限递增iframe id="mainFrame" name="mainFrame" scrolling="no" src="Index.aspx" frameborder="0" style="padding:

2017-05-24 14:51:02 2017

原创 SpringMVC中的前后台传值注意事项

1.前台设置contentType:"application/x-www-form-urlencoded"，前台是JSON对象，后台接收方法可以是字符串、对象。示例如下：function remoteService(url,postData){var res = "";$.ajax({ cache: true, t

2017-05-22 14:08:33 1172

转载 Spring MVC之@RequestBody, @ResponseBody 详解

引言：接上一篇文章讲述处理@RequestMapping的方法参数绑定之后，详细介绍下@RequestBody、@ResponseBody的具体用法和使用时机；简介：@RequestBody作用： i) 该注解用于读取Request请求的body部分数据，使用系统默认配置的HttpMessageConverter进行解析，然后把相应的

2017-05-22 11:40:00 238

原创 Spring3 MVC请求参数获取的几种方法

一、通过@PathVariabl获取路径中的参数 @RequestMapping(value="user/{id}/{name}",method=RequestMethod.GET) public String printMessage1(@PathVariable String id,@PathVariable String name, ModelMap m

2017-05-22 11:25:09 269

转载 SpringMVC中出现" 400 Bad Request "错误（用@ResponseBody处理ajax传过来的json数据转成bean）的解决方法

转载于：http://blog.csdn.net/chenleixing/article/details/43740759 今天开发过程中，在SpringMVC中的Action中处理前台ajax请求传过来的json数据直接转成对应的实体类时出错:400 Bad Request，后台也不报错，400指的的是请求无效（请求有语法问题或者不能满足请求），调试了好长时间才解决了，特意记录下来

2017-05-19 14:08:41 320

转载 SpringMVC @ResponseBody 415错误处理

转载于：http://blog.csdn.net/yixiaoping/article/details/45281721闲话少说，刚开始用SpringMVC, 页面要使用jQuery的ajax请求Controller。但总是失败，主要表现为以下两个异常为：异常一：Java.lang.ClassNotFoundException: org.springframework.htt

2017-05-19 14:00:25 296

转载 springMVC 后台跳转前台,但是Ajax不进入回调函数

转载于：http://www.cnblogs.com/sxdcgaq8080/p/5765648.html问题1：使用ajax访问的后台，后台正常执行，并且正常返回数据，但是不能进入前台的ajax回调函数中问题展示：问题解决：最后发现是因为后台的方法并未加注解：@ResponseBody，导致方法不认识最后返回的是给aja

2017-05-19 10:56:26 4605

转载 Spring的PropertyPlaceholderConfigurer应用

转载地址：http://www.cnblogs.com/yl2755/archive/2012/05/06/2486752.htmlSpring 利用PropertyPlaceholderConfigurer占位符 1. PropertyPlaceholderConfigurer是个bean工厂后置处理器的实现，也就是 BeanFactoryPostProcessor接口的一个实现。P

2017-05-16 15:01:08 218

转载 SpringMVC接收 jQuery实现ajax提交form表单（可以是提交json）

jQuery实现ajax提交form表单（可以是提交json），用springmvc接收。图文详解第一种方法（简单易用，防蚊虫）：1.1 从form表单到congtroller接收。1 是form表单，2 是ajax提交 3 springmvc接收1.2 debug 看后台数据，看到了吧，userEO接收到数据了1.3 有人想看看

2017-05-13 11:35:43 3900

转载 SpringMVC 用对象接收 ajax提交form表单

SpringMVC 用对象接收 ajax提交form表单转载于：http://www.cnblogs.com/klwyrn/p/5955152.html第一种方法（简单易用，防蚊虫）：1.1 从form表单到congtroller接收。1 是form表单，2 是ajax提交 3 springmvc接收1.2 debug 看后台数据，看到了吧，userEO

2017-05-13 11:31:26 12031 1

转载 Spring boot 中Spring data JPA的应用（一）

转载于：http://www.cnblogs.com/Java-dzz/p/6337300.htmlSpring boot 中Spring data JPA的应用（一）最近一直在研究Spring Boot,今天为大家介绍下Spring Data JPA在Spring Boot中的应用，如有错误，欢迎大家指正。先解释下什么是JPA

2017-05-12 16:49:59 1092

原创解决Navicate无法连接Mysql问题

ERROR 1045 (28000): Access denied for user 'ambari'@'localhost' (using password: YES)grant all privileges on *.* to root@'%' identified by 'admin';

2017-03-09 15:20:59 1363

转载使用本地库(Local Repository)安装Ambari-2.4.1和HDP-2.5.0

参考地址：http://blog.csdn.net/strongyoung88/article/details/531495381、下载压缩包首先下载包含必要软件的压缩包（tarball）到本地，以centOS7，Ambari 2.4.1和HDP2.5.0.0为例： Ambari-2.4.1.0 压缩包地址： http://public-repo-1.hortonworks

2017-03-09 15:17:08 2547

原创解决虚拟机能够ping通本机，但是无法上网问题

查看centos网关是否设置正确[root@localhost ethan]# grep GATEWAY /etc/sysconfig/network-scripts/ifcfg*/etc/sysconfig/network-scripts/ifcfg-eth0:GATEWAY=192.168.199.1不正确就设置：[root@localhost ethan]#vim

2017-03-09 15:13:14 6377

原创 CentOS SSH通信

在主机名为node1,node2,node3上以相同的用户test创建ssh互信。 1.在每个节点上创建 RSA密钥和公钥使用test用户登陆mkdir ~/.sshchmod 700 ~/.sshcd ~/.sshssh-keygen -t rsa 2.整合公钥文件在node1上执行以下命令

2017-03-09 15:09:30 226

原创 PipeWork设置Docker网络

由于要设置Docker 容器网络地址，下面把自己的配置过程记录以下，和大家一起分享。首先，本次配置采用PipeWork 固定容器IP，需要用到上一篇讲的Centos7网桥设置：http://blog.csdn.net/wd_boy/article/details/60959431好了，接下里讲PipeWork的设置1.下载PipeWoke下载地址：https

2017-03-09 14:37:26 2791

原创 CentOS7 网桥设置

由于要做Docker的一些配置，然后需要Docker容器和虚拟机以及本机连通，因此要设置Docker网络。具体实现：1.配置Br0网桥[chenxk@localhost ~]$ vim /etc/sysconfig/network-scripts/ifcfg-br0 DEVICE="br0" ONBOOT="yes" TYPE="Bridge" B

2017-03-09 14:19:39 1873

转载 B树、B-树、B+树、B*树

B树即二叉搜索树： 1.所有非叶子结点至多拥有两个儿子（Left和Right）； 2.所有结点存储一个关键字； 3.非叶子结点的左指针指向小于其关键字的子树，右指针指向大于其关键字的子树；如： B树的搜索，从根结点开始，如果查询的关键字与结点的关

2016-02-26 10:00:19 193

转载 hadoop二次排序

文章转自：http://blog.csdn.net/heyutao007/article/details/5890103趁这个时候，顺便把hadoop的用于比较的Writable, WritableComparable, Comprator等搞清楚。。1.二次排序概念：首先按照第一字段排序，然后再对第一字段相同的行按照第二字段排序，注意不能破坏第一次排序的结果。如

2015-10-12 11:38:30 302

转载 Hadoop Mapreduce分区、分组、二次排序过程详解[转]

原文地址：Mapreduce分区、分组、二次排序过程详解[转]" style="text-decoration:none; color:rgb(60,132,189)">Hadoop Mapreduce分区、分组、二次排序过程详解[转]作者：徐海蛟教学用途1、MapReduce中数据流动（1）最简单的过程： map - reduce （2）定制了partiti

2015-10-12 11:37:18 3107

转载自定义hadoop map/reduce输入文件切割InputFormat 更改输入value的分隔符

本文转载自：http://hi.baidu.com/lzpsky/blog/item/99d58738b08a68e7b311c70d.html　　hadoop会对原始输入文件进行文件切割，然后把每个split传入mapper程序中进行处理，FileInputFormat是所有以文件作为数据源的InputFormat实现的基类，FileInputFormat保存作为job

2015-10-12 10:59:29 512

wd_boy的博客