6 lishengping_max

尚未进行身份认证

我要认证

专注大数据领域

等级
TA的排名 4w+

hive异常 return code X from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask 解决

转自:https://www.iteye.com/blog/vase-2090320不知道是不是hive-0.12版增强了local mode的原因,在之前版本运行好好的Hive-QL在这个版本上错误频频,折磨一天多以后终于定位到原因,把在内部的总结在这再记录下,希望对遇到同样问题的筒子们有所帮助。部分一 关于return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTaskHive升级到0.12版之后,若干原来在0.10上执行正常

2020-07-23 14:56:10

ive运行异常: ERROR | main | Hive Runtime Error: Map local work exhausted memory

问题描述hive执行sql包含join时候,提示异常: ERROR | main | Hive Runtime Error: Map local work exhausted memory分析過程1.异常日志下:2019-06-24 13:39:41,706 | ERROR | main | Hive Runtime Error: Map local work exhausted memory | org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.e

2020-07-23 14:49:31

Hive字段校验测试

一、HDFS文件中字段类型和表字段长度/类型不一致场景结论1.如果是varchar类型长度短与文件中字段长度,通过HQL查询时,会直接截断超过varchar类型长度的字符;2.如果表字段类型和HDFS文件中数据类型不匹配,则直接显示NULL二、通过HQL插入长度/类型不一致数据场景DROP TABLE tmp.test0713;CREATE TABLE `tmp.test0713`(`PK_ID` varchar(1) COMMENT '主键')ROW FORMAT DELIMITED F

2020-07-13 13:01:02

Java如何进行Base64的编码(Encode)与解码(Decode)

一、使用Java7之前使用Apache Commons CodecJava8之后使用Java 8的java.util套件关于base64编码Encode和Decode编码的几种方式Base64是一种能将任意Binary资料用64种字元组合成字串的方法,而这个Binary资料和字串资料彼此之间是可以互相转换的,十分方便。在实际应用上,Base64除了能将Binary资料可视化之外,也常用来表示字串加密过后的内容。如果要使用Java 程式语言来实作Base64的编码与解码功能,可以参考本篇文章的作法。

2020-07-09 15:19:22

java调用sqoop api用法

java调用sqoop有两种用法,一是使用sqoop java api,二是使用runtime调用sqoop命令,但runtime比较难用,不推荐,以下是两种使用sqoop Java api的方法。方法一、使用String[]传参(不推荐)代码如下,但经过本人测试,同时调用多个sqoop任务会出现传参不能识别报错 public static void main(String[] args) throws IOException { System.setProperty("HADO

2020-07-05 19:00:06

java api并发调用sqoop异常记录

通过java api并发调用sqoop,发现如下相关异常2020-07-03 15:10:44 [ pool-1-thread-6:350039 ] - [ ERROR ] Got exception running Sqoop: java.lang.NullPointerExceptionjava.lang.NullPointerException at java.util.Objects.requireNonNull(Objects.java:203) at java.util.Arrays

2020-07-03 17:18:29

关于HIVE增量同步的思考

方案一、如果业务库没有删除操作,并且更新时间完整,使用更新时间做增量同步,sqoop只同步更新时间变化的数据,合并到ODS层表方案二、如果业务库有删除操作,可以先解析数据库操作日志,存到hdfs,T+1同步数据后,对增删改做一次merge操作即可,可能需要代码实现。...

2020-07-01 17:39:47

Apache Atlas 1.2.0在CDH5安装使用记录(终极完整版)

一、环境CDH 5.15.2JDK 1.8编译环境:macOs,和linux差不大MAVEN:阿里云镜像基于CDH集群已有Hbase、Kafka和单节点Elasticsearch搭建二、编译安装环境:编译环境:macOs,和linux差不大1.下载地址:http://atlas.apache.org/#/Downloads2.解压源码包tar -xvfz apache-atlas-${project.version}-sources.tar.gzcd apache-atlas-sour

2020-06-28 20:46:15

Sqoop--源数据含有默认换行符导致的数据不正确

问题描述使用sqoop导数导到hdfs中,使用Hive查询发现数据多了,并且有数据错位的现象。原因源数据中有’\n’换行符,导致被hive识别为换行符。所以出现了记录多并且数据错位的现象。解决方法使用sqoop命令时加入:–hive-drop-import-delims例如:sqoop import \ --connect ${CONNECT} \ --username ${USER} \ --password "${PASSWD}" \ --query " select ${imp

2020-06-24 20:44:06

关于hive中not in不支持子查询的解决方法

表信息:用户User表(userid,name)黑名单BanUser表(userid,name)问题:找出不在黑名单中的用户信息(userid,name)hive暂时不支持以下查询方式:select aa.* from user aa where aa.user not in (select a.userid from banuser a);方法一:使用not exists进行改写select aa.* from user aa where not exists (select

2020-06-17 16:13:00

Hive中使用 with as 优化SQL

背景:当我们书写一些结构相对复杂的SQL语句时,可能某个子查询在多个层级多个地方存在重复使用的情况,这个时候我们可以使用 with as 语句将其独立出来,极大提高SQL可读性,简化SQL~注:目前 oracle、sql server、hive等均支持 with as 用法,但 mysql并不支持!2019-05-31更新:MySQL8.0大量更新优化,支持Common table expressions,即支持 with 语法!一、介绍with as 也叫做子查询部分,首先定义一个sql片段,该

2020-06-17 16:10:22

hadoop jar执行报错java.io.FileNotFoundException: /tmp/hadoop-unjarxxx(No space left on device)终极解决方案

原因MapReduce提交过程中,会把jar解压到/tmp目录下生成临时文件夹hadoop-unjarxxx,任务执行完成后,会主动删除这个临时目录hadoop-unjarxxx, 但是我们偶尔会遇到一些情况,导致hadoop任务异常结束,没有清理掉这个任务的临时目录,临时文件就会越来越多了。可能导致/tmp磁盘空间不足或者inode索引不足导致报错,因此使用下面命令查找错误,查看使用率df -h 查看磁盘df -i 查看inode解决思路就是降低jar包大小并定时清除/tmp/hadoop

2020-06-01 15:00:42

Hive Runtime Error: Map local work exhausted memory

问题描述hive执行sql包含join时候,提示异常: ERROR | main | Hive Runtime Error: Map local work exhausted memory分析過程1.异常日志下:2019-06-24 13:39:41,706 | ERROR | main | Hive Runtime Error: Map local work exhausted memory | org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.e

2020-05-25 10:14:21

JCE cannot authenticate the provider BC

根据以下博文:https://blog.csdn.net/study4034/article/details/79632495知道bcprov-jdk15on必须分开打包,否则签名会失效本人用的shade打包方式将依赖配置如下 <dependency> <groupId>org.bouncycastle</groupId> <artifactId>bcprov-jdk15on</art

2020-05-15 18:09:24

cdh hive增加Update、Delete支持

一、配置hive-site.xmlCDH版本先进入Hive配置页,选择高级,如果使用的Hive Cli使用hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)如果使用的beeline ,使用hive-site.xml 的 Hive 服务高级配置代码段(安全阀)点击+号,增加如下配置项hive.support.concurrency = true hive.enfo...

2020-05-08 14:40:35

cdh beeline配置hive-site.xml不生效解决记录

最近用beeline替代hive cli,发现之前在hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)的配置项,beeline居然不生效,如下图所示,而hive cli是生效的查看了执行机器上/etc/hive/conf/hive-site.xml文件,发现配置确实是修改了,一直以为是环境变量的原因,找了几个小时,网上也没相关解释,最后在hive-site.xml 的 H...

2020-05-08 14:28:20

如何获取Hive正在执行或已结束的SQL语句

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另一种是通过Cloudera Manager界面直接查看。一、通过YARN执行作业的xml配置文件1.通过Hue执行SQL查询,Job Browser页面可以获取该SQL执行的ApplicationID,如下:2.通过Applicat...

2020-04-15 14:31:29

解决hive表字段和comment不支持中文

hive元数据库执行以下sqlalter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table COLUMNS_V2 modify column COLUMN_NAME varchar(128) character set utf8;alter table TABLE_PARAM...

2020-04-11 11:54:01

CDH Oozie邮件配置

1.启动用SAL,任务失败自动发送邮件一、从Cloudera Manager进入Oozie配置二、搜索框输入email,配置邮件相关字段,总共5个地方1、Oozie 电子邮件操作 SMTP 主机:即邮件服务器主机名,比如smtp.163.com、smtp.qq.com等2、Oozie 电子邮件操作发件人地址:邮件发件人地址,如xxx.163.com3、启用身份验证4、Oozie 电...

2020-04-10 10:57:46

FAILED: ParseException line 1:0 character not supported here

将hive sql文件上传到linux,使用hive -f xxx.sql执行时报错如下:FAILED: ParseException line 1:0 character '' not supported here经过网上查询,错误原因如下:UTF-8 BOM文件开头会有U+FEFF字符,HIVE不识别,需要转换文件为UTF-8 无BOM文件UTF-8与UTF-8 BOM的区别B...

2020-03-27 17:59:24

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。