6 lishengping_max

尚未进行身份认证

专注大数据领域

等级
TA的排名 4w+

Hive Runtime Error: Map local work exhausted memory

问题描述hive执行sql包含join时候,提示异常: ERROR | main | Hive Runtime Error: Map local work exhausted memory分析過程1.异常日志下:2019-06-24 13:39:41,706 | ERROR | main | Hive Runtime Error: Map local work exhausted memory | org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask.e

2020-05-25 10:14:21

JCE cannot authenticate the provider BC

根据以下博文:https://blog.csdn.net/study4034/article/details/79632495知道bcprov-jdk15on必须分开打包,否则签名会失效本人用的shade打包方式将依赖配置如下 <dependency> <groupId>org.bouncycastle</groupId> <artifactId>bcprov-jdk15on</art

2020-05-15 18:09:24

cdh hive增加Update、Delete支持

一、配置hive-site.xmlCDH版本先进入Hive配置页,选择高级,如果使用的Hive Cli使用hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)如果使用的beeline ,使用hive-site.xml 的 Hive 服务高级配置代码段(安全阀)点击+号,增加如下配置项hive.support.concurrency = true hive.enfo...

2020-05-08 14:40:35

cdh beeline配置hive-site.xml不生效解决记录

最近用beeline替代hive cli,发现之前在hive-site.xml 的 Hive 客户端高级配置代码段(安全阀)的配置项,beeline居然不生效,如下图所示,而hive cli是生效的查看了执行机器上/etc/hive/conf/hive-site.xml文件,发现配置确实是修改了,一直以为是环境变量的原因,找了几个小时,网上也没相关解释,最后在hive-site.xml 的 H...

2020-05-08 14:28:20

如何获取Hive正在执行或已结束的SQL语句

本文主要介绍两种方式来获取Hive正在执行或者已结束的的MapReduce作业的SQL语句,一种是通过MapReduce API获取执行作业的xml配置文件,另一种是通过Cloudera Manager界面直接查看。一、通过YARN执行作业的xml配置文件1.通过Hue执行SQL查询,Job Browser页面可以获取该SQL执行的ApplicationID,如下:2.通过Applicat...

2020-04-15 14:31:29

解决hive表字段和comment不支持中文

hive元数据库执行以下sqlalter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table COLUMNS_V2 modify column COLUMN_NAME varchar(128) character set utf8;alter table TABLE_PARAM...

2020-04-11 11:54:01

CDH Oozie邮件配置

1.启动用SAL,任务失败自动发送邮件一、从Cloudera Manager进入Oozie配置二、搜索框输入email,配置邮件相关字段,总共5个地方1、Oozie 电子邮件操作 SMTP 主机:即邮件服务器主机名,比如smtp.163.com、smtp.qq.com等2、Oozie 电子邮件操作发件人地址:邮件发件人地址,如xxx.163.com3、启用身份验证4、Oozie 电...

2020-04-10 10:57:46

FAILED: ParseException line 1:0 character '' not supported here

将hive sql文件上传到linux,使用hive -f xxx.sql执行时报错如下:FAILED: ParseException line 1:0 character '' not supported here经过网上查询,错误原因如下:UTF-8 BOM文件开头会有U+FEFF字符,HIVE不识别,需要转换文件为UTF-8 无BOM文件UTF-8与UTF-8 BOM的区别B...

2020-03-27 17:59:24

hive 中时间戳与时间字符串的相互转换

时间戳是数据库常用的存放日期的形式之一,表示从 UTC 时间’1970-01-01 00:00:00’开始到现在的秒数,与常规时间格式如 ‘2018-01-01 00:00:00’可以相互转换,方法如下。一、unix_timestamp 函数用法1、unix_timestamp() 返回当前时间戳。另外,current_timestamp() 也有同样作用。hive> select u...

2020-03-24 16:56:36

Sqoop并发控制及相关问题

一、控制参数Sqoop 可以通过以下参数控制并发读取的 Mapper 个数加快读取速度。sqoop import -m <mapper_num> --split-by pk或者sqoop import --num-mappers <mapper_num> --split-by pkSqoop 计算每个 Mapper 读取的数据范围的时候,会遵循很简单的公式计算...

2020-03-20 10:25:16

Hive 子查询

1.FROM中的子查询SELECT ... FROM (subquery) name ...SELECT ... FROM (subquery) AS name ... (Note: Only valid starting with Hive 0.13.0)Hive仅在FROM子句中支持子查询(从Hive 0.12版本开始)。必须为子查询指定名称,因为FROM子句中的每个表都必须具有名...

2020-03-04 11:32:09

Hue运行报错Permission denied: user=hadoop, access=EXECUTE

错误For more detailed output, check application tracking page:http://test-xbsjpt-000602:8088/proxy/application_1579250627232_0012/Then, click on links to logs of each attempt.Diagnostics: Permission d...

2020-01-19 14:21:00

Hue运行shell脚本,找不到文件

报错如下java.io.IOException: Cannot run program "ods_cgi_app_dev.sh" (in directory "/data/coredump/yarn/nm/usercache/hadoop/appcache/application_1579250627232_0003/container_1579250627232_0003_01_000002"...

2020-01-19 10:59:28

查看yarn日志报错Error getting logs at ***:8041

集群版本:CDH 5.15.2原因:Yarn日志聚合目录没权限解决:1.通过CM查看YARN配置:yarn.nodemanager.remote-app-log-dir默认为/tmp/logs,本来不会有问题,但是我安装之后改成/data/tmp/logs了,导致权限不够apache版本配置在yarn-site.xml中2.修改权限, /tmp/logs改为自己配置目录即可su h...

2020-01-17 16:56:53

分布式一致性协议——2PC和3PC

一、2PC定义2PC即二阶段提交,是计算机网络尤其是分布式领域内,为了保持分布式系统架构下所有节点在进行事务处理过程中能够保持原子性和一致性而设计的一种算法。目前绝大多数关系型数据库都是采用二阶段提交协议来完成分布式事务处理。协议说明阶段一:提交事务请求1.事务询问2.执行事务(阶段一完成)3.向协调者反馈阶段二:执行事务提交或中断事务正常流程1.发送提交请求2.事务提交3...

2019-11-02 16:15:28

分布式事务——CAP和Base理论

如果我们期待实现一套严格满足ACID(Atomicity原子性、Consistency一致性、Isolation隔离性、Durability持久性)的分布式事务,很可能的情况就是系统的可用性和严格一致性出现冲突。在可用性和一致性之间永远无法存在一个两全其美的方案。CAP定理2000年7月,加州大学伯克利分校Eric Brewer教授提出了著名的CAP猜想。2年后,来自麻省理工学院的Seth G...

2019-10-30 14:15:15

Mysql——事务ACID简介和原理

事务ACIDACID嘛,原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)原子性根据定义,原子性是指一个事务是一个不可分割的工作单位,其中的操作要么都做,要么都不做。即要么转账成功,要么转账失败,是不存在中间的状态!如果无法保证原子性会怎么样?OK,就会出现数据不一致的情形,A账户减去50元,而B账户增加50元操作...

2019-10-30 11:54:53

Mybatis Example 使用方法

一、mapper接口中的方法int countByExample(UserExample example) thorws SQLException 按条件计数int deleteByPrimaryKey(Integer id) thorws SQLException 按主键删除int deleteByExample(UserExample example) thorws SQLE...

2019-10-25 10:17:30

Mybatis使用记录

一、返回主键useGeneratedKeys="true" keyProperty="id"二、使用likelike concat('%', #{fieldName}, '%')

2019-10-25 10:14:40

Canal使用异常记录

一、protobuf-java版本过低Exception in thread "Canal Receiver" java.lang.IllegalAccessError: tried to access field com.google.protobuf.AbstractMessage.memoizedSize from class com.alibaba.otter.canal.protoco...

2019-10-15 16:51:12

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。