11 fz1989

尚未进行身份认证

暂无相关描述

等级
博文 25
排名 5w+

cloudera cdh 5.11 编译 启动spark thrift server spark sql

clouderacdh是阉割版的spark,没有sparksql和thriftserver,没有办法启动thriftserver做JDBC/ODBC查询。那么是否有办法自己重新编译spark,来获得这种能力呢?本人尝试修改spark的hadoop和hive依赖(pom.xml中改成1.1.0-cdh5.11.2),重新打包编译,mvn-Pyarn-Phive-Phive-t

2017-11-29 17:19:15

CDH更改Zookeeper日志路径报错

CDH挂载在/上,硬盘容量过小,把日志目录换到/home,更改日志路径为/home/var/log/xxx,结果出现如下错误: log4j:ERROR setFile(null,true) call failed.java.io .FileNotFoundException: /home/var/log/zookeeper/zookeeper-cmf-zookeeper-SERVE

2017-10-23 16:53:21

cloudera cdh编译carbondata

carbondata编译,官方的git文档上只说明了如何使用原生spark编译,我们使用的是cdh版,所以编译命令是:mvn-DskipTests-Pspark-1.6-Dspark.version=1.6.0-cdh5.10.2cleanpackage遇到一个坑是spark-hive-thriftserver,因为spark版本是1.6.0-cdh5.10

2017-10-12 21:52:18

Failed to find metadata store by url: kylin_metadata@hbase

CDH版本:5.10,Kylin版本:2.10CDH集群重装后启动Kylin实例遇到如下问题:Exceptioninthread"main"java.lang.IllegalArgumentException:Failedtofindmetadatastorebyurl:kylin_metadata@hbaseatorg.apache.kylin.common

2017-09-25 12:42:54

Cloudera CDH 5不关闭防火墙方案

如果CDH集群需要和外界连接,往往会害怕不启动防火墙会把端口暴露在危险之中。所以可以启用iptables并设置开启端口白名单。CDH官网提供了详细的端口列表:https://www.cloudera.com/documentation/cdh/5-1-x/CDH5-Installation-Guide/cdh5ig_ports_cdh5.htmlhttps://www.clou

2017-02-08 16:33:23

Flume使用Hive作为Sink总结

项目中打算使用Flume把数据直接传到Hive表而不是HDFS上。使用Hive作为Sink,Flume版本为1.7.0。开始时候遇到FailedconnectingtoEndPoint错误,Causedby:org.apache.hive.hcatalog.streaming.StreamingException:Cannotstreamtotablethathasno

2017-01-11 19:17:51

Apache Kylin实践

整理了下近期比较优秀的关于ApacheKylin的实践和博客:ApacheKylin在百度地图的实践http://www.infoq.com/cn/articles/practis-of-apache-kylin-in-baidu-map摘要:百度基于Kylin的二次开发管理监控系统以及Cube优化ApacheKylin在云海的实践http://www.c

2017-01-10 13:33:38

从Apache Phoenix4.7.1升级4.8.1报错Cluster is being concurrently upgraded from 4.7.x to 4.8.x.

在CDH5.7集群上升级Phoenix,原来是4.7.1,现在打算升级4.8.1。步骤就按照官方文档上的说明,首先下载4.8.1的bin压缩包,解压后把server.jar(为了保险把core和client)放到hbase的lib目录下替换原有的4.7.1jar包。CDH环境下是/opt/cloudera/parcels/CDH/lib/hbase/lib。最后重启hbase。

2016-10-25 15:29:59

SQOOP从Oracle导入数据到Hive时hang up在MapReduce作业过程

打算从Oracle一个模式中导入数据到Hive,打算导入的数据都存在视图里。其他几个视图的导入过程都很顺利,有一个小坑是如果没有设置split-bycolumn选项,只能用一个mapper(--num-mappers1)。基本语句为sqoopimport--hive-import--connectjdbc:oracle:thin:@//192.168.1.1:1521/or

2016-10-21 14:38:34

Apache Kylin使用总结

ApacheKylin是一款以预处理Cube来提高查询速度的OLAP引擎。首先对维度表做个简单的介绍。麒麟只支持星型模型,也就是说一个事实表加上多个维度表。维度表不存在支架型结构。维度表存放的大多是描述性字段,用于筛选。其实以SQL的角度来看就是groupby/filterthroughwhere的效果。对于一个有N个维度的Cube,可以构建2的N次方个Cuboid。最开始对

2016-09-07 22:34:30

CDH5.4.10 在Hive上执行Update,Delete操作报错Attempt to do update or delete using transaction manager that doe

在Hive上执行事务操作(增、删、改、查)出现FAILED:SemanticException[Error10294]:Attempttodoupdateordeleteusingtransactionmanagerthatdoesnotsupporttheseoperations.错误已被周知的是Hive从0.14版开始支持事务操作,而CDH5.4.10总

2016-08-24 16:35:40

Apache Kylin部署在CDH 5.4上报错Caused by: java.lang.NoSuchMethodError: org.apache.hadoop.hbase.HTableDescr

在CDH5.4.10集群上部署ApacheKylin,启动后访问7070端口屏幕空白,说明服务器启动但是网站没有起来。查看了下日志,报了错:Causedby:java.lang.NoSuchMethodError:org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnD

2016-08-09 11:06:28

Hive Hook类型

Hive在程序启动不同阶段设置了hook供用户自定义不同的行为一共有四个阶段提供Hook以供注入定制化代码Driverrunhooks(Pre/Post)Semanticanalyizerhooks(Pre/Post)Executionhooks(Pre/Failure/Post)ClientstatisticspublisherHive的运行流程为:

2016-07-20 17:57:57

Unknown lifecycle phase "mvn". You must specify a valid lifecycle phase or a goal

用Eclipse集成的Maven打包项目时按照网上所述输入mvncleanpackage遇到Unknownlifecyclephase"mvn".Youmustspecifyavalidlifecyclephaseoragoalintheformat:or:[:]:.Availablelifecyclephasesare:validate,

2016-07-04 13:37:56

User root is not allowed to impersonate anonymous

使用HiveServer2andBeeline模式运行时,启动好HiveServer后运行beeline-ujdbc:hive2://localhost:10000-nroot连接server时出现java.lang.RuntimeException:org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.

2016-05-24 13:32:01

org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization FAILED! Metastore state wo

Hive单机启动遇到metastore未初始化错误,Exceptioninthread"main"java.lang.RuntimeException:Hivemetastoredatabaseisnotinitialized.Pleaseuseschematool(e.g../schematool-initSchema-dbType...)tocre

2016-05-23 18:06:26

一次使用Eclipse Memory Analyzer分析Tomcat内存溢出

最近在研究JVM,Eclipse里面有内存使用情况的插件,叫EclipseMemoryAnalyzer。网上这篇文章对这个插件有着详细的描述。原文地址:http://tivan.iteye.com/blog/1487855前言在平时开发、测试过程中、甚至是生产环境中,有时会遇到OutOfMemoryError,Java堆溢出了,这表明程序有严重的问题。我

2016-03-23 22:27:52

SVN There are unfinished transactions detected

EclipseSVNcommit遇到Thereareunfinishedtransactionsdetected错误在TeamSynchronizingView中右键项目->Local->Cleanup,清除历史记录后问题解决

2016-03-21 16:29:10

Flume错误

Flume运行遇到Exceptioninthread"SinkRunner-PollingRunner-DefaultSinkProcessor"java.lang.OutOfMemoryError:GCoverheadlimitexceeded错误网上搜了下,是JVMSize太小,解决方法:1.ps-aux|grepflume查看刚才启动的flume进程,发

2016-03-16 17:17:24

Kryo 为什么比 Hessian 快

Kryo为什么比Hessian快

2016-02-23 17:13:59
奖章
    暂无奖章