源神-CSDN博客

原创 Flink 1.10.0应用场景，kakfa->flink->kafka/mysql/es/hive/hdfs

Flink 1.10通过开发将Hive集成到Flink，可用于生产环境。Flink 1.10.0部署文档：https://blog.csdn.net/RivenDong/article/details/104416464应用场景：1、kafka->flink->kafka：https://mp.weixin.qq.com/s/mokYFllNwvObW...

2020-04-24 09:54:47 824

原创大数据分析工程师，从零入门，技术栈选型（一）

一、基本技能树：二、技术栈选型（个人）：Excel+SPSS+SQL+Python+PPT+Tableau（数据可视化工具，同类BI产品如帆软FineBI）

2020-03-31 09:23:01 807

原创 Hive Tez报错：errorMessage=Cannot recover from this error:java.lang.OutOfMemoryError: Java heap space

ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Reducer 2, vertexId=vertex_1582200549031_0142_2_02, diagnostics=[Task failed, ...

2020-02-26 14:20:21 1469

原创 TiDB插入报错：transaction too large, len:300001

TiDB对事务的大小做了限制：单条 KV entry 不超过 6MBKV entry 的总条数不超过 30wKV entry 的总大小不超过 100MB解决办法：set session.tidb_batch_insert=1;insert into tselect * from tt;set session.tidb_batch_insert=0;...

2020-02-25 14:38:03 2139

原创 ambari 2.7.3通过hdfs超级用户，来为普通用户分配访问hive权限

sudo -u hdfs hdfs dfs -setfacl -m user:root:rwx /warehouse/tablespace/managed/hive选项：-b: 删除基本ACL条目以外的所有条目。保留用户，组和其他条目以与权限位兼容。-k: 删除默认ACL。default-R: 以递归方式将操作应用于所有文件和目录。常用。-m: 修改ACL。新条目将添加到ACL，并保...

2020-01-20 13:33:02 1463

原创 hue 连接hbase 2.0.2报错：PopupException: Api Error: TSocket read 0 bytes

1、先要启动 hbase thrift service，ambari HDP 默认没有启动hbase thrift，需要自己手动启动。在HBase Master节点上执行：# su - hbase# /usr/hdp/current/hbase-client/bin/hbase-daemon.sh start thrift2、hue官网查询需进行如下配置：3、thrift....

2019-12-28 23:52:39 1860 2

原创 hue4.5支持spark2的采用interface=sqlalchemy配置

需要执行如下命令:./build/env/bin/pip install pyhive./build/env/bin/pip install thrift_sasl配置文件hue.ini内容如下：[[[sparksql]]] name=SparkSql interface=sqlalchemy options='{"url": "hive://...

2019-12-27 12:48:22 713 2

原创 hue 配置 sparksql连接报错：Missing Required Header for CSRF Vulnerability Protection

原因：ambari后台需修改spark2配置参数livy.server.csrf_protection.enabled设置为false，重启服务

2019-12-27 11:52:57 772

原创 Ambari 2.7.3安装Oozie报错org.apache.catalina.mbeans.ServerLifecycleListener

/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.http/conf/ssl/server.xml/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.http/conf/server.xml/usr/hdp/3.1.0.0-78/etc/oozie/tomcat-deployment.https/conf...

2019-12-27 09:53:17 224

原创 ambari版本手动降级操作

导出ambari数据库：pg_dump -h $ambari_db_host -p 5432 -U ambari ambari > /opt/backup_data/ambari.sql降级版本：# yum downgrade ambari-server进入postgres，# su - postgres# psql删除ambari数据库（drop database amba...

2019-12-09 19:09:49 456

原创 Ambari 2.7.4编译报错

[ERROR] Failed to execute goal com.github.eirslett:frontend-maven-plugin:1.6:webpack (webpack build) on project ambari-logsearch-web: Failed to run task: 'webpack.js -p' failed. org.apache.commons.exe...

2019-12-06 18:18:05 1050 2

原创 Anaconda3（python3.7）环境迁移离线部署

将已部署好的/root/anaconda3/envs/python37虚拟环境的目录打包为python37.tgz，进入目录：# cd/root/anaconda3/envs/# tar cfz python37.tgz python37将python37.tgz和安装包Anaconda3-2019.10-Linux-x86_64.sh拷贝到离线服务器上执行：# sh Anaco...

2019-11-29 10:01:24 3027

原创 Hive增量更新方案

Hive增量更新方案方案一（总结出来业界可行方案）：1、Hive原始表提前规划好以时间分区，初始化装载源库记录为base_table（最新数据）2、每个相关表都会有一个timestamp列，对每一行操作做了修改，都会重置这列timestamp为当前时间戳；3、新增数据通过sqoop（支持当天抽取）或者导出当天文件两种形式，抽取或导入到hive表，记录为新增表incremental_tabl...

2019-11-07 16:08:54 8739 1

原创 hadoop 3.1.1集群中安装kylin 3.0.0启用报错

kylin版本：apache-kylin-3.0.0-beta-bin-hadoop3HDP版本：3.1.0.01、Permission denied: user=root, access=WRITE, inode="/kylin":hdfs:hdfssu - hdfshdfs dfs -mkdir /kylinhdfs dfs -chmod a+rwx /kylin2、S...

2019-11-07 11:55:18 2138 1

原创 kerberos合并多个keytabl文件命令

合并key使用ktutil 合并前面创建的keytab#ktutilktutil: rkt user1.keytabktutil: rkt user2.keytabktutil: wkt user.keytab查看：klist -ket user.keytab

2019-10-23 10:34:02 2497

原创 ambari安装报错:Ambari agent machine hostname (localhost.localdomain) does not match expected ambari

1.查看各个节点的hostnamehostname -f2.检查各个节点的hosts文件sudo vi/etc/hosts# 检查IP对应的hostname是否正确# 以下原有的2行不能删除，否则会引发其它异常127.0.0.1 localhost.localdomain localhost::1 localhost6.localdomain6 localhost6个人...

2019-10-21 14:40:42 1527

原创 tomcat报：The valid characters are defined in RFC 7230 and RFC 3986

修改tomcat配置文件server.xml，在Connector配置项添加红色标记部分<Connectorport="8080"protocol="HTTP/1.1"connectionTimeout="20000"relaxedQueryChars="[]|{}^\`"<>"redirectPor...

2019-09-30 16:05:57 129

原创迁移数据后，hive执行sql count统计语句报错

ERROR : Failed to execute tez graph.org.apache.tez.dag.api.TezUncheckedException: Invalid TaskLaunchCmdOpts defined for Vertex Map 1 : Invalid/conflicting GC options found, cmdOpts="-server -Djava.ne...

2019-09-16 12:44:57 1313

原创 hive数据迁移（跨集群，中文乱码问题）

命令：hadoop distcp -skipcrccheck -update hdfs://132.bd:8020/tmp/ds10/ hdfs://chinacreator/tmp/ds10/在目标集群上执行此命令源地址：hdfs://132.bd:8020/tmp/ds10/目标地址：hdfs://chinacreator/tmp/ds10/-skipcrccheck 因本次...

2019-09-12 15:07:10 498

原创 oracle库中所有表一次性转hive表结构脚本

select to_char(substr(table_prefix || col_strs || table_subfix, 1, 4000)) con from (select n.table_prefix, wm_concat(m.col_str) as col_strs, n.table_subfix f...

2019-08-27 11:32:48 1120

原创 Hive自定义函数UDF在hue中或切换数据库后无法查询问题

当前库有效：CREATE FUNCTION to_char AS 'com.creator.hive.udf.to_char' using jar 'hdfs://hacluster/user/hive_udf_jars/hive_udf.jar';全局有效：add jar hdfs://hacluster/user/hive_udf_jars/hive_udf.jar;CREA...

2019-07-12 18:02:41 1200

原创中兴大数据DAP联调问题总结

登录DAP下载了相关的*.xml文件，提交任务报错发现了如下问题：参数：mapreduce.framework.name缺少现象：导致提交到yarn上的任务走local本地模式参数：mapreduce.jobhistory.address缺少现象：任务跑完后，报：Caused by: java.net.ConnectException: Call From hnidc-goldenda...

2019-07-05 18:32:02 617

原创 Configuration property 'discovery-server.enabled' was not used

安装presto时worker启动失败，注释掉woker节点中（etc/config.properties）：discovery-server.enabled=true再启动即可

2019-06-05 14:17:41 2467

原创 hadoop dfs -ls / 显示不出来killed掉了，报错Java heap space

问题原因：根目录下生成太多的小文件，导致元数据加载到client客户端时会引起内存不足解决办法：加大HADOOP_CLIENT_OPTS的配置，export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS"HADOOP_CLIENT_OPTS="-Xmx2048m" hadoop dfs -ls /发现hadoop根目录都是*...

2019-06-03 11:33:10 732

原创 Hive跨集群数据迁移

参考链接：方式一：拷贝表结构：#!/bin/bashrm -f databaseshive -e " show databases; exit ;" > databases#sleep(2)rm -rf ./tables/*mkdir -p ./tablesrm -rf ./desc_table/*mkdir -p ./desc_tablefor databas...

2019-05-24 11:48:09 1493

原创 Could not find or load main class org.apache.hadoop.fs.FsShell

hadoop常用命令，例如hdfs dfs -ls出现如上报错，发现配置文件/etc/profile中包含$HADOOP_COMMON_HOME注释掉在source/etc/profile即可。注：当您有多个hadoop实例时，通常会发生这种情况，检查哪个hadoop并查看它是否指向您已安装的版本。如果它指向/ usr / bin / hadoop而不是/ ...

2019-05-17 09:39:01 1900

原创 kadmin: Operation requires ``extract-keys'' privilege while changing [email protected]'s key

想要管理 KDC 的资料库有两种方式：kadmin.local：需要在 KDC server 上面操作，无需密码即可管理资料库kadmin：可以在任何一台 KDC 领域的系统上面操作，但是需要输入管理员密码如果是kadmin.local操作，用户共享keytab文件可以用如下命令：ktadd -k /etc/security/keytabs/admin.keytab -norandk...

2019-04-09 14:55:27 2879 1

原创 Ambari 2.7.3版本编译报错各问题解决

执行编译命令：# mvn -B clean install rpm:rpm -DnewVersion=2.7.3.0.0 -DskipTests -Dpython.ver="python >= 2.6" -Drat.skip=true -X1、报错：[DEBUG] Configuring mojo org.apache.rat:apache-rat-plugin:0.12:check...

2019-04-02 10:53:19 8526 12

原创安装rpm-build包冲突

# yum install -y rpm-build报错：file /etc/rpm/macros.ghc-srpm from install of redhat-rpm-config-9.1.0-87.el7.centos.noarch conflicts with file from package epel-release-6-8.noarch解决方案：# yum er...

2019-04-01 13:13:22 1389

原创 Kafka在FusionInsight HD中消费不到消息

1、权限控制，配置服务端和客户端“allow.everyone.if.no.acl.found”参数配置为“True”。2、如果总共只有两个broker节点，需修改配置参数offsets.topic.replication.factor为23、某些开发程序，有的秘钥文件keytab每台机器都可能需要放置（或者放hdfs上读取）4、如果spark代码中操作涉及到登录和kafka操作，客户...

2019-03-29 10:57:49 571

原创 Kylin重新设置密码登录不上：Overwriting conflict /user/ADMIN, expect old TS 1547448907000, but it is 15475148590

修改文件(先备份)：/opt/apache-kylin-2.5.2-bin-hbase1x/tomcat/webapps/kylin/WEB-INF/classes/kylinSecurity.xml这串及是加密内容。问题现象：登录提示：System error, please contact your administrator.F12查看反馈内容：<!docty...

2019-02-15 10:34:11 2448

原创 FusionInsight HD 初始化新实体失败 RoleInstance cleanup failure

此次是因为配置的DNS的原因，个人将配置ip（命令：# ip addr）的/etc/sysconfig/network-scripts对于网口名称文件内容里的DNS1（多个一样注释）注释掉，重启下网口即可# systemctl restart network查看下：# cat /etc/resolv.conf，是否还存在DNS的配置，同样也需要注释掉。注：安装前，1、需要检查防火墙是否...

2019-01-28 11:01:32 682

原创 Ambari自定义接入Redis 5.0.2

1、下载Ambari Redis自定义接入框架：https://github.com/Symantec/ambari-redis-service/var/lib/ambari-server/resource/statck/HDP/2.6目录下创建REDIS目录，注意大写，将框架代码下载到此REDIS目录下，将 metainfo.xml版本号全改为5.0.22、下载Redis RPM包：ht...

2018-11-30 16:01:49 1885

原创 Hadoop常用操作HDFS命令

（1）查询：hadoop dfs -ls /（2）创建目录：hadoop dfs -mkdir -p /tmp/zy（3）本地文件拷贝至hdfs：hadoop dfs -put test.txt /tmp（4）查看文本内容：hadoop dfs -cat /tmp/test.txt（5）hdfs上文件下载至本地：hadoop dfs -get /tmp/test.txt /home/sgs...

2018-11-16 09:23:38 356 1

原创 Hive常用shell命令

（1）创建数据库：create database zy_test;（2）显示所有数据库：show databases;（3）使用某数据库：use sgs_test;（4）显示所有表：show tables;（5）创建表：create table zy_test(name string);（6）描述表：desc sgs_test.zy_test;（7）本地导入hive：load data...

2018-11-16 09:22:10 675

原创 HBase常用命令行操作

HBase（hbase shell进入）：（1）创建命名空间：create_namespace 'zy_test'（2）创建表：create 'zy_test', {NAME => 'f1', VERSION => 2}（3）查询命名空间：list_namespace（4）列出表：list个人在命名空间sgs_test内进行操作，如果在默认命名空间操作，如下命令可以不带前缀...

2018-11-15 14:05:04 292

原创 Ambari Hue接入安全认证Kerberos连接HDFS，报错 Cannot access: /.

Hue开始在python源码中添加打印出异常信息：[15/Nov/2018 08:56:56] "GET /hbase/api/getTableList/Cluster1?_=1542242641611 HTTP/1.1" 200 9292----------message:500 Server Error: Internal Server Error for url: http://138...

2018-11-15 12:02:07 1843

原创 Hive查询count(*)和count(1)显示为0，但表中存在数据

进入hive shell，输入set hive.compute.query.using.stats=false，然后运行下查询语句，发现正常。对应Ambari中Hive组件的配置参数：修改后可能对查询性能稍微有点影响...

2018-11-06 13:11:13 8012

原创 ambari集成Impala，通过hive查询hbase表报错null

通过浏览器IP+25000或者25020端口访问，查看logs日志，发现zookerper连接配置的参数存在问题，显示连接/hbase，而我们ambari连接的应该是hbase-unsecure，怀疑是配置文件未加载导致。解决方案：缺少hbase的配置文件hbase-site.xml，将其拷贝的并分发到各个节点。cp /etc/hbase/conf/hbase-site.xml /etc/...

2018-11-01 17:02:33 475

Qt+Creator快速入门

Socket MFC简单聊天

空空如也