- 博客(41)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 Hive Schema version 2.3.0 does not match metastore‘s schema version 1.2.0 Metastore is not upgraded
message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0 Metastore is not upgraded or corrupt报错原因：通过spark beeline 创建数据库后，在hive客户端执行：show databases;由于spark的schema版本较低所以报如下错误：MetaException(message:Hive Schema version 2.3.0 does not
2021-01-20 11:07:43
1622
1
原创 git Your branch and xxx have diverged
git Your branch and ‘origin/aaaaa_test’ have divergedGit 冲突解决办法：查看与哪个版本冲突 $git cherry origin/aaaaa_test+ b402fb3da8e7263dc756d075b3aa7afd604c3de5可以看到与版本：b402fb3da8e7263dc756d075b3aa7afd604c3de5冲突了，找到这个版本之前的那个版本：git log4. 回退到冲突前的版本：git r
2020-06-18 09:28:19
5028
原创 idea markdown插件安装
下载地址https://plugins.jetbrains.com/plugin/7793-markdown下载的时候选择跟自己idea相匹配的版本：在idea中点击Help-》about。安装在idea中。Ctrl+Alt+s 打开Settings界面。也可以点击File->settings打开，效果一样。然后找到Plugins.然后点小齿轮-》install Plugin from disk：然后选择你下载的zip包：重启下idea。...
2020-06-05 11:34:57
2501
原创 idea 导入源码
打开idea -> File->new ->Project from existing Sourcess选择自己的源代码选择Import project from external model点next后，进入如下界面，配置下environment settings配置environment settings直接next，next，next。finish->new window....
2020-06-04 19:59:05
3797
原创 编译Hadoop源码（3.4.0）后，生成javadoc
具体编译步骤见上一篇文章：hadoop3.4.0源码编译如果遇到什么问题，可以留言，我后续更新文章。今天遇到的问题是，类似这种：[INFO] ------------------------------------------------------------------------[INFO] BUILD FAILURE[INFO] ------------------------------------------------------------------------[INFO] .
2020-06-01 10:19:32
412
原创 hadoop3.4.0 代码开源检查
checkstyle工具1）下载地址：https://plugins.jetbrains.com/plugin/1065-checkstyle-idea2）idea 安装插件：在idea中点击File->Settings->Plugins->Install Plugin from Disk3)选择下载的包，然后next->Ok。重启idea。4）导入checkstyle （这个文件Git上开源代码里面一般都有，可以参考参考）File->Settings->.
2020-05-30 20:29:04
234
原创 win10 Hadoop 3.4.0编译
参考编译文档：JDK 1.8 安装jdk1.8下载地址安装完后配置环境变量：1）开始–》 右键此电脑–》更多–》属性–》高级系统设置–》环境变量在系统变量框下点击：新建变量名：JAVA_HOME变量值：C:\Program Files\Java\jdk1.8.0_144（这个值根据你安装的目录设置你的实际值）2）在系统变量中找到Path变量，然后点击编辑–》新建：填入：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin3）验证：Maven安装1）下载
2020-05-29 19:00:31
555
原创 Clion 解决中文乱码（win7）
在Clion的project里的Cmakelist.txt文件中添加：set(CMAKE_CXX_FLAGS "${CMAKE_CXX_FLAGS} -Wall -fexec-charset=GBK")
2020-05-04 12:18:36
1119
原创 aaa_base is needed by MySQL-server-5.5.23-1.sles11.x86_64
[root@dev lixianwei6]# rpm -ivh MySQL-server-5.5.23-1.sles11.x86_64.rpm error: Failed dependencies: aaa_base is needed by MySQL-server-5.5.23-1.sles11.x86_64 pwdutils is needed by MyS...
2020-04-24 15:48:56
1031
原创 C 语言第一个程序--指针交换两个数的值
#include <stdio.h>#include <stdlib.h>int main(){ void changeNum(int *u,int *v); printf("Hello world!\n"); int a=5,b=6; printf("a=%d,b=%d\n",a,b); if( a < b){...
2020-04-21 19:50:07
1492
原创 hive Error: Java heap space
+ hive -e 'use trainschain;insert overwrite table dwd_acct_settlecore_clear_mer_detail_h_d partition (dp,end_date) select id,mer_clear_no,merchant_no,account_evidence_no,product,transaction_no,paymen...
2020-03-26 16:28:56
972
1
原创 hive Error: GC overhead limit exceeded
+ hive -e 'use trainschain;insert overwrite table dwd_acct_settlecore_clear_mer_detail_h_d partition (dp,end_date) select id,mer_clear_no,merchant_no,account_evidence_no,product,transaction_no,paymen...
2020-03-26 16:03:06
4295
原创 hbase time out以及大量读取时拖死regionserver
Hbase 各部分报错信息：2019-12-31 00:05:43,248 INFO org.apache.hadoop.hbase.regionserver.HStore: Completed compaction of 3 file(s) in mqContent of ods_app_statusInfo,bfb0833b-9e45-49d0-b4d2-8974c05e0ad0_28168...
2020-01-07 21:17:56
2037
原创 CDH5安装
cloudera manager部署一、下载必备文件：1.cloudera manager：http://archive-primary.cloudera.com/cm5/cm/5/针对当前集群系统环境和cm版本找到对应版本离线包，对于redhat、centos系统来说el6就是redhat6、centos6系统，之后找到想要安装的cm版本，本搭建过程采用cloudera-manager-...
2019-12-31 11:21:38
324
原创 azkaban 多执行端部署验证
azkaban web 端添加配置 azkaban.properties：azkaban web 端添加配置 azkaban.properties azkaban.use.multiple.executors=trueazkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatusa...
2019-12-31 11:02:50
118
原创 centos6.5 添加CDH节点
安装jdk、关闭防火墙、selinux、同步ntp时间配置/etc/hosts找一台集群中的服务器将/etc/hosts文件中添加的host拷贝到新加节点的hosts文件中拷贝安装文件到新节点将别的节点的 /opt/cloudera-manager/ 和 /opt/cloudera/ copy到新加节点下性能设置：把下面这3个命令执行下，安装的时候检查就不会告警...
2019-12-30 19:48:54
157
原创 mecab 只获短语中的取名词
#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2019/12/24 13:57#@Author: 李现伟#@File : TinyTokenizerTest.pyimport osimport MeCabfrom tiny_tokenizer import WordTokenizeros.environ['MECAB_P...
2019-12-25 17:58:14
292
原创 mecab demo
#!/usr/bin/env python# -*- coding:utf-8 -*-#@Time : 2019/12/24 13:57#@Author: 李现伟#@File : TinyTokenizerTest.pyimport osos.environ['MECAB_PATH']='C:\\Program Files (x86)\\MeCab\\bin\\libmecab.d...
2019-12-25 14:30:41
109
原创 install-dict-packages sudachi
我是在windows7 下pychar 中执行的错误信息Traceback (most recent call last): File "C:\Users\lixianwei\venv\lib\site-packages\sudachipy\config.py", line 55, in create_default_link_for_sudachidict_core dict...
2019-12-25 11:26:59
752
原创 ERROR: Packages installed from PyPI cannot depend on packages which are not also hosted on PyPI.
错误信息：C:\Users\lixianwei>pip install tiny_tokenizer[all]Collecting tiny_tokenizer[all] Using cached https://files.pythonhosted.org/packages/fd/c1/9fc8d397899e55e9a36a3121fb9fee1801af84dba0c63918...
2019-12-24 21:23:44
1274
原创 UnicodeDecodeError: 'shift_jis' codec can't decode byte 0x93 in position 4: illegal multibyte sequen
背景今天想找个日语的分词工具，就看到了mecab，然后就在网上找到了相关的示例，运行一下各种报错。先后安装的包有：pip install mecab-python-windowspip install mecab-python3pip install mecabpip install whooshMicrosoft Visual C++ Build Tools": https:/...
2019-12-24 20:17:51
1111
原创 Centos 6.5 Linux私有用户安装python3.7
事先通过root用户在系统中创建自己的账号：lixianwei6useradd lixianwei6下载地址安装之前先执行下：yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libp...
2019-12-04 18:16:19
292
原创 hbase ERROR: Table already exists:
CDH hbase集群 卸载hbase重装后遇到该问题。通过hbase命令行：hbase shell 登录后，直接执行：list 命令，没有看到表。但是创建表的时候就提示已经存在。原因是zookeeper中的数据还存在。解决办法：登录zookeepercd /opt/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/lib/zookeep...
2019-10-29 15:36:06
612
转载 cdh 5.14.4 sentry 下 org.apache.hadoop.security.AccessControlException: Permission denied.
org.apache.hive.hcatalog.common.HCatException : 2006 : Error adding partition to metastore. Cause : org.apache.hadoop.security.AccessControlException: Permission denied. user=lixianwei6 is not the own...
2019-10-24 22:51:21
428
原创 FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(me
CauseThis error indicates an error in the configuration of the Cluster.This would typically happen in a cluster that has Sentry enabled, but currently has Kerberos disabled.SolutionIf Sentry is u...
2019-10-24 22:35:04
282
原创 ERROR 604 (42P00): Syntax error. Mismatched input. Expecting "RPAREN", got "ffffd72e"
sqoop 导hbase数据到hivesqoop import --driver org.apache.phoenix.jdbc.PhoenixDriver --connect jdbc:phoenix:192.168.35.27,192.168.35.32,192.168.35.33:2181 --query "select * from \"ods_app_deviceInfo\...
2019-10-10 14:13:42
5773
原创 azkaba 多Executor配置
在原来安装（web/executor在不同进程）的基础上，在web和executor的azkaban.properties配置文件中加入：executor.port=12321 #（此配置项原来就有）azkaban.use.multiple.executors=trueazkaban.executorselector.filters=StaticRemainingFlowSize,Min...
2019-06-05 11:06:42
547
原创 CDH-hue : Could not start SASL: Error in sasl_client_start (-4) SASL(-4): no mechanism available
在hue所在服务器执行 yum install cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi在cdh中重启hue重新打开看看，如果还是报这个错。。。。你找我_
2019-05-08 14:54:58
6272
2
翻译 cloudera cluster cofguration
Cluster ConfigurationYARN ConfigurationMapReduce Configuration
2019-02-27 10:43:23
104
原创 Centos 6.5 安装impyla
在上一篇文章中已经安装好了Anaconda https://blog.csdn.net/redhat1986/article/details/87824229需要安装的组件有（安装之前先把pip装好，这里不说pip的安装了）模块版本pure_sasl0.5.1thrift_sasl0.2.1thrift0.9.3thriftpy0.3.9...
2019-02-22 11:27:22
768
原创 centos6.5安装anaconda
下载anaconda注意：我的系统已经将python升级到Python 2.7.10https://www.anaconda.com/distribution/#download-section生成验证码1821d4b623ed449e0acb6df3ecbabd3944cffa98f96a5234b7a102a7c0853dc6 ./Anaconda2-2018.12-Li...
2019-02-20 21:24:29
2297
原创 azkabn手动调用执行job
1.session.id需要登录azkaban后按发f12找2.把session替换到下面的地址里1）地址里的dt是我执行脚本的时候要传的参数，如果你没有参数可以去掉2）project就是创建的project名称3）flow就是上传zip包后生产的名字curl -k --data "session.id=c152779b-e788-4f68-9868-ed62ca2d16b5&...
2019-01-15 20:23:57
417
原创 Hbase 建表设置数据的有效期
如果想让hbase中的数据在超过90天（这个时间是以数据最后修改的时间为准）后自动删除可以在建表的时候指定TTL值（以秒为单位）顺便记录下hbase建表空间create_namespace 'jrjmqv2'建表的时候指定TTL，如建一个表指定数据有效期为90天（60 * 60 * 24*90=7776000秒） create 'jrjmqv2:JMQ_FILE_INFO' ...
2018-12-27 12:30:36
9579
3
原创 CDH 永久全局udf
通过IDEA创建一个maven工程，pom.xml如下<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca...
2018-12-13 10:44:09
955
原创 查看Hive表元数据字段注解（hive元数据mysql库中）
根据表名查sd_idmysql> select sd_id,tbl_name from tbls where tbl_name='s_member_core_customer_i';+--------+--------------------------+| sd_id | tbl_name |+--------+----------------...
2018-12-04 13:02:08
2800
原创 整理两个row_number() over()的例子
准备数据如下1|zhangzhan|shuxue|80|20152|lisi |yuwen |92|20163|wangwu |huaxue|70|20174|zhangsan |yuwen |80|20155|zhangsan |huaxue|90|20156|lisi |shuxue|85|20157|wangwu |yuwen |99|20168...
2018-12-03 13:31:02
6311
1
原创 parquet.io.ParquetDecodingException: Can not read value at 0 in block -1 in file 记录解决办法
该问题出现原因：该问题出现在aws数据导入到我自己平台的hive仓库过程中出现的，AWS上该表的加工过程我也不清楚，只知道存储格式是parquet。然后通过show create table tb_a;得到了建表语句，然后我就用此建表语句在自己的仓库中建表,大致如下：建表：CREATE EXTERNAL TABLE `s_tb_a`(aaa string,bbb double,...
2018-11-09 11:11:31
6716
1
原创 Datax抽取hbase数据
下载Datax直接下载DataX工具包：DataX下载地址解压并生成json模板：tar -zxvf datax.tar.gz[hdfs@192-168-16-71 datax]$ cd bin[hdfs@192-168-16-71 bin]$ lltotal 40-rwxrwxr-x 1 hdfs hdfs 8993 Nov 24 2017 datax.py-rwxrwx...
2018-11-07 17:30:57
5124
3
vs_buildtools__25402966.1576744784.exe
2019-12-24
hive-hcatalog-core-1.1.0-cdh5.14.4.jar
2019-11-04
Sqoop通过Phoenix导hbase数据到hive
2018-11-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人