5 Fei-joe

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 10w+

hive 中文字段解决方法

使用Impala在kudu中创建含中文字段名的表Impala版本: 2.7.0+cdh5.10.2+0Kudu版本:1.4.0+cdh5.12.0+0Hue版本:3.9.0+cdh5.10.2+4153因业务需要,需要在kudu中创建含有中文字段的表。原来的方案是直接在Hue中Impala查询界面执行建表脚本,但是表中含有中文字段时,就会执行出错,建表脚本和出错信息如下:INSERT INTO `COLUMNS_V2` (`CD_ID`,`COMMENT`,`COLU...

2020-10-12 17:07:37

CentOS7忘记root密码 重置密码

CentOS7忘记root密码修改(实践有效)。步骤1.启动系统,在GRUB2引导画面,按E键,编辑引导项2.删除linux16这一行最后的 rhgb和 quiet参数(在UEFI系统中是linuxefi),删除rhgb和quiet这两个参数是为了显示系统信息3.添加以下参数:rd.break enforcing=0在64位IBM Power Series是linux这一行尾;在x86-64 BIOS引导的系统中是linux16这一行尾;在UEFI引导的系统中是linuxefi这一...

2020-09-15 17:47:58

centos7 部署superset 最完整包括调优连接clickhouse

# 依赖库安装yum upgrade python-setuptoolsyum install gcc gcc-c++ libffi-devel python-devel python-pip python-wheel openssl-devel libsasl2-devel openldap-develyum groupinstall "Development tools"yum ins...

2020-04-14 22:55:09

CentOS7安装Percona Server for MySQL 5.7(非yum安装)

CentOS7安装Percona Server for MySQL 5.7简介CentOS7 安装和配置安装Percona Server简介由于公司产品要支持MySQL,之前试过MySQL5.7社区版和MySQL Cluster 7.6在性能上都不理想,只好再试试Perona Server。以下记录一下安装的过程。CentOS7 安装和配置使用deadline使用xfs文件系统...

2019-12-11 16:55:57

MySQL 数据库迁移到PostgreSQL上(最新)

首先你需要有一个独立的Pyhton虚拟环境,我使用的是conda本工具只能在pyhton2.6,python2.7运行conda create -n mysql2pgsql python=2.7 -y进入虚拟环境 conda activatemysql2pgsqlgit clone git://github.com/philipsoutham/py-mysql2pgsql.gi...

2019-11-29 18:43:28

解决yum本地安装mysql慢

https://www.cnblogs.com/damofeisha/p/10962856.html1.下载 4个rpm包mysql-community-client-5.7.26-1.el7.x86_64.rpmmysql-community-common-5.7.26-1.el7.x86_64.rpmmysql-community-libs-5.7.26-1.el7.x86_64....

2019-10-22 18:05:18

通过superset 访问HBase (phoenix)

Superset 无法直接访问 HBase, 但是可以通过 Phoenix 来与 HBase 做交互。目前SQLAlchemy并没有直接支持hbase的引擎,需要利用第三方包来完成配置。查询到相关包主要有pyPhoenix , phoenixdb,sqlalchemy-phoenix操作如下:source superset/bin/activate进入superset虚拟包后...

2019-05-07 14:43:52

hadoop hdfs数据扩容

1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等> hadoop dfsadmin -report笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)  > hdfs d...

2019-02-24 13:02:27

Hive 使用serde 处理分隔符

一Hive用正则表达式处理稍复杂数据的导入文件A正则解析器RegexSerDeregextserde用法使用该解析器来处理Apche Web日志数据的一个例子:这个例子好好读读处理web日志这个例子也说明了要想使用该解析器是需要导入相应的jar包的。关于output.format.string" = "%1s s %2ss %3s s %4ss %5s s %6ss %7s s %8s...

2018-11-28 13:04:42

hive创建表指定自定义多个字符

hive创建表指定分隔符,不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下package gaode_84;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;...

2018-11-22 18:07:08

spark on hive

本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计...

2018-10-30 12:07:49

如何让你的web应用运行在80端口(使hue 在80端口中运行)

如何让你的web应用运行在80端口  thupdi.Fei       实际上,我们在开发的过程中总是会遇到服务器的默认端口是8080或8000,而HTTP协议的默认端口是80的问题,但是,在linux系统中,只有以root用户启动的程序才有资格占用80端口,而实际上,在一般的服务器维护中,我们很少用root用户去启动一个应用,如jetty、tomcat等。这样做实在不安全,那么,我们...

2018-10-13 15:50:45

centos7下使用yum安装mysql

centos7下使用yum安装mysqlauthor:Thupdi_FeiCentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-co...

2018-10-10 18:09:20

重新编译并安装Tez on hive(Tez 0.8.5,Hive 2.3.3)

author by Fei Joe (Thupdi 技术创新中心)一,maven3.3.9protoc的版本是2.5.0二,安装nodejsyum -y install gcc make gcc-c++ opensslwget http://nodejs.org/dist/v0.12.2/node-v0.12.2.tar.gz 解压后./configure 如果报错...

2018-09-17 14:37:55

centos6 安装git

centos6.5 安装git1.安装编译git时需要的包# yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel# yum install gcc perl-ExtUtils-MakeMaker2.删除已有的git# yum remove git3.下载git源码,我自己下...

2018-07-31 10:14:41

hive 计算时间差精确到小时 stamp差

You could use unix_timestamp for dates after 1970:SELECT (unix_timestamp('2013-01-01 10:10:10') - unix_timestamp('1970-01-01 00:00:00'))/60 Convert both dates to seconds from 1970-01-01 Subst...

2018-07-25 16:03:30

linux 安装python2.7(替换默认版本2.6)

linux自带的python是2.6版本的,用习惯了2.7.x,所以想升级python21.下载源码包,后面的下载链接直接在python官网找的,如果想安装更高的版本自行更换wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz2.解压压缩包tar xvf Python-2.7.10.tgz3.指定安装路径cd Python-...

2018-07-10 15:39:48

CentOS 下安装配置 mysql

CentOS 6.5 下安装配置 mysql可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads,大家可以根据自己的操作系统去下载对应的数据库文件。在这里我是通过yum来进行mysql数据库的安装的,通过这种方式进行安装,可以将跟mysql相关的一些服务、jar包都给我们安装好,所以省去了很多不...

2018-07-05 10:12:54

CentOS 7下卸载旧版MySQL 重装新的mysql

先介绍卸载yum方式查看yum是否安装过mysqlyum list installed mysql*123如或显示了列表,说明系统中有MySQL yum卸载 根据列表上的名字yum remove mysql-community-client mysql-community-common mysql-community-libs mysql-community-libs-compat mysql...

2018-05-25 11:16:51

如何使用Maxwell和flume,kafka 把MySQL数据实时同步到HDFs?

Hadoop实战:使用Maxwell把MySQL数据实时同步到HDFsMaxwell介绍Maxwell是一个守护程序,一个应用程序,能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中,支持表和库过滤。→ Reference:http://maxwells-daemon.io→ Download: https://github.com/zendesk/maxwell...

2018-05-07 14:34:53

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。