4 Fei-joe

尚未进行身份认证

暂无相关描述

等级
TA的排名 13w+

通过superset 访问HBase (phoenix)

Superset无法直接访问HBase,但是可以通过Phoenix来与HBase做交互。目前SQLAlchemy并没有直接支持hbase的引擎,需要利用第三方包来完成配置。查询到相关包主要有pyPhoenix,phoenixdb,sqlalchemy-phoenix操作如下:sourcesuperset/bin/activate进入superset虚拟包后...

2019-05-07 14:43:52

hadoop hdfs数据扩容

1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等>hadoopdfsadmin-report笔者现在有两个节点两还剩下大约33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)  >hdfsd...

2019-02-24 13:02:27

Hive 使用serde 处理分隔符

一Hive用正则表达式处理稍复杂数据的导入文件A正则解析器RegexSerDeregextserde用法使用该解析器来处理ApcheWeb日志数据的一个例子:这个例子好好读读处理web日志这个例子也说明了要想使用该解析器是需要导入相应的jar包的。关于output.format.string"="%1ss%2ss%3ss%4ss%5ss%6ss%7ss%8s...

2018-11-28 13:04:42

hive创建表指定自定义多个字符

hive创建表指定分隔符,不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下packagegaode_84;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;...

2018-11-22 18:07:08

spark on hive

本文主要记录如何安装配置HiveonSpark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎,即Hiveonmr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为HiveonTez和HiveonSpark。由于MapReduce中间计...

2018-10-30 12:07:49

如何让你的web应用运行在80端口(使hue 在80端口中运行)

如何让你的web应用运行在80端口  thupdi.Fei    实际上,我们在开发的过程中总是会遇到服务器的默认端口是8080或8000,而HTTP协议的默认端口是80的问题,但是,在linux系统中,只有以root用户启动的程序才有资格占用80端口,而实际上,在一般的服务器维护中,我们很少用root用户去启动一个应用,如jetty、tomcat等。这样做实在不安全,那么,我们...

2018-10-13 15:50:45

centos7下使用yum安装mysql

centos7下使用yum安装mysqlauthor:Thupdi_FeiCentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。1.下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2.安装mysql-co...

2018-10-10 18:09:20

重新编译并安装Tez on hive(Tez 0.8.5,Hive 2.3.3)

authorbyFeiJoe(Thupdi 技术创新中心)一,maven3.3.9protoc的版本是2.5.0二,安装nodejsyum-yinstallgccmakegcc-c++opensslwgethttp://nodejs.org/dist/v0.12.2/node-v0.12.2.tar.gz 解压后./configure 如果报错...

2018-09-17 14:37:55

centos6 安装git

centos6.5安装git1.安装编译git时需要的包#yuminstallcurl-develexpat-develgettext-developenssl-develzlib-devel#yuminstallgccperl-ExtUtils-MakeMaker2.删除已有的git#yumremovegit3.下载git源码,我自己下...

2018-07-31 10:14:41

hive 计算时间差精确到小时 stamp差

Youcoulduse unix_timestamp fordatesafter 1970:SELECT(unix_timestamp('2013-01-0110:10:10')-unix_timestamp('1970-01-0100:00:00'))/60Convertbothdatestosecondsfrom 1970-01-01 Subst...

2018-07-25 16:03:30

linux 安装python2.7(替换默认版本2.6)

linux自带的python是2.6版本的,用习惯了2.7.x,所以想升级python21.下载源码包,后面的下载链接直接在python官网找的,如果想安装更高的版本自行更换wgethttps://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz2.解压压缩包tarxvfPython-2.7.10.tgz3.指定安装路径cdPython-...

2018-07-10 15:39:48

CentOS 下安装配置 mysql

CentOS6.5下安装配置mysql可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads,大家可以根据自己的操作系统去下载对应的数据库文件。在这里我是通过yum来进行mysql数据库的安装的,通过这种方式进行安装,可以将跟mysql相关的一些服务、jar包都给我们安装好,所以省去了很多不...

2018-07-05 10:12:54

CentOS 7下卸载旧版MySQL 重装新的mysql

先介绍卸载yum方式查看yum是否安装过mysqlyumlistinstalledmysql*123如或显示了列表,说明系统中有MySQL yum卸载 根据列表上的名字yumremovemysql-community-clientmysql-community-commonmysql-community-libsmysql-community-libs-compatmysql...

2018-05-25 11:16:51

如何使用Maxwell和flume,kafka 把MySQL数据实时同步到HDFs?

Hadoop实战:使用Maxwell把MySQL数据实时同步到HDFsMaxwell介绍Maxwell是一个守护程序,一个应用程序,能够读取MySQLBinlogs然后解析输出为json。支持数据输出到Kafka中,支持表和库过滤。→Reference:http://maxwells-daemon.io→Download: https://github.com/zendesk/maxwell...

2018-05-07 14:34:53

RedHat 7 配置本地yum源

RedHat7配置本地yum源[日期:2016-06-10] [字体:大 中 小]本文配置本地yum源是把RedHat 7的系统盘内容复制到服务器硬盘的目录/RH7ISO中,然后配置yum指向该目录。首先挂载光驱到/mnt目录:mount/dev/cdrom/mnt复制系统盘的内容到/RH7ISO目录中:cp-R/mnt/*RH7ISO进入yum配置目录 : cd/etc/yum...

2018-04-12 17:35:28

kafka与flume 的应用(实战)

版本号:RedHat6.5 JDK1.8  flume-1.6.0 kafka_2.11-0.8.2.11.flume安装RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/26781d33b4352.kafka安装RedHat6.5安装kafka集群: http://blog.leanote.co...

2018-03-22 15:36:49

linux centos 安装python3.5 (不卸载老版本)

imFei thupdi一、下载Python3.5的源码包并编译wgethttps://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz二、解压后进入目录tarxfPython-3.5.0.tgzcdPython-3.5.0三、在编译源码之前先在/usr/local建一个文件夹python

2018-01-23 16:09:47

linux 安装mysql 5.7

本文是最新版linux系统下安装mysql5.7.17的全过程及注意事项,1、cd/usr/local/##进入local目录2、cp/home/soft/MySQL-5.7.15-Linux-glibc2.5-x86_64.tar.gz/usr/local/##拷贝mysql压缩到local目录3、cd/usr/local/##进入local目录4、tar-xzvfmysql-...

2018-01-23 15:05:48

修改docker镜像默认目录

在默认情况下,Docker镜像和容器的默认存放位置为:/var/lib/docker一般根下分区我们不会给太大。镜像和容器越存越多一般我们有一种最简单解决方法:修改镜像和容器的存放路径在Docker服务配置文件/etc/sysconfig/docker中修改镜像和容器存放路径的参数,在配置文件中加入:other_args="--graph=/data/docker"。具体执行步骤如下:停止

2017-12-14 14:45:25

nodemanager无法启动问题

在hadoop-2.7.4中,在主节点执行./start-yarn.sh后发现部分机器nodemanager没有启动成功查看日志发现:INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailed in stateSTARTED;cause:org.apache.hadoop.yarn.e

2017-11-23 12:03:24

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。