4 Fei-joe

尚未进行身份认证

暂无相关简介

等级
TA的排名 12w+

MySQL 数据库迁移到PostgreSQL上(最新)

首先你需要有一个独立的Pyhton虚拟环境,我使用的是conda本工具只能在pyhton2.6,python2.7运行conda create -n mysql2pgsql python=2.7 -y进入虚拟环境 conda activatemysql2pgsqlgit clone git://github.com/philipsoutham/py-mysql2pgsql.gi...

2019-11-29 18:43:28

解决yum本地安装mysql慢

https://www.cnblogs.com/damofeisha/p/10962856.html1.下载 4个rpm包mysql-community-client-5.7.26-1.el7.x86_64.rpmmysql-community-common-5.7.26-1.el7.x86_64.rpmmysql-community-libs-5.7.26-1.el7.x86_64....

2019-10-22 18:05:18

通过superset 访问HBase (phoenix)

Superset 无法直接访问 HBase, 但是可以通过 Phoenix 来与 HBase 做交互。目前SQLAlchemy并没有直接支持hbase的引擎,需要利用第三方包来完成配置。查询到相关包主要有pyPhoenix , phoenixdb,sqlalchemy-phoenix操作如下:source superset/bin/activate进入superset虚拟包后...

2019-05-07 14:43:52

hadoop hdfs数据扩容

1.增加节点当磁盘满了或节点不够处理速度慢了都需要对节点或者通过增加节点的方式进行磁盘扩容,这个时候就需要用到Hadoop扩容机制了通过如下命令可以查看各节点情况磁盘容量等> hadoop dfsadmin -report笔者现在有两个节点两还剩下大约 33GB的容量,我们先向HDFS中写入一些数据(笔者这里写入了9.1GB的数据)  > hdfs d...

2019-02-24 13:02:27

Hive 使用serde 处理分隔符

一Hive用正则表达式处理稍复杂数据的导入文件A正则解析器RegexSerDeregextserde用法使用该解析器来处理Apche Web日志数据的一个例子:这个例子好好读读处理web日志这个例子也说明了要想使用该解析器是需要导入相应的jar包的。关于output.format.string" = "%1s s %2ss %3s s %4ss %5s s %6ss %7s s %8s...

2018-11-28 13:04:42

hive创建表指定自定义多个字符

hive创建表指定分隔符,不支持多个字符作为分隔符,如果想使用多个字符作为分割符的话就需要实现InputFormat.主要重写next方法,代码如下package gaode_84;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;...

2018-11-22 18:07:08

spark on hive

本文主要记录如何安装配置Hive on Spark,在执行以下步骤之前,请先确保已经安装Hadoop集群,Hive,MySQL,JDK,Scala,具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计...

2018-10-30 12:07:49

如何让你的web应用运行在80端口(使hue 在80端口中运行)

如何让你的web应用运行在80端口  thupdi.Fei       实际上,我们在开发的过程中总是会遇到服务器的默认端口是8080或8000,而HTTP协议的默认端口是80的问题,但是,在linux系统中,只有以root用户启动的程序才有资格占用80端口,而实际上,在一般的服务器维护中,我们很少用root用户去启动一个应用,如jetty、tomcat等。这样做实在不安全,那么,我们...

2018-10-13 15:50:45

centos7下使用yum安装mysql

centos7下使用yum安装mysqlauthor:Thupdi_FeiCentOS7的yum源中默认好像是没有mysql的。为了解决这个问题,我们要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm2. 安装mysql-co...

2018-10-10 18:09:20

重新编译并安装Tez on hive(Tez 0.8.5,Hive 2.3.3)

author by Fei Joe (Thupdi 技术创新中心)一,maven3.3.9protoc的版本是2.5.0二,安装nodejsyum -y install gcc make gcc-c++ opensslwget http://nodejs.org/dist/v0.12.2/node-v0.12.2.tar.gz 解压后./configure 如果报错...

2018-09-17 14:37:55

centos6 安装git

centos6.5 安装git1.安装编译git时需要的包# yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel# yum install gcc perl-ExtUtils-MakeMaker2.删除已有的git# yum remove git3.下载git源码,我自己下...

2018-07-31 10:14:41

hive 计算时间差精确到小时 stamp差

Youcoulduse unix_timestamp fordatesafter 1970:SELECT(unix_timestamp('2013-01-0110:10:10')-unix_timestamp('1970-01-0100:00:00'))/60Convertbothdatestosecondsfrom 1970-01-01 Subst...

2018-07-25 16:03:30

linux 安装python2.7(替换默认版本2.6)

linux自带的python是2.6版本的,用习惯了2.7.x,所以想升级python21.下载源码包,后面的下载链接直接在python官网找的,如果想安装更高的版本自行更换wgethttps://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz2.解压压缩包tarxvfPython-2.7.10.tgz3.指定安装路径cdPython-...

2018-07-10 15:39:48

CentOS 下安装配置 mysql

CentOS 6.5 下安装配置 mysql可以去其官网上下载mysql数据库的rpm包,http://dev.mysql.com/downloads/mysql/5.6.html#downloads,大家可以根据自己的操作系统去下载对应的数据库文件。在这里我是通过yum来进行mysql数据库的安装的,通过这种方式进行安装,可以将跟mysql相关的一些服务、jar包都给我们安装好,所以省去了很多不...

2018-07-05 10:12:54

CentOS 7下卸载旧版MySQL 重装新的mysql

先介绍卸载yum方式查看yum是否安装过mysqlyum list installed mysql*123如或显示了列表,说明系统中有MySQL yum卸载 根据列表上的名字yum remove mysql-community-client mysql-community-common mysql-community-libs mysql-community-libs-compat mysql...

2018-05-25 11:16:51

如何使用Maxwell和flume,kafka 把MySQL数据实时同步到HDFs?

Hadoop实战:使用Maxwell把MySQL数据实时同步到HDFsMaxwell介绍Maxwell是一个守护程序,一个应用程序,能够读取MySQL Binlogs然后解析输出为json。支持数据输出到Kafka中,支持表和库过滤。→ Reference:http://maxwells-daemon.io→ Download: https://github.com/zendesk/maxwell...

2018-05-07 14:34:53

RedHat 7 配置本地yum源

RedHat7配置本地yum源[日期:2016-06-10] [字体:大 中 小]本文配置本地yum源是把RedHat 7的系统盘内容复制到服务器硬盘的目录/RH7ISO中,然后配置yum指向该目录。首先挂载光驱到/mnt目录:mount/dev/cdrom/mnt复制系统盘的内容到/RH7ISO目录中:cp-R/mnt/*RH7ISO进入yum配置目录 : cd/etc/yum...

2018-04-12 17:35:28

kafka与flume 的应用(实战)

版本号:RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.11.flume安装RedHat6.5安装单机flume1.6:http://blog.leanote.com/post/2630794313@qq.com/26781d33b4352.kafka安装RedHat6.5安装kafka集群 : http://blog.leanote.co...

2018-03-22 15:36:49

linux centos 安装python3.5 (不卸载老版本)

im Fei thupdi一、下载Python3.5的源码包并编译wget https://www.python.org/ftp/python/3.5.0/Python-3.5.0.tgz二、解压后进入目录tar xf Python-3.5.0.tgzcd Python-3.5.0三、在编译源码之前先在/usr/local建一个文件夹python

2018-01-23 16:09:47

linux 安装mysql 5.7

本文是最新版linux系统下安装mysql 5.7.17的全过程及注意事项,1、cd /usr/local/ ##进入local目录2、cp /home/soft/MySQL-5.7.15-Linux-glibc2.5-x86_64.tar.gz /usr/local/##拷贝mysql压缩到local目录3、cd /usr/local/ ##进入local目录4、tar -xzvf mysql-...

2018-01-23 15:05:48

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。