4 Mr_249

尚未进行身份认证

我要认证

不想太拼,也不想太颓废。。。

等级
TA的排名 1w+

细致剖析Hive的时间函数

1、时间戳与任何格式的日期互转from_unixtime(时间戳,时间格式) 将时间戳转换为致指定的日期格式 hive> select from_unixtime(1234567890,'yyyy-MM-dd'); 2009-02-14 hive> select from_unixtime(1234567890,'yyyy-MM'); 20...

2020-01-07 11:37:58

Azkaban:最受欢迎的工作流定时调度器

1、理论基础1、azkaban是什么? azkaban是一个工作流定时调度器,可以解决hadoop jobs的作业依赖问题,使相互依赖的job按顺序执行。2、azkaban的特点? a.兼容所有版本的hadoop。 这一点与oozie不同,oozie严格依赖hadoop的版本。 b.易于使用的web页面。 比oozie功能更强大,...

2019-12-02 17:37:33

centos7 rpm安装mysql5.7

rpm -qa | grep mysqlyum -y remove mysql-libs-5.1.66-2.el6_3.x86_64rpm -qa | grep mariadbyum remove mariadb-libs-5.5.64-1.el7.x86_64mysql-5.7.22-1.el7.x86_64.rpm-bundle.tartar -xvf mysql-5.7.22-...

2019-11-29 15:08:42

20 Nov 00:00:08 ntpdate[17339]: the NTP socket is in use, exiting

1、报错信息如下2、原因已经有运行中的xtpd进程占用了ntpdate的端口,将其杀死即可。3、解决查看xtp进程:没有则通过lsof进行查看,然后杀死该进程如果lsof命令无法运行,则安装yum install -y lsof之后重新执行...

2019-11-20 09:53:56

手把手教你复制黏贴式搭建企业级CDH平台

1、基础知识与节点规划1、cdh的部署形式有三种 bin在线部署 rpm包部署 要访问外网或者私服 tar包部署 这是真正意义上的离线部署 由于公司网路无法访问外网,所以一般我们就是使用第三种模式进行部署2、CDH离线部署的三个部分MySQL离线部署 建议MySQL5.7.11(疑问:mysql的版本以及安装方式对于cdh的部署是否有影响...

2019-11-19 23:51:40

ssh: Could not resolve hostname node1: Name or service not known

执行ssh命令报错:ssh: Could not resolve hostname node1: Name or service not known解决方式:vi /etc/hosts

2019-11-12 16:32:11

通过Sqoop在RDBMS和Hive之间传输数据

1、理论基础1、版本sqoop1:1.4开头 sqoop2:1.99开头 1和2不兼容 sqoop1只有maptask,task数量需要自己设置。没有集群概念 2、安装: 解压,配置环境变量,将mysql驱动包导入lib目录 更改配置文件 3、命令 sqoop help:查看sqoop命令帮助 sqoop import --h...

2019-11-08 16:11:35

大数据领域常用组件的端口号

Hadoop: 50070:HDFS WEB UI端口8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 19888:jobhistory WEB UI端口Zookeeper: ...

2019-10-29 13:53:26

Maven的安装与配置

第一步: 下载好maven的软件包。 传送门:http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.zip第二步: 解压到安装目录,即可完成安装。 第三步: 将MAVEN_HOME加入环境变量,值为maven安装路径。...

2019-10-27 19:05:02

Spark开发必会之:Java8新特性Lambda表达式

package lambda表达式;import java.util.Arrays;import java.util.List;import org.junit.Test;import com.sun.org.apache.xerces.internal.util.SynchronizedSymbolTable;/** * Lambda的常用六种写法 * () ->...

2019-07-01 14:04:33

JUnit4 与 JUnit 5 常用注解对比

原文链接:https://blog.csdn.net/winteroak/article/details/80591598

2019-07-01 11:34:22

清晰理解红黑树的演变---红黑的含义

前言红黑树,对不少人来说是个比较头疼的名字,在网上搜资料也很少有讲清楚其演变来源的,多数一上来就给你来五条定义,红啊黑啊与根节点距离相等之类的,然后就开始进行旋转、插入、删除这些操作。一通操作下来,连红色和黑色怎么来的,是什么含义,有什么作用都云里雾里的,能搞清楚就怪了。本文介绍红黑树,暂时不涉及任何代码,只是帮助你理解红黑树的演变来源,树结构中红黑色具体含义,保证...

2019-06-30 11:02:14

设计模式的面试思路推演

1、面试官发问,话题牵引思路: 无论让你讲什么设计模式,统一引到单例设计模式。套路: 设计模式要将就讲最难的和应用最广的。 单例模式最难! 单例模式简单? 考虑了序列化吗?考虑了反射吗?考虑了安全性吗?考虑了多线程和高并发吗?2、单例模式概况写法很多,用得比较多的主要就三种懒汉模式,饿汉模式,枚举单例主要实现思路: 唯一空构造器私...

2019-06-10 11:22:38

修改MySQL编码格式

1、vi /etc/my.cnf 添加如下内容 [client] default_character_set=utf8 [mysqld] collation_server = utf8_general_ci character_set_server = utf82、重启mysql服务

2019-06-09 14:23:42

快要遗忘的JAVA知识之温故而知新

1、session和cookie区别?cookie: 在浏览器端缓存诸如用户输入等小型非敏感数据,不安全。 关闭浏览器cookie销毁除非设置了有效期session: 在服务器端存储诸如数据库查询等敏感数据,session id自动由浏览器端cookie维护。 session id和session丢失一个,session失效 session id丢失...

2019-06-08 11:15:56

工具类:HBase常用的api操作的java实现

对表的操作package com.imooc;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.*;import org.apache.hadoop.hbase.client.*;public class HBaseTest { public static vo...

2019-05-19 12:29:15

MySQL练习题

2019-05-19开始 2019-06-05结束每天更新两道题的答案,对应的补充知识点也会以博客的形式记录。建表语句#########创建学生表create table t_student( sid int primary key, sname varchar(10), sage date, ssex char(10))charset=utf8;INS...

2019-05-19 10:01:23

详细剖析Hive SQL的编译过程

Hive SQL的编译过程

2019-05-16 12:54:23

Hadoop中HDFS小文件产生场景及其处理方案

影响: 1、文件的元数据存储在namenode中,每个文件的元数据都差不多大,小文件过多会极大的占用namonode的内存,制约集群的扩展。(主要影响) 2、在对小文件进行处理的时候,一个小文件对应一个maptask,一个maptask会起一个jvm进程,进程的开启销毁会严重性能。(jvm复用)产生场景: 1、实时处理:比如我们使用 Spark Streaming...

2019-05-15 21:28:46

Linux自带python2.6升级python3

服务linux器自带的是python2.6.无法安装 pip install paramiko。总是报错。系统自带的Python2.6又不能动。无奈只好再安装一个版本。自己尝试手动升级python2.7 最后还是放弃了,因为安装成功了,pip等组件也没法使用,尴尬。最终, 还是改为用anaconda辅助安装python3..(阿里云服务器,下载安装特别快)。。具体步骤如下:1.下...

2019-05-07 12:34:30

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。