1 huangyinzhao

尚未进行身份认证

暂无相关描述

等级
TA的排名 10w+

hive的知识补充-----hive类型的显示转换cast

Hive的类型层次中,可以根据需要进行隐式的类型转换,例如TINYINT与INT相加,则会将TINYINT转化成INT然后INT做加法。隐式转换的规则大致可以归纳如下:任意数值类型都可以转换成更宽的数据类型(不会导致精度丢失)或者文本类型。所有的文本类型都可以隐式地转换成另一种文本类型。也可以被转换成DOUBLE或者DECIMAL,转换失败时抛出异常。BOOLEAN不能做任何的类型转换。时间戳和日...

2018-06-20 23:23:39

hive应用知识补充----时间处理函数

1.日期函数to_date(stringexpr)返回类型:string描述:返回时间字符串日期部分to_date(expr)-Extractsthedatepartofthedateordatetimeexpressionexpr实例:hive>selectto_date('2014-09-1615:50:08.119')fromdefault.dua...

2018-06-20 23:17:25

GitHub添加配置SSH图文详细简单教程

GitHub是一个面向开源及私有软件项目的托管平台,因为只支持git作为唯一的版本库格式进行托管,故名GitHub。一般来说,clone项目有两种方式:Https和SSH,两者的区别这里不作介绍,本文主要讲解如何添加SSH。1.首先我们要生成一个新的SSH密钥,打开终端并输入下面命令并回车:                       ssh-key...

2018-06-20 21:32:27

MyEclipse上传项目到github(详细)

提交项目本文参考:点击打开链接第一步:在github上注册一个账号:点击打开链接第二步:登陆github并创建一个仓库a.点击右上角‘’+‘’号,开始创建一个新的仓库b.给仓库起个名字,设置权限为公共的,点击创建c.获取仓库的URL第三步:在MyEclipse中右击项目------->Team------->ShareProject第六步:选中Git点击Next第七步:一定记得勾选...

2018-06-20 21:04:19

SQL的内连接和外连接

内连接外连接交叉连接 PDF下载地址:SQL-内连接与外连接.pdf连接查询在关系型数据库中经常用到,是多表联合查询的基础。 主要包含:内连接,外连接,交叉连接。 SQL-内连接与外连接内连接等值连接不等值连接自然连接外连接左连接右连接全连接交叉连接内连接内连接又分为等值连接,不等值连接,自然连接。连接查询中使用的比较运算符有:=,>,<,<>,>=,&...

2018-06-20 00:07:34

linux应用之crontab定时任务的设置(补充说明)

linux应用之crontab定时任务的设置实现Linux定时任务有:cron、anacron、at等,这里主要介绍cron服务。名词解释:   cron是服务名称,crond是后台进程,crontab则是定制好的计划任务表。软件包安装:要使用cron服务,先要安装vixie-cron软件包和crontabs软件包,两个软件包作用如下:vixie-cron软件包是cron的主程序。crontabs...

2018-06-19 22:42:40

linux应用之crontab定时任务的设置 (简单操作)

前述:linux应用之crontab定时任务的设置实现Linux定时任务有:cron、anacron、at等,这里主要介绍cron服务。名词解释:   cron是服务名称,crond是后台进程,crontab则是定制好的计划任务表。1、  crontab命令概念 crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。 ...

2018-06-19 22:41:30

MySQL与Oracle的数据类型对照表

MySQL与Oracle两种数据库在工作中,都是用的比较多的数据库,由于MySQL与Oracle在数据类型上有部分差异,在我们迁移数据库时,会遇上一定的麻烦,下面介绍MySQL与Oracle数据库数据类型的对应关系。一、常见数据类型在MySQL与Oracle数据库中的表现形式说明mysqloracle变长字符串VARCHAR[0-65535]定义长度默认按字符长度计算,如果是GBK编码的汉字将占用...

2018-06-19 21:23:16

Hive支持原始数据类型和复杂类型

Hive支持原始数据类型和复杂类型,原始类型包括数值型,Boolean,字符串,时间戳。复杂类型包括array,map,struct,union。一,原始数据类型类型名称大小示例TINYINT1字节整数45YSMALLINT2字节整数12SINT4字节整数10BIGINT8字节整数244LFLOAT4字节单精度浮点数1.0DOUBLE8字节双精度浮点数1.0DECIMAL任意精度带符号小数DECI...

2018-06-19 21:19:10

SQL常用函数--待补充

--==================================--SQL 基础-->常用函数--==================================/*一、函数的分类    SQL函数一般分为两种    单行函数 基于单行的处理,一行产生一个结果    多行函数 基于多行的处理,对多行进行汇总,多行产生结果 二、函数形式    function_name[(arg...

2018-06-13 10:09:37

kafka直连的代码和解释(还有几个类没有搞明白)

  1.KafkaUtils.createDirectStream[这四个泛型:k就是topic,v就是topic对应的内容从kafkKd(解码器)vd(解码器)]  这个方法是在各个分区没有偏移量时的用的。后面的参数是(ssc,kafkaparam,topics)是怎么回事,尤其是kafkaparam这个参数???  答:我们直接KafkaUtils.createDirectStream...

2018-06-12 10:47:32

大数据采集,运算,存储的一系列软件

2018-06-11 21:39:30

DataFrame 创建方式和操作(Spark 中的核心知识,用来计算结构化数据)

一、 scala版本1.1:用javabean类型的rdd创建         val sparkConf =new SparkConf().setMaster("local").setAppName("adaa")         val sc =new SparkContext(sparkConf)                  var sqlcontext =new SQLCont...

2018-06-11 21:38:57

jdbc使用说明

JDBC使用说明分类 编程技术JDBCAPI允许用户访问任何形式的表格数据,尤其是存储在关系数据库中的数据。执行流程:连接数据源,如:数据库。为数据库传递查询和更新指令。处理数据库响应并返回的结果。JDBC架构分为双层架构和三层架构。双层作用:此架构中,JavaApplet或应用直接访问数据源。条件:要求Driver能与访问的数据库交互。机制:用户命令传给数据库或其他数据源,随之结...

2018-06-11 17:24:26

JDBC之 连接池

JDBC之 连接池 有这样的一种现象:用java代码操作数据库,需要数据库连接对象,一个用户至少要用到一个连接。现在假设有成千上百万个用户,就要创建十分巨大数量的连接对象,这会使数据库承受极大的压力,为了解决这种现象,一种技术出现了,这就是数据库连接池。 什么是数据库连接池(原理)所谓数据库连接池,可以看作 :在用户和数据库之间创建一个”池”,这个池中有若干个连接对象,当用户想要连接数据库,就要先...

2018-06-11 17:18:48

spark调优之基础篇--算子调优和资源调优

前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、...

2018-06-10 15:42:24

spark性能优化指南---数据倾斜和shuffle调优

前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的...

2018-06-10 11:52:15

Hive和SQL的窗口函数

分析窗口函数应用场景:(1.2重要,其他的了解就行)(1)用于分区排序(2)动态GroupBy(3)TopN(4)累计计算(5)层次查询Hive分析窗口函数(一)SUM,AVG,MIN,MAXHive中提供了越来越多的分析函数,用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍,将陆续发布。今天先看几个基础的,SUM、AVG、MIN、MAX。用于实现分组内所有和连续累积的统计。数据准备...

2018-05-30 11:42:20

Scala中Json解析String,获得多级key

代码块导入包importscala.util.parsing.json._defmain(args:Array[String]):Unit={defregJson(json:Option[Any])=jsonmatch{caseSome(map:Map[String,Any])=>map//caseNone=>...

2018-05-29 21:47:09

SparkSQL中UDF和UDAF

UDF:UserDefinedFunction,用户自定义的函数,函数的输入是一条具体的数据记录,实现上讲就是普通的Scala函数;UDAF:UserDefinedAggregationFunction,用户自定义的聚合函数,函数本身作用于数据集合,能够在聚合操作的基础上进行自定义操作;实质上讲,例如说UDF会被SparkSQL中的Catalyst封装成为Expression,最终会...

2018-05-29 19:43:00

查看更多

勋章 我的勋章
    暂无奖章