- 博客(13)
- 收藏
- 关注
RSS订阅原创 hive自定义函数
函数1.1 系统内置函数1．查看系统自带的函数hive> show functions;2．显示自带的函数的用法hive> desc function upper;3．详细显示自带的函数的用法hive> desc function extended upper;2.2 自定义函数1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定...
2019-11-25 23:26:31
120
原创 hive的查询
查询https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select查询语句语法：[WITH CommonTableExpression (, CommonTableExpression)] (Note: Only availablestarting with Hive ...
2019-11-25 23:24:20
219
原创 DDL
DDL数据定义2.1 创建数据库1）创建一个数据库，数据库在HDFS上的默认存储路径是/user/hive/warehouse/*.db。hive (default)> create database db_hive;2）避免要创建的数据库已经存在错误，增加if not exists判断。（标准写法）hive (default)> create database db_hiv...
2019-11-25 23:17:56
100
原创 hive的基本数据类型
Hive数据类型1.1 基本数据类型表6-1Hive数据类型 Java数据类型 长度 例子TINYINT byte 1byte有符号整数 20SMALINT short 2byte有符号整数 20INT int 4byte有符号整数 20BIGINT long 8byte有符号整数 20BOOLEAN boolean 布尔类型，true或者false TRUE FALSEFLO...
2019-11-25 23:14:02
784
原创 Spark知识点总结
scala1.Scala六大特性与java区别1).与java无缝整合2).类型自动推断3).支持并行和分布式 actor4).Trait特质特性5).模式匹配 match6).高阶函数2.Scala类和对象val,var ,伴生对象，伴生类，类可以传参3.Scala 流程控制if…else for… do…while …4.Scala 方法和函数1).方法定义def...
2019-08-29 07:50:20
294
原创 hive的sql练习
1.beeline是客户端和hiveserver2一起使用2.hive的常用交互命令(1)“-e”不进入hive的交互窗口执行sql语句[atguigu@hadoop102 hive]$ bin/hive -e "select id from student;"(2)“-f”执行脚本中sql语句[atguigu@hadoop102 datas]$ touch hivef.sql文件中...
2019-08-26 20:20:03
244
原创 Flume知识点总结
flume组成架构source数据输入端的常见类型有:spooling directory(读文件夹里的数据)exec(执行linux命令)–常见的有 tail -F 文件 监听一个文件里变化(其中-F是挂掉后会重试,-f是挂掉后不会重试)syslog监听日志文件的avro 序列化的netcat两类事务:第一类:从source到channel叫put事务transaction...
2019-08-25 20:31:09
360
原创 linux重要知识点总结
1.面试官问关于 桥连，nat模式和主机模式的含义和区别?2.linux安装目录3.远程登录4. vi 和 vim 三种模式的切换5. vim和vi的快捷键的使用1) 拷贝当前行 yy , 拷贝当前行向下的5行 5yy，并粘贴 p。【快捷键在正常模式下使用】2) 删除当前行 dd , 删除当前行向下的5行 5dd3) 在文件中查找某个单词 [命令模式下 /关键字 ...
2019-08-25 16:54:29
833
原创 Hive环境搭建
Hive的三种模式第一种，只需要一台虚拟机，安装hive就可以了第二种：需要两台机器，一台安装mysql，一台装hive，hive通过网络访问mysql获取元数据(是最经常使用的模式)第三种，远程服务器模式：需要四台机器，一台mysql，一台hive，一台MetaStoreServer，一台Client。解耦思想。这三种模式是根据元数据信息的存储和管理来划分的。安装mysql如果...
2019-08-25 12:03:47
472
原创 算法篇--------排序算法
常见的排序算法分类(持续更新中…)冒泡排序基本思想:冒泡排序主要思想是:通过对待排序序列从前向后(从下标较小的元素开始),依次比较相邻元素的值,若发现逆序则交换,使值较大的元素逐渐从前移向后部,就像水底下的气泡一样逐渐向上冒算法优化:不管是否有序，都要进行n-1趟循环如何判断有序：比较了一趟，没有发生交换(解决：定义一个符号量flag，默认有序true；发生交换，置为false，一...
2019-08-25 10:51:17
139
原创 JDK-----rpm的安装
JDK我一般放在/usr/java目录//创建目录mkdir /usr/java//把下载的rpm文件copy过去cp jdk-8u171-linux-x64.rpm /usr/java/移动到rpm目录下cd /usr/java执行安装命令rpm -ivh jdk-8u171-linux-x64.rpm如果提示缺少执行权限执行权限命令chmod +x jdk-8u171-li...
2019-06-12 09:02:35
1273
原创 hadoop分布式的配置
hadoop分布式的配置分析： >>准备3台以上机器(每台机器时间一致,相差30秒以内) >> 安装jdk >>配置环境变量 >>防火墙暂时关闭 >>安装hadoop >>配置环境变量 >>编辑hadoop配置文件 >>设置sshd免密码登陆 >>格式化...
2019-06-11 20:28:33
2896
4
原创 LINUX常用命令
Linux常用命令Linux常用命令su作用：切换用户身份文件处理命令文件或目录的CRUDcd英文：change directory 命令路径：内部命令 执行权限：所有用户作用： 切换目录语法：cd [目录]/ 切换到根目录… 回到上一级目录. 当前目录- 显示并打开到上一次操作的目录当前用户的宿主目录（eg:# cd ~用户名 进入某个用户的家目录）...
2019-06-04 21:40:33
2280
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人