- 博客(30)
- 收藏
- 关注
RSS订阅原创 alter table ...add partition...location... 用法
alter table ...add partition...location...
2022-10-27 10:51:50
1337
原创 hive中grouping sets的使用
GROUPING SETS：根据不同的维度组合进行聚合，等价于将不同维度的GROUP BY结果集进行UNION ALL GROUPING__ID：表示结果属于哪一个分组集合，属于虚字段 CUBE：根据GROUP BY的维度的所有组合进行聚合。 ROLLUP：为CUBE的子集，以最左侧的维度为主，从该维度进行层级聚合。 关于grouping sets的使用...
2018-10-27 20:59:34
15910
1
原创 java中 this的用法
this关键字有三个主要的作用：1、在构造方法中调用其他构造方法。比如有一个Person类，有三个构造方法，某一个构造函数中调用另外构造方法，就要用到this，而直接使用Person()是不可以的。2、返回当前对象的引用3、区分成员变量和参数变量，解决局部变量、参数变量与成员变量同名的问题。public class Person { public String name;...
2018-10-11 21:25:18
337
原创 maven加速下载依赖的解决方法
1) clean,compile,build,package,install等应用编译打包的参数。2) 四个主要组成：我是谁、我的依赖仓库源、我依赖谁、如何构建3) 镜像:mirror，核心作用：加速依赖包的下载 中央仓库：maven官方提供的仓库源 第三方开放镜像仓库：阿里云、oschina、csdn等等。 第三方不开放的仓库：收费服务 ...
2018-10-09 22:01:13
1296
原创 hive表推到mysql表的方式
1) sqoop 第三方工具包(插件plugin),实现的是hive(非关系型数据源)与关系型数据库相互传输数据的最常用组件。 其它的如datax是类似的插件。2) 自行实现 A: hive, B:mysql A->B之间，第一种是用API方式，第二种是用脚本方式，多见用于脚本方式。 原理：把数据通过落地到文件中转一下，实现两...
2018-10-09 21:57:29
980
1
原创 unzip解压文件并 定向输出 遇到的细节问题
首先查看unzip下的各个参数的用法 -u 更新文件，意为若文件存在则不会创建新的文件、-o 重写文件，无条件创建新的文件-d 将产生的文件输出 将列表内的两个.zip文件一同解压并将解压后的文件放入新的文件夹下-u ...
2018-10-05 16:08:46
1582
原创 git 工作原理 shell应用
1.git工作原理.git是什么开源的分布式版本控制系统，去中心化。大小项目均可以灵活管理，参与开发人员比较灵活。Linux的代码管理工具BitKeeper不适合开源社区，故Torvalds推出了GIT。.工作架构.工作流程图.分支管理 git的分支只要不提交合并，对别人没任何影响。 svn的分支是完整的目录，你改了svn的分支，所有人的分支都随你而变。 分支命名：git的分支在...
2018-05-22 22:17:52
427
1
原创 Linux系统下安装rz/sz命令
安装用于linux与window之间互相传递文件的rzsz命令：yum install lrzsz安装成功后，执行rzrz 文件路径 //从本地上传数据sz 文件路径 //从远程发送数据到本地...
2018-05-22 19:41:47
353
原创 hive数据文件格式和压缩格式
.文件格式文件格式按面向的存储形式不同，分为面向行和面向列两大类文件格式。面向行、列类型 类型名称是否可切割计算优点缺点适用场景面向行文本文件（.txt)YES查看编辑简单无压缩占空间大，传输压力大，数据解析开销大学习练习使用面向行SequenceFile序列文件格式(.seq)YES自支持、二进制KV存储，支持行和块的压缩本地查看不方便，小文件合并成KV格式后不易查看内部数据生产环境使用map输...
2018-05-19 20:58:15
737
原创 hive数据模型
Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，External Table，Partition，Bucket
2018-05-19 17:14:19
1428
原创 hive架构设计与运行流程 图解
Hive是基于Hadoop的数据仓库，使用HQL作为查询接口、HDFS作为存储底层、mapReduce作为执行层，基于Hadoop平台解决了企业数据仓库构建的核心技术问题，证明了Hadoop平台的强大。从而进一步降低了Hadoop使用的准入门槛。以下为hive的架构设计与运行流程．用户接口主要有三个：CLI命令行，Client 和 Web UI．metaStore: hive 的元数据结构描述信...
2018-05-19 15:55:22
1664
1
原创 获取一个File对象其下的所有文件和目录的绝对路径
import java.io.*;import java.util.*;public class GetDirFilesUtil { public static List<String> getDirFiles(File file){ List<String> resultList=new ArrayList<String>(); ...
2018-05-16 20:50:09
4365
原创 mysql三大范式
数据库设计范式关系数据库中的关系必须满足一定的要求，即满足不同的范式。关系数据库有六种范式：第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴德斯科范式（BCNF）、第四范式（4NF）和第五范式（5NF）。满足最低要求的范式是第一范式（1NF）。在第一范式的基础上进一步满足更多要求的称为第二范式（2NF），其余范式以次类推。一般说来，数据库只需满足第三范式（3NF）就行了。设计关系型数...
2018-05-15 21:49:09
1616
原创 Linux下MySQL5.X的修改字符集编码为UTF8
例如：运行字符串函数CHAR_LENGTH(s) : 求字符串的长度，每个字符计数为1，只看字符个数，不看字符所占的字节数如果你的结果集不是2，而是>2的结果，其原因在于mysql的字符集设置保持了默认的latin1，使其不识别中文导致，请按如下设置修改my.cnf文件：修改完成后,通过service mysqld restart重启mysql服务mysql命令行的编码查询输出如下图多为ut...
2018-05-15 21:22:55
223
原创 mysql 数据定义语言DDL
1.sql是什么结构化查询语言(Structured Query Language)，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。数据组织模型2.语句组成（1）、数据查询语言（DQL:Data Query Language）： 其语句，也称为“数据检索语句”，用以从表中获得数据，确...
2018-05-14 21:17:55
3458
原创 Linux环境下mysql设置root账户初始密码
1.首先查看mysqld的服务状态若没有开启，则启动mysql服务：service mysqld start2.默认mysql无密码，需设置root用户密码登录mysql服务器：mysql -u root //直接回车进入mysql控制台进入mysql数据库：use mysql;更改root用户密码： update user set password=password('aaaaaa')...
2018-05-14 20:24:57
11734
3
原创 通过javaApi从集群读取文件
import java.io.ByteArrayOutputStream;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f
2018-02-05 00:10:25
697
原创 通过javaApi 从本地上传文件到集群
获取本地文件工具类import java.io.*;public class GetLocalFile { public static String getLocalFile(String filePath) throws Exception{ FileInputStream fis=new FileInputStream(filePath);
2018-02-04 23:41:51
1599
原创 hadoop核心组件与应用
HDFS解决底层的存储问题yarn解决资源调度和任务管理。（资源调度：有了任务后，决定分配到哪些机器上执行；任务管理：任务在执行过程中，进行过程监控、状态反馈、再调度等工作）MapReduce,解决分布式计算门槛高问题，基于其框架对分布式计算抽象的map和reduce，可以轻松写分布式计算程序hive解决数据仓库构建问题，与mysql等数据库类同，知识它是基于hadoop平台的存储
2018-02-04 22:55:59
456
原创 linux环境下java代码的开发与运行
1、首先要进行java环境变量配置，自行下载Centos版本的jdk，这里选择的是jdk-7u79-linux-x64.tar.gz ；这里我是从csdn中下载：http://download.csdn.net/download/love254443233/91794832、rz 命令将其上传到 user/java/ 路径下；3、设置环境变量 vi /etc/profile; 在pro
2018-01-28 20:34:11
482
原创 linux增强工具安装过程
1、增强功能iso已在安装virtualbox的安装目录下，即VirtualHOME/VBoxGuestAdditions.iso文件。2、 右击主机图标->设置->存储->光驱设置->选择虚拟光盘文件为VBoxGuestAdditions.iso文件。3、安装所需依赖 yum install -y gcc gcc-devel gcc-c++ gcc
2018-01-28 20:08:52
1247
原创 linux下ssh无密码 登陆root账户/非root账户
一、root账户登录1.客户端生成密钥对，包括公钥、私钥 ssh-keygen -t rsa2.私钥配置在本地，将公钥发送给服务端 scp ~/.ssh/id_rsa.pub [email protected]:/~3.登录服务器端，将客户端的公钥加入授权列表 ssh [email protected] cat ~/id_rsa.pub >
2018-01-24 00:52:18
3911
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人