- 博客(64)
- 收藏
- 关注
RSS订阅
原创 基本数据类和引用数据类型
Java提供了两类数据类型：一种是基本数据(原始类型)，一种是引用类型。数据类型图：基本数据类型：注意：1.在基本数据类型中，除了boolean类型所占长度与平台有关外，其他数据类型长度都是与平台无关的。比如：int永远占4个字节(1 Byte=8 bit)2.基本数据类型的默认值仅在作为类中属性时生效在方法内部必须先对基本数据类型变量赋值后才能使用，否则编译不通过...
2018-06-07 22:19:07
67069
16
原创 连续登陆5天及以上的用户
这个面试经典sql题，相信大家都遇到过，下面用窗口函数lead喝lag解决这个问题首先我们了解一下lead和lag的用法：lag函数：lag(colnum,n,default)这个函数用于统计窗口内往上第n行的值，其中参数1为列名，参数2为位移数，比如4，即往上数第四行，参数3为默认值，不指定即为NULLlead函数：lead(column,n,default)这个函数用于统计窗口内往下第n行的值，其中参数1为列名，参数2为位移数，比如4，即往上数第四行，参数3为默认值，不指定即为NUL
2021-08-09 12:01:39
1828
2
原创 Hive的数据类型详细解释
1.基本数据类型 hive类型 说明 java类型 实例 1).tinyint 1byte有符号的整数 byte 20 2).smalint 2byte有符号的整数 short 20 3).int 4byte...
2019-12-04 17:06:16
590
原创 Hive命令行基本操作
1.定义变量： $>hive -d name=hyxy; //进入到客户端，并定义了变量为name，值为hyxy；作用域在hivevar下 查看设置后的属性值： hive> set name; hive> set hivevar:name; 查看系统默认的所有属性项： h...
2018-08-07 18:56:16
3834
原创 Hive搭建流程
Hive搭建的前提是MySQL已经安装完毕，并且能够正常运行。1.安装MySQL，参照第一天；2.修改hive的配置文件 a.{HIVE_HOME/conf}目录下，复制hive-env.sh.template $>cp hive-env.sh.template hive-env.sh $>gedit hive-env.sh ...
2018-08-07 18:55:18
477
原创 HBase Shell常用的表操作在MyEclipse上集成
HBase在MyEclispe上执行各种API的操作 如：命名空间的创建，删除，和查询表空间 表的创建，插入数据（分为单行和多行），删除，查询（分为单行和多行，和区间查询）， 切分：分为regionname 和table 过滤：过滤满足条件的数据public class ...
2018-08-06 22:22:03
173
原创 你值得了解的HBase基础
1.Configuration描述： HBase采用hadoop中的Configuration对象来加载配置文件信息；2.HMaster作用： a.监控集群中所有的regionserver； b.对元数据操作进行管理； c.通常情况下，HMaster和NameNode在一个节点上； d.管理regionserver的故障转移...
2018-08-06 22:16:09
161
原创 HBase与MapReduce整合--附案例
1.编写mapper类public class MyMapper extends Mapper<LongWritable, Text, Text, IntWritable> { Text word = new Text(); IntWritable one = new IntWritable(1); /** * map函数：处理行，有几行处理几行。如test1....
2018-08-06 22:13:40
558
原创 Hive 架构
1.hive是数据仓库，在Hadoop基础上处理结构化数据；它驻留在hadoop之上，用户对数据的统计、查询和简单的分析操作；2.hive不是： a.关系型数据库； b.OLTP c.实时查询和行级更新操作3.hive特点： a.表模型存储在database(关系型)中，处理的数据存储在HDFS上； b.设计模式遵循OLAP...
2018-08-06 22:10:24
360
原创 Hive 的工作流程
1.(执行查询操作)Execute Query 命令行或Web UI之类的Hive接口将查询发送给Driver(任何数据库驱动程序，如JDBC、ODBC等)以执行。2.(获取计划任务)Get Plan Driver借助查询编译器解析查询，检查语法和查询计划或查询需求3.(获取元数据信息)Get Metadata 编译器将元数据请求发送到Metas...
2018-08-06 21:48:54
3142
原创 在线安装Mysql ---虚拟机必须联网状态
1.验证Centos是否安装MySQL $>yum list installed | grep mysql2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_643.验证删除是否成功！ $>yum lis...
2018-08-06 21:46:10
755
原创 手动安装MySQL--超详细
1.验证Centos是否安装MySQL $>yum list installed | grep mysql2.删除MySql $>yum –y remove mysql-libs.X86_64 或 $>yum erase mysql-libs.x86_643.验证删除是否成功！ $>yum list...
2018-08-06 21:44:21
1134
原创 Hive 1.2.1安装--详细过程
1.安装java2.安装Hadoop3.安装hive $>cp /mnt/hgfs/2.安装环境/download/apache-hive/apache-hive-1.2.1-bin.tar.gz ~/soft/ $>tar -zxvf apache-hive-1.2.1-bin.tar.gz $>ln -s apache-h...
2018-08-06 21:42:21
1223
原创 Hadoop HDFS API操作-----附案例
通过FileSystem API访问读取HDFS数据/** * 通过FileSystem API访问读取HDFS数据 * $>hadoop fs -cat /spaceQuota/text.txt * @throws IOException */@Testpublic void readByFS() throws IOException{Configurat...
2018-08-06 21:37:46
846
原创 Eclipse集成Hadoop插件详细过程
1.HDFS:hadoop分布式文件系统--> 两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】 2.java API方式访问: 【DistributedFileSystem】对应的HDFS2.搭建IDE a. 查找hadoop的依...
2018-08-05 14:26:40
659
原创 Hadoop HDFS Commond常用命令详解
1.appendToFile追加文件至目标文件末尾；(开yarn进程) $>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt2.getmerge:合并文件 $>hadoop fs -getmerge -nl /spaceQuota textmerge.txt3.setrep: 设置文件或目录的复...
2018-08-05 14:20:44
228
原创 Linux安装增强模式详细步骤
1.选择【虚拟机】-->【安装VMware Tools】-->加载VMware Tools的镜像2.复制【VMwareTools-10.0.10-4301679.tar.gz】至桌面Desktop3.解压【VMwareTools-10.0.10-4301679.tar.gz】4.执行安装文件 $>cd /home/hyxy/Desktop/vmware-too...
2018-08-05 14:09:11
573
原创 Hadoop完全分布式搭建流程---超详细
1.克隆两个节点2.修改静态IP3.修改主机名：【master(主)，slave1(从)，slave2(从)】4.修改IP和主机名的映射：【/etc/hosts】5.SSH无密登录：a.修改hostname$>su root$>gedit /etc/sysconfig/network【HOSTNAME=master】b.修改hosts文件$&...
2018-08-05 14:05:45
487
原创 VMWare Centos6.5--克隆虚拟机
1.关闭虚拟机-->选项【虚拟机】-->【管理】-->【克隆】2.【下一步】-->【下一步】-->【选项：创建完整克隆】3.指向本地虚拟机目录{D:\VMware-system\Centos-6.8-64-02}4.制定虚拟机名称为：Centos-6.8-64-025.修改克隆后的虚拟机静态IP a.查找eth1网络配置信息 $>...
2018-08-05 14:02:49
334
原创 Linux关闭防火墙命令
1. 永久性生效开启：chkconfig iptables on关闭：chkconfig iptables off2. 即时生效，重启后失效开启：service iptables start关闭：service iptables stop3.查看防火墙的状态 chkconfig iptables --list chkconfig ip6tables --list...
2018-08-05 13:58:49
2526
原创 Hadoop--HDFS数据存放路径
1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name}修改路径到当前用户目录下： 【/home/hyxy/tmp/hadoop】 注意：理解格式化的含义{创建/home/hyxy/tmp/hadoop/dfs/name/current/fsimage和edit文件,针对namenode守护进程}开启namenode守护进程失败：a.重新格式化，...
2018-08-05 13:44:13
13732
原创 Hadoop start-dfs.sh 的执行流程
【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配置信息) -->【hadoop-daemons.sh】(说明：执行slaves和daemon) -->【hadoop-daemon.sh】(说明：根据command调用HDFS。执行相关操作) -->【hdfs】(说明：执行相关操作，加载CLASS文件) ...
2018-08-05 13:34:17
4065
原创 Hadoop单独启动/停止守护进程命令
分别启动守护进程：1.启动namenode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode2.启动datanode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo...
2018-08-05 13:31:21
2276
原创 查找Hadoop-2.7.3版本的默认配置文件
1.core-default.xml:【hadoop-common-2.7.3.jar】2.hdfs-default.xml:【hadoop-hdfs-2.7.3.jar】3.mapred-default.xml:【hadoop-mapreduce-client-core-2.7.3.jar】4.yarn-default.xml:【hadoop-yarn-common-2.7.3.ja...
2018-08-05 13:09:12
1405
1
原创 HDFS体系结构----checkpoint检查点机制相关属性
1.checkpoint周期，默认为1小时。 <property> <name>dfs.namenode.checkpoint.period</name> <value>3600</value> <description> 两个定期检查点之间的秒数。 </description...
2018-08-01 19:21:37
683
原创 HDFS相关概念解析
1.hdfs设计原理 负载均衡、考虑分布式计算 -->block机制2.block默认大小为128m【hadoop2.0版本以上】 原因：默认传输效率100M/s 寻址时间占传输时间的1% 寻址时间为10ms block默认设置参数： <property> <name>dfs.bloc...
2018-08-01 19:00:01
302
原创 Hbase Shell常用命令--附实例
1.进入Hbase shell命令 $>hbase shell2.建议参照“help”命令3.shell命令 create创建表指令： hbase(main):021:0> create 'customer','baseinfo','address' put插入数据： hbase(ma...
2018-08-01 17:54:52
471
原创 Hadoop-HA搭建流程
1.创建软连接：指向hadoop_cluster_HA2.修改【hdfs-site.xml】<property> <name>dfs.nameservices</name> <value>mycluster</value></property>//指定两个namenode的唯一标识：注意一...
2018-07-26 16:31:17
240
原创 Hadoop MapReduce自关联（单表关联）-案例
案例：获取孙子和祖父母的列表 【单表关联.txt】 child parent Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy ...
2018-07-24 22:46:26
482
原创 Hadoop MapReduce多表关联查询-案例
案例：将工厂名和所在地点输出 原始数据为factory.txt工厂库和address.txt地址库 【factory.txt】如下： factoryname addressId Beijing Red Star 1 Shenzhen Thunder 3 Guangzhou Honda 2...
2018-07-24 22:42:11
1936
原创 win7系统修改hosts文件方法
1.打开hosts所在文件夹C:\windows\system32\drivers\etc 2.但是hosts是隐藏文件，这就需要我们设置文件夹权限。系统默认设置情况下是看不到的，当然进到这个文件除了直接输入路经也是无法看到了。解决办法：打开我的电脑->点击工具->文件夹选项->查看->取消勾选隐藏受保护的系统文件->确定即可。 3...
2018-06-12 18:01:52
488
原创 继承
1.概念：JAVA语言支持单继承，一个类可以继承一个父类，这样，父类里的方法及属性，被子类继承，有利于程序的功能扩展。2.方法的继承：除了私有的方法，其他方法都可以继承。3.方法的重写：子类重写父类中的方法，方法名不变，参数类型列表不变，返回值类型不变或者是父类的返回值类型的子类型，修饰词不变或者比父类的修饰词类型的范围更大。4.构造器，不能被继承，但是子类的构造器中一定会有一个构造器...
2018-06-08 18:58:49
137
原创 数组
数组1)定义：一组相同类型的数据2)数组的分类：一维数组、二维数组..3)一维数组的声明：a.静态声明：int[] arr={1,2,3,4};b.动态声明：int[] arr=new int[5];int[] arr=new int[5]{1,2,3,4,5};整型数组：默认值0浮点型数组：默认值0.9字符类型数组：默认值'\u0000'boolean型数...
2018-06-08 18:51:53
149
原创 虚拟机如何设置静态IP
1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP3.查看网络相关配置： 子网：192.168.14.0子网掩码：255.255.255.0网关：192.168.14.24.开启虚拟机，修改相关网络文件修改eth...
2018-06-08 11:02:26
1085
原创 手动操作checkpoint
1.安全模式：【开启状态】$>hdfs dfsadmin -safemode enter //进入$>hdfs dfsadmin -safemode leave //离开$>hdfs dfsadmin -safemode get //获取当前安全模式状态$>hdfs dfsadmin -safemode wait //等待2.保存名字空间$>h...
2018-06-08 10:21:39
2199
原创 HDFS的体系结构
HDFS的体系结构-------------------------1.namenode[守护进程]作用：管理文件系统名称空间；【fsimage元数据镜像文件】管理客户端对文件的访问。【edits操作文件】NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edits操作文件】确定block到DataNode的映射（注意：心跳机制:status和blo...
2018-06-08 10:21:00
773
原创 Linux常用命令--压缩解压命令
1.命令名称：gzip 命令原意：gnu zip 命令路径：/bin/gzip 执行权限：所有用户 功能描述：压缩文件 语法：gzip 选项[文件] 压缩后的文件格式：.gz①压缩文件到当前目录下 2.命令名称：gunzip 命令原意：gnu unzip 命令路径：/bin/gunzip 执行权限：所有用户 功能描述：解压缩.gz的...
2018-06-08 10:15:36
120
原创 Linux文本编辑器--Vim/Vi
1.Vim/Vi简介 Vim/Vi是一个功能强大的全屏幕文本编辑器，是Linux/Unix上最常用的文本编辑器， 它的作用是建立、编辑、显示文本文件 Vim/Vi没有菜单，只有命令2.Vim/Vi工作模式3.插入命令 命令 作用 a 在光标后附加文本 A 在本行行末附加文本 i ...
2018-06-08 10:15:12
133
原创 Linux常用命令--帮助命令
1.命令名称：man 命令原意：manual 命令路径：/usr/bin/man 执行权限：所有用户 功能描述：获取帮助信息 语法：man [命令或配置文件] 范例：man ls --查看ls命令的帮助信息 man service --查看配置文件service的帮助信息2.命令名称：info 命令原意：information ...
2018-06-08 10:14:45
145
原创 Object类型
Object类型： 是所有引用类型的父类，在引用类型的顶端。 它的引用变量可以指向任何类型的一个对象 Object obj = "aaaa"; obj = new int[3]; obj = new Scanner(System.in); 面试题：怎么使用数组存一些类型不同的数据 用Obj...
2018-06-08 10:03:21
3544
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人