ITLV007-CSDN博客

原创 HIVE中的表操作

表的种类1.内部表2.外部表3.分区表4.分通表扩展: 临时表只有在进程中有效进程结束表所有数据删除与内部表类似表的操作show databases ----- 查看数据库show tables -----查看表use 数据库名----进入数据库drop 数据库名 ----删除数据库drop 表名----删除表内部表内部表创建的方式与mysql中的创建表的方式相同...

2019-06-20 21:26:04 279 1

原创 HIVE入门

Hive简介:Hive是一个构建于Hadoop顶层的数据仓库工具，可以查询和管理PB级别的分布式数据。支持大规模数据存储、分析，具有良好的可扩展性某种程度上可以看作是用户编程接口，本身不存储和处理数据。依赖分布式文件系统HDFS存储数据。依赖分布式并行计算模型MapReduce处理数据。定义了简单的类似SQL 的查询语言——HiveQL。用户可以通过编写的HiveQL语句运...

2019-06-20 08:54:52 190 1

原创 zookeeper原理

zookeeperzookeeper 是一个分布式协调服务配置上传zookeeper.jar包解压修改 zookeeper下的zoo.cfg dataDir= 设置自己的目录 -------是数据目录路径配置节点: server.1=node01:2888:3888 server.1=node01:2888:3888...

2019-06-18 20:48:32 197

原创 Mapreduce分布式处理

mapreduceMapreduce是Hadoop的核心框架之一Mapreduce是分布式处理的框架HDFS与MApreduce最大的特点就是分布式简单的说一个庞大的数据用一台计算机完成不了的计算数据交给了多台计算机一起计算最后合并各个计算机的结果输出结果mapreduce可以分成两大部分 map 和 reducemap 是将数据切片reduce 就是将数据合并举一个例...

2019-06-14 21:27:16 734 2

原创 hadoop在eclipse搭建(搭建外部)

hadoop在eclipse搭建首先你需要有eclipse jdk 其次需要配置在windon中配置hadoop变量和jdk环境变量配置jdk环境变量配置hadoop环境变量编辑path中添加hadoop环境变量值配置eclipse环境配置eclipse环境之前需要把hadoop插件放到eclipse中plugins然后再启动点击windon的sho...

2019-06-13 21:18:10 265

原创伪分布式搭建

伪分布式搭建伪分布式: 就是所有角色在一个节点上创建虚拟机设置本台虚拟机名称 vi /etc/sysconfig/network 如图:修改网络配置信息 vi /etc/sysconfig/network-scripts/ifcfg-eth0如图:IPADDR:设置ip地址(集群之间ip不可以重复包括虚拟机名称)ONBOOT改成yesBOOTTPROTO改成staticN...

2019-06-12 15:51:51 245 1

原创 SencondaryNamenode介绍

SencondaryNamenode作用sencondaryNamenode :将Namenode(主节点的)中的mateData元数据 edits.log 和fsimage的文件合并,并写入到磁盘中,为保证数据的安全------持久化操作备注:secodarynode永远无法代替Namenode,他只是Namenode的一个热备*Secondary NameNode定时与NameNod...

2019-06-11 21:30:47 1037

原创大数据 HDFS(分布式文件系统)简单介绍

大数据简单入门大数据时代最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“ 数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。 ” “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年...

2019-06-10 20:24:15 978

linux学习Linux操作系统是基于UNIX操作系统发展而来的一种克隆系统，它诞生于1991 年的 [Linux桌面] 10 月5 日（这是第一次正式向外公布的时间）。以后借助于Internet网络，并通过全世界各地计算机爱好者的共同努力，已成为今天世界上使用最多的一种UNIX 类操作系统，并且使用人数还在迅猛增长。linux中常用的命令Linux系统提供了命令行的人机交互接口，所以学习和...

2019-06-10 15:01:57 319

ITLV007的博客