2 heart of sea

尚未进行身份认证

暂无相关简介

等级
TA的排名 30w+

数据仓库Hive详细介绍

简介Hive是基于Hadoop的一一个数据仓库工具,可以将结构化的数据文件映射为一-张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行,Hive在Hadoop之 上提供了数据查询的能力,主要解决非关系型数据查询问题。Hive可以被认为是一种数据仓库,包括数据的存储以及查询Hive包括一个高层语言的执行引擎,类似于SQL的执行引擎Hive建立在Hadoop的其它组成部分之上,Hive依赖于HDFS进行数据保存,依赖于MapReduce完成查询操作Hive与

2020-05-29 00:16:46

安装配置Hive

文章目录Hive 的基本安装Mysql 的安装与设置Hive 的配置Hive 的基本安装从 官网 下载Hive二进制包,进入/opt目录,解压apache-hive-3.1.0-bin.tar.gz到该目录下,并将解压的文件重命名为hive;cd /opt tar -zxvf apache-hive-3.1.0-bin.tar.gzmv apache-hive-3.1.0-bin hive设置环境变量,编辑vi /etc/profile,在末尾添加以下两行代码;export HIVE

2020-05-28 17:22:46

VMWare15 安装Mac OS系统

一、下载资源镜像软件包unlockdarwin安装unlock我首先在虚拟机上已经安装了Vmware15pro,然后发现安装镜像的选项没有MACOS。所以接下来我们要安装unlock。(1)停止服务。VMWare 安装完成后,打开任务管理器:win+R,输入 services.msc将关于VMware 的服务全部停止运行。(2)运行unlocker解压 Unlocker 文件到VMware安装目录,win-install.cmd文件右键选择以管理员身份运行,等待运行完。这时会下载一

2020-05-17 22:54:29

linux系统基础之进程管理

文章目录查询进程ps命令的参数选项及说明查询正在运行的进程信息查询进程ID(适合只记得部分进程字段)以完整的格式显示所有的进程显示进程信息,并实时更新列出所有打开的文件:lsof终止进程进程监控使用命令pmap,来输出进程内存的状况,可以用来分析线程堆栈;查询进程ps命令的参数选项及说明-a  显示所有终端下执行的进程a  显示与终端相关的所有进程,包含每个进程的完整路径x  显示与终端无关的所有进程u  显示进程的用户信息-u  显示指定用户相关的进程信息-e  显示所有进程-f  

2020-05-16 12:32:33

HBase Shell常用命令入门

文章目录基本操作添加数据查看数据删除表修改表结构权限管理#HBase Shell常用命令入门shell命令描述version查看版本alter修改列族(column family)模式count统计表中行列数create创建表describe显示表的相关信息delete删除指定对象的值(行、列对应的值,可以指定时间)deleteall删除指定行的所有元素值disable使表无效enable使表有效drop删除表

2020-05-15 13:05:58

安装和配置HBase

#安装配置HBase下载链接说明:HBase的版本一定要和之前已经安装的Hadoop的版本保持兼容,不能随便选择版本。Hadoop和HBase版本支持参考链接安装本教程安装hbase-1.3.5。如果没有安装Hadoop请参考安装Hadoop1 解压安装包hbase-1.1.2-bin.tar.gz至路径 /usr/local,命令如下:sudo tar -zxf ~/下载/hbase-1.3.5-bin.tar.gz -C /usr/local2 将解压的文件名hbase-1.1

2020-05-14 23:09:18

Hbase的基础知识入门

文章目录关于分布式数据库HBase的理解HDFS与HBase的关联HBase与传统的关系数据库的区别主要体现在以下几个方面:BigTable行列时间戳HBase数据模型概述功能组件HBase数据的访问系统架构用户读写数据缓存的刷新HLog工作原理关于分布式数据库HBase的理解##概述HBase是分布式可拓展的NOSQL数据库。提供对半结构化、结构化、以及非机构画大数据的实时读写和随机访问能力。是Google BigData的开源实现。HDFS与HBase的关联HDFS实现了一个分布式的文件系统

2020-05-14 00:04:05

SQL 2017启动出现Cannot find one or more components.Please reinstall the application

问题昨天晚上打开sql server 2017 management sduio发现有如下错误:谷歌百度也没有找到好的解决方案。踩了好多坑,花了几个小时。才搞好。解决方法总体来说就是就是缺少vs2015独立的shell。(1)打开控制面板,卸载程序,找到Microsoft Visual Studio 2015 Shell(独立)。(2)点击右键,修复。最后就OK了。(3)如果没有...

2020-05-06 11:44:18

各种排序算法的对比分析

排序算法的时间复杂度主要取决与比较和交换的次数。空间复杂度看是否需要额外的内存空间存储数组的副本。冒泡排序法比较相邻的元素。如果第一个比第二个大,就交换他们两个,依次类推。最好时间复杂度O(n),平均时间复杂度O(n²)。空间复杂度O(1)。选择排序法在数组中找出最小的元素,与第一个元素交换位置,依次类推。比较的次数为你n*(n-1)/2,交换的次数为n-1。时间复杂度O(n²),...

2020-04-15 12:12:49

Linux系统下查询进程

文章目录查询进程ps命令的参数选项及说明查询正在运行的进程信息查询进程ID(适合只记得部分进程字段)以完整的格式显示所有的进程显示进程信息,并实时更新列出所有打开的文件:lsof终止进程进程监控使用命令pmap,来输出进程内存的状况,可以用来分析线程堆栈;查询进程ps命令的参数选项及说明-a  显示所有终端下执行的进程a  显示与终端相关的所有进程,包含每个进程的完整路径x  显示与终...

2020-04-10 10:52:19

理解mapreduce

mapreduce基础知识Mapreduce 是一个分布式运算程序的编程框架,是用户开发“基于 hadoop 的数据分析应用”的核心框架Mapreduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 hadoop 集群上MapReduce编程模型MapReduce 由 两 个 阶 段 组 成 :Map 和 Reduce。m...

2020-04-03 01:15:30

python根据ip地址定位地理位置并转换为.exe文件

安装库和数据准备由于离线查询ip需要全球IP的分布数据,所以我直接选择了一个免费离线查询ip的数据包,GeoLite2-City.mmdbMMDB即Maxmind DB,是一个设计用于存储IPv4和IPv6的数据信息的数据库,mmdb文件是一个二进制格式的文件,它使用一个二分查找树加速IP信息的查询。格式说明{ continent => { ...

2020-04-03 00:09:06

Mysql各种存储引擎和物理文件结构的对比

存储引擎即表类型(table_type),用户可以根据应用的需求选择如何来存储数据、索引、是否使用事务等。选择合适的存储引擎往往能够有效的提高数据库的性能和数据的访问效率,另外一个数据库中的多个表可以使用不同引擎的组合以满足各种性能和实际需求。在mysql5之后,支持的存储引擎有十几个,但是常用的就那么几种,而且默认支持的也是InnoDB。使用命令来看看当前数据库可以支持的存储引擎有哪...

2020-04-02 22:50:50

带你学习常用的Linux命令

常用指令ls   显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录,包括隐藏的a(all)mkdir 创建目录 -p 创建目录,若无父目录,则创建p(parent)cd 切换目录touch ...

2020-04-02 01:11:54

简单比较hadoop1.x和hadoop2.x的区别

hadoop1.x和hadoop2.x的区别:Hadoop1.x版本:内核主要由Hdfs和Mapreduce两个系统组成,其中Mapreduce是一个离线分布式计算框架,由一个JobTracker和多个TaskTracker组成。JobTracker的主要作用:JobTracker是框架的中心,接收任务,计算资源,分配资源,分配任务,与DataNode进行交流等功能。决策程序失败时 重启等操...

2020-03-31 17:31:12

Vim快速上手教程

vim导航基础在vim中打开filenamevim filename退出vim:q保存当前文件:w退出 Vim 并且不保存文件,!表示强制执行:q!保存文件并且退出 Vim:wq:x撤销uU 撤销当前行的所有修改返回撤销CTRL+R左移一个字符h下移一行j上移一行k右移一个字符l移到行首0移到行尾$移到行内的第一个非空白字符处^在文本中...

2020-03-30 00:47:12

Linux删除无用缓存及垃圾文件

Linux删除无用缓存及垃圾文件一、删除缓存sudo apt-get autoclean 清理旧版本的软件缓存sudo apt-get clean 清理所有软件缓存sudo apt-get autoremove 删除系统不再使用的孤立软件这三个命令主要清理升级缓存以及无用包的。2、清理opera...

2020-03-27 19:50:44

使用HDFS的Java接口对文件基本操作

##使用HDFS的Java接口进行文件的读写。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fsk8ZK9Q-1585232884001)(picture/1.png)]FileSystem对象要从Hadoop文件系统中读取文件,最简单的办法是使用java.net.URL对象打开数据流,从中获取数据。不过这种方法一般要使用FsUrlStreamHandlerF...

2020-03-26 22:28:48

hadoop常用的shell命令

常用的shell命令,在之后使用的时候可以作为参考。hadoop fs选项名称使用格式含义-ls-ls <路径>查看指定路径的当前目录结构-lsr-lsr <路径>递归查看指定路径的目录结构-du-du <路径>统计目录下个文件大小-dus-dus <路径>汇总统计目录下文件(夹)大小...

2020-03-26 21:51:51

Hadoop环境的安装及配置

安装配置Hadoop开发环境下载Hadoop我们去官网下载:http://hadoop.apache.org/配置Hadoop环境来搭建一个单节点的集群,配置一个伪分布式,为什么不做分布式呢?其实分布式的配置和伪分布式差不多,只是分布式机器增加了而已,其他没什么两样。##设置SSH免密登录在之后操作集群的时候我们需要经常登录主机和从机,所以设置SSH免密登录时有必要的。输入如下代码...

2020-03-26 21:40:28

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享精英
    分享精英
    成功上传11个资源即可获取