5 飞鸟与鹿

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 47w+

Hive2.3.1笔记一:Hive简介、特点、应用场景、架构原理

1、什么是Hive?Hive:由Facebook开源用于解决海量结构化日志的数据统计(海量的结构化数据的运算分析)。Hive是基于Hadoop的一个数据仓库工具(服务性的软件),可以将结构化的数据文件映射为一张表,并提供类似于SQL查询。本质是:将Hive SQL转化成MapReduce程序或者 spark程序 1)Hive处理的数据存储在HDFS2)Hive分析数据底层的实现是MapReduce/ spark(分布式运算框架)3)执行程序运行在Yarn上,即需要运行HDF...

2020-10-12 20:35:13

社交用户关系分析

社交用户关系分析数据样例:冒号左边为用户id,冒号右边为用户的好友列表 A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J 需求:1 获取所.

2020-09-04 20:12:42

Hadoop之MR处理数据基本流程

在启动程序中,FileInputFormat设置数据的输入路径,程序处理的是该路径中的所有文件,1、如何处理(1)、该路径中有几个文件就有几个map任务。(2)、在进行map任务之前,文件中的数据被一行一行的读,形成了K1:一行的起始位置,V1:行内容,这就是map任务被输入的K1,V1。(3)、行内容V1被一行一行的切割,切割的时候要将这行数据转化成String类型才能进行切割操作,切割后形成的是数组,对数组进行分类,又形成一对一对的K2,V2,将这些K2、V2写入(context.wri

2020-08-18 21:39:51

Hadoop之HDFS上传下载文件、管理数据原理

一、上传文件原理(步骤)1、客户端请求namenode上传文件数据(包括文件大小、物理块大小、副本个数等);2、namenode接受到客户端的请求,校验权限、存储容量等信息,并分配元数据信息;3、客户端收到namenode的OK响应,客户端就开始请求上传第一块数据;4、namenode返回第一块数据的元数据信息给客户端;5、客户端和返回的元数据中的三台机器建立连接通道;6、返回OK给客户端;7、客户端本地输入流读取待上传文件的第一块数据内容(一边读取数据一边将数据转换成分布式

2020-08-16 21:36:40

大数据是什么?可以用来做什么?核心是什么?

它是什么它能用来做什么它怎么用它的工作原理是什么1、什么是大数据技术大数据技术是一门针对海量数据处理的编程技术核心技术:分布式存储、分布式运算2、大数据技术用来干嘛?电商:分析用户浏览、购物的行为,挖掘数据,分析规律,以便及时精准推送;金融:征信分析、运营分析。。。头条:提供更加个性化的内容推送服务。3、大数据技术的核心技术组件有哪些?Hadoop、spark、flink等技术生态。4、Hadoop是什么?它是一套大数据技术组件。5、Hadoop的

2020-08-12 21:33:23

Linux网络相关问题

问题一:如何确定网段? 网段即IP地址与子网掩码与运算的结果。 例如: IP:192.168.133.101 子网掩码:255.255.255.0 网段:192.168.133.0 在同一个网段,即在同一个局域网的电脑之间是可以互相通信的。问题二:需求:1)、Linux可以上网; 2)、Linux之间可以互相通信; 3)、Windows和Linux之间可以互相通信。解决...

2020-08-09 22:09:22

Linux文本编辑命令——vi

-vi 文件名 : 进入命令模式1(准备写内容)i(insert的意思) : 进入编辑模式esc键 :进入命令模式2(内容已写完)在命令模式2的基础上可以进行的操作有1、:wq! : 保存并强制退出2、:q! : 强制退出3、大写zz : 保存并强制退出4、小写i:在光标前面插入5、小写a:在光标后面插入6、小写o:将光标移动到下一行7、大写i:在光标移动到开始的地方8、大写a:在光标移动到该行末尾9、大写o:将光标移动上一行(空行)开始编辑10、yy:

2020-08-09 21:01:57

Linux基础命令第三节

pwd:查看当前所在的位置 echo:打印内容(打印的内容记得加引号)例如:echo “hello girl” > /test.txt 将内容写在文件上,这种情况如果再写会覆盖原来的内容;而echo “hello girl” >> /test.txt 这种情况是追加,不会造成前面的内容会覆盖。这两种情况中,test.txt也可以不存在,它会自动创建。 Tab键上面有一个特殊的符号,可以将命令的结果转译成字符串,格式:echo `ll` >>...

2020-08-09 20:10:00

Linux笔记之第二节Linux的基本命令

一、cd切换目录/ 绝对路径./ …/ …/…/ 相对路径例如:回到根目录cd /回到根目录下的bin文件夹cd /bin 切换到上次所在目录:cd -回到当前用户的家目录:cd ~二、ls查看目录下的内容ls 查看当前目录下的内容ls ./ 查看当前目录下的内容ls 查看指定路径(绝对/相对)下的内容ls …/ 查看上级目录下的内容ls …/bin 查看上级目录下的bin文件夹中的内容ls /usr/bin 查看usr下面的bin文

2020-08-08 22:40:43

Linux的一些常见的目录结构

Linux笔记一、目录结构1、切换到根目录:cd /2、查看当前文件夹下的目录:ls ./bin:一些可执行的命令目录boot:系统有关的操作dev:所有的设备etc:所有的配置文件home:Linux是一个多用户多任务高权限的操作系统,root里面是超级管理员,这里面是普通管理员lib:依赖的lib包lib64:依赖的lib包media:多媒体,软件安装包存储的位置,光盘、U盘、硬盘、软盘挂载的地方(挂载:利用目录映射外部设备)mnt:多媒体,软件安装包存储的位置,光盘、U盘、硬

2020-08-07 23:47:53

JAVA中的一些运算符

一、算术运算符:+:正号;加法运算;字符串连接-:负号;减法运算*:乘法/:取商%:取余++:前加加,++放变量前;参与运算时,先加一,后运算;后加加:++放变量后;参与运算时,先运算,后加一;–:前减减:–放变量前后减减:–放变量后...

2020-06-23 16:19:31

Java中的一些基本数据类型

Java中的数据类型:1、基本数据类型(1)整数:byte、short、int、long(2)小数:float、double(3)字符:char(4)布尔:boolean2、基本数据类型的范围:类型 字节 位数 默认值 范围byte 1 8 0 -2^72 ^7-1short 2

2020-06-21 22:17:11

Windows10系统下DOS的一些命令

1、列出所有盘符: diskpart回车 list volume回车2、切换盘符: 如切换到D盘:d:3、列出盘符目录下的所有文件及相关信息: dir回车4、切换到盘内的文件夹: dir+空格+文件夹名5、列出文件夹下的所有文件: 切换到文件夹之后dir回车6、创建文件夹: md+空格+文件夹名7、切换到上一级目录: cd…8、回到根目录: cd9、进入单级目录: cd+空格+目录10、清屏: cls(clear scre

2020-06-20 15:42:04
勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。