- 博客(11)
- 收藏
- 关注
RSS订阅原创 十一. 大数据技术之hadoop（11）
三种操作HDFS的方式第一种，web控制台的方式，启动HDFS环境，在本地浏览器上输入linuxIP地址：50070可以看到HDFSweb控制界面第二种：linux命令行的方式操作命令 ： hdfs dfs *********， 与linux命令类似具体参考 http://blog.csdn.net/zhaojw_420/article/details/53161624管理命令： hdfs d...
2018-03-04 16:12:41
284
原创 十. 大数据技术之hadoop（6）
资源调度平台yarn，主从结构，主节点ResourceManager，从节点NodeManager在home目录下创建一个文件data.txt, 里面随便编辑一些用于测试的语句，然后将文件上传到HDFS上的/input目录下接下来进入share/hadoop/mapreduce目录，其中有一个叫hadoop-mapreduce-example*****的jar包，里面包含了用java编写的mapr...
2018-03-02 23:02:30
208
原创 九.大数据技术之hadoop(5)
HDFS的体系结构NameNode: HDFS的主要管理者；接受客户端的请求，比如说，将本地文件上传到HDFS上；维护文件的元信息（fsimage文件）和操作日志（edit文件）文件的元信息（fsimage文件）：一个文件上传到HDFS上，文件会被切成一份份的数据块，记录这些数据块的文件就是文件的元信息打开虚拟机，进入 ~/training/hadoop-2.7.3/tmp/dfs/name/cu...
2018-03-02 20:32:59
1000
原创 八.大数据技术之hadoop（4）
本次介绍ssh免密码登录，linux当中ssh一种网络传输的一种安全协议首先查看.ssh目录，发现只有know_hosts文件，没有公钥，也没有私钥第一步ssh-keygen -t rsa产生密钥对私钥.ssh/id_rsa留给自己的, 公钥id_rsa.pub留给别人的第二步，ssh-copy-id -i .ssh/id_rsa.pub roo@hadoop111, 将自己的公钥拷贝给别人，本次...
2018-03-01 18:06:48
204
原创 七.大数据技术之hadoop(3)
介绍hadoop环境的搭建hadoop安装模式有三种，本地模式，伪分布模式，全分布模式，本地模式不做介绍，本次介绍hadoop伪分布模式的搭建（一台linux虚拟机），后面介绍全分布模式的搭建（至少三台linux虚拟机）安装前的准备工作，关闭防火墙，JDK的安装，设置主机名使用winscp工具将hadoop安装包上传到linux的tools目录下（以后组件安装包都上传到tools下）进入tools...
2018-03-01 15:25:51
276
原创 六、大数据技术之hadoop（2）
google公司的三篇论文资源链接：http://blog.csdn.net/zhangt85/article/details/43152843GFS: Google file system（谷歌公司的文件系统），谷歌分布式文件系统，HDFS（Hadoop Distributed File System）是基于GFS的开源实现，举例，百度云盘大数据存储面临两个问题，第一，数据量太大，硬盘不够大，第...
2018-02-28 23:01:24
218
原创 五. 大数据技术之Hadoop（1）
大数据概念巨量数据集合，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合4V 特性：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）网上对于大数据概念的叙述有很多，这里不多做叙述大数据要解决的核心问题大量的数据如何存储（分布式文件系统HDFS）大量的数据如何计算（分布式计算MapReduce）举例：商品推荐：大量的订单如何存储？大量...
2018-02-28 22:47:59
295
原创 四.大数据之linux基础（4）
接下来提供一个winscp工具，这是win与虚拟机上文件复制传输的工具，安装过程非常简单，点击下一步下一步安装即可打开winscp工具，左边为本地的win的环境，右边为VMware上的linux的环境，选择jdk文件，点击复制，就可以将本地的win的文件上传到linux的文件系统下看到jdk文件已经上传到了linux的tools目录下在本地home目录下创建一个文件夹mkdir training用...
2018-02-28 16:50:49
177
原创 三. 大数据之Linux基础（3）
首先我们可以在windows上使用putty等工具（还有其他远程连接工具）连接虚拟机上linux系统打开putty界面，输入虚拟机的IP地址，并输入主机名，点击save保存输入用户名与密码，就可以远程登录到Linux上接下来的一步是关闭Linux虚拟机上的防火墙systemctl stop firewalld.service 先停用Linux上防火墙systemctl disable firewa...
2018-02-28 16:10:37
179
原创 二，大数据之Linux基础（2）
承接大数据之Linux基础（1）看到上面这个界面表示虚拟机创建成功，然后下一步加载ios镜像文件镜像文件ios下载地址：http://mirrors.ustc.edu.cn/然后点击编辑虚拟机设置选项，选择CD/DVD，选择使用ISO镜像文件找到下载好的ISO文件，点击确定点击开启此虚拟机，选择Install Red Hat Linux 7.4 选项点击continue，默认语言都用英文点击dat...
2018-02-27 23:00:03
210
原创 一.大数据之Linux的基础（1）
安装VMware12请自行去百度云盘上下载VMware12.rar，下载完成之后解压下一步安装即可，参考http://jingyan.baidu.com/article/2d5afd69c45ba685a2e28ee2.html在VMware12上安装redhat7.4打开VMware点击新建虚拟机点击自定义（高级）这里选择最后一项稍后安装操作系统这里选择选择Linux的操作系统版本，这里选择Re...
2018-02-27 21:43:26
692
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人