10 HarkerYX

尚未进行身份认证

我要认证

不要跟我拽,我比你更拽! 致力于整合最优的博客集! 商务合作请私信!

等级
TA的排名 1k+

《大数据: Hadoop(HDFS) 客户端操作API》

3.1HDFS客户端环境准备1.根据自己电脑的操作系统拷贝对应的编译后的hadoop jar包到非中文路径(例如:D:\Develop\hadoop-2.7.2),如图3-4所示2.配置HADOOP_HOME环境变量,如图3-5所示3.配置Path环境变量,如图3-6所示4.创建一个Maven工程HdfsClientDemo5.导入相应的依赖坐标+日志添加6.创建包名:com.atguigu.hdfs7.创建HdfsClient类8.执行程序运行时需...

2020-09-01 20:45:38

《大数据: Hadoop(HDFS) 读写数据流程分析》

一、HDFS的写数据流程①服务端启动HDFS中的NN和DN进程②客户端创建一个分布式文件系统客户端,由客户端向NN发送请求,请求上传文件③NN处理请求,检查客户端是否有权限上传,路径是否合法等④检查通过,NN响应客户端可以上传⑤客户端根据自己设置的块大小,开始上传第一个块,默认0-128M, NN根据客户端上传文件的副本数(默认为3),根据机架感知策略选取指定数量的DN节点返回⑥客户端根据返回的DN节点,请求建立传输通道 客户端向最近(网络举例最近)的DN节点发起通道建立请求,由这个...

2020-09-01 20:12:45

《大数据: Hadoop 源码编译》

一、准备工作1. 连接外网。Linux虚拟机ping www.baidu.com是畅通的2. 注意:采用root角色编译,减少文件夹权限出现问题3.jar包准备(hadoop源码、JDK8、maven、ant 、protobuf)hadoop-2.7.2-src.tar.gz jdk-8u144-linux-x64.tar.gz apache-ant-1.9.9-bin.tar.gz(build工具,打包用的) apache-maven-3.0.5-bin.tar.gz prot..

2020-08-31 20:19:23

《大数据: Hadoop(HDFS) 完全分布式集群二》

一、集群配置1. 如何规划hadoop中的进程HDFS : 有一个NN(namenode)和 N个DN(datanode),2NN(second namenode )也可以有N个辅助NN工作YARN : 有一个 RM(resoureManager) 和 N 个NM (nodemanager)避免单点故障,NN和RM建议分散到多台机器, 我们现在有3台机器,我们可以这样分配 :Hadoop1 Hadoop2 Hadoop3DN D...

2020-08-31 19:15:32

《大数据: Hadoop(HDFS) 完全分布式集群一》

一、分布式平台搭建配置系统主机名yexiang@localhost:<~>$ sudo vim /etc/hostname hadoop1配置系统ipyexiang@hadoop1:<~>sudo vim/etc/network/interfacessource /etc/network/interfaces.d/*# The loopback network interfaceauto loiface lo inet loop...

2020-08-31 12:22:06

《大数据: Hadoop(HDFS) 配置与本地模式》

一、Hadoop目录结构yexiang@localhost:/opt/soft/hadoop-2.7.2$ ls -altotal 60drwxr-xr-x 9 yexiang yexiang 4096 May 22 2017 .drwxr-xr-x 4 yexiang yexiang 4096 Aug 27 23:41 ..drwxr-xr-x 2 yexiang yexiang 4096 May 22 2017 bindrwxr-xr-x 3 yexiang yexiang

2020-08-28 17:31:36

《大数据: 学习导图》

《大数据: 学习导图》大数据学习前提JAVA基础 :《JAVA: 学习导图》更新中。。。《大数据: 介绍》《大数据: Maven 一》《大数据: Maven 二》《大数据: Hadoop(HDFS) 一》《大数据: Hadoop(MapReduce) 一》...

2020-08-27 17:25:02

《大数据: 介绍》

一、什么是大数据?大数据: 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞擦力和流程优化能力的海量、高增长率和多样化的信息资产。 主要解决海量数据的存储和分析计算问题二、大数据特点1. 大量数据存储单位:bit,Byte,KB,MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB, 1Byte = 8bit,1K=1024Byte 1M=1024K ,....顺序从小到大排列, 个人硬盘容量大约是TB级别,一些企业.

2020-08-27 17:20:07

《大数据: Hadoop(MapReduce) 一》

一、Hadoop1.hadoop的初衷是采用大量的廉价机器,组成一个集群!完成大数据的存储和计算!2.hadoop中的组件1.xHDFS: 负责大数据的存储Common: HDFS和MR共有的常用的工具包模块!MapReduce: 负责计算,负责计算资源的申请的调度!完成大数据的计算①写程序,程序需要复合计算框架的要求! java---->main----->运行 MapReduce(编程模型)----->Map--Reducer②...

2020-08-26 19:50:07

《大数据: Hadoop(HDFS) 架构介绍与安装》

一、Hadoop1.hadoop的初衷是采用大量的廉价机器,组成一个集群!完成大数据的存储和计算!2.hadoop中的组件1.xHDFS: 负责大数据的存储Common: HDFS和MR共有的常用的工具包模块!MapReduce: 负责计算,负责计算资源的申请的调度!完成大数据的计算①写程序,程序需要复合计算框架的要求! java---->main----->运行 MapReduce(编程模型)----->Map--Reducer②...

2020-08-26 19:49:23

《大数据: Maven 核心概念》

一、Maven的核心概念POM 约定的目录结构 坐标 依赖 仓库 生命周期 插件和目标 继承 聚合1.POMProjectObject Model:项目对象模型。将Java工程的相关信息封装为对象作为便于操作和管理的模型。Maven工程的核心配置。可以说学习Maven就是学习pom.xml文件中的配置2.约定的目录结构现在JavaEE开发领域普遍认同一个观点:约定>配置>编码。意思就是能用配置解决的问题就不编码,能基于约定的就不进行配置。而M...

2020-08-25 18:59:01

《大数据: Maven 安装与编译运行》

为什么要使用Maven?Maven是干什么用的?这是很多同学在学完这个课程后最大的问题。之所以会提出这个问题,是因为即使不使用Maven我们仍然可以进行B/S结构项目的开发。从表述层、业务逻辑层到持久化层再到数据库都有成熟的解决方案——不使用Maven我们一样可以开发项目啊?所以我们有必要通过企业开发中的实际需求来看一看哪些方面是我们现有技术的不足。1.1 添加第三方jar包 在今天的JavaEE开发领域,有大量的第三方框架和工具可以供我们使用。要使用这些jar包最简单的方法就是复制粘贴到.

2020-08-25 16:38:19

《JAVA 基础: eclipse快捷方式》

----------------------------------------------------------------------------------快捷键 Alt+Shift+S(弹出源代码的相关选项)+v 继承覆盖方法+r 添加geter和seter+m 成员的方法+h 添加 hashcode() 和equals()+o 完成构造方法+c 继承构造方法------------------------------------------------------------

2020-08-07 13:57:57

《JAVA 进阶: 代码演示十三》

综合演示用Druid 去封装DAO 去处理数据库中的数据JDBCUtilsDruid2.javapackage com.yx.demo1;import java.io.IOException;import java.sql.Connection;import java.sql.ResultSet;import java.sql.SQLException;import java.sql.Statement;import java.util.Properties;import .

2020-08-07 10:30:29

《JAVA 进阶: 代码演示十二》

package com.yx.demo1;public class Student implements Comparable<Student> { private int id; private String name; private int grade; private double score; public Student() { } public Student(int id, String name, int grade, double score) .

2020-07-31 16:33:28

《JAVA 进阶: 代码演示十一》

1. UDP编程演示package com.yx.demo2;import java.io.IOException;import java.net.DatagramPacket;import java.net.DatagramSocket;import java.net.InetAddress;import java.net.InetSocketAddress;import java.net.SocketException;public class UDPClient { publ

2020-07-31 13:57:43

《JAVA 进阶: 代码演示十》

1. 演示同步代码块和同步方法package com.yx.demo;/* * 本类用于演示实现Runnable接口的方式多线程 * 三个窗口卖100张票,卖完退出 * 实现Runnable接口的方式由于开启多线程的时候创建的多个Thread对象,所以只需要一个自定义线程类对象, * 那么这个自定义线程类对象的普通属性就可以被多个线程同时方法。所以我们说实现Runnable接口的方式更适合多个线程访问同一个数据。 * 本类采用synchronized代码块处理线程安全问题 */cl

2020-07-30 16:42:07

《JAVA 进阶: 代码演示九》

1 . 演示文件的copypackage com.yx.demo1;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import org.junit.Test;/* * 本类用于演示复制文件 */public class TestCopyFile { @Test public void testOne()throws Exception{ File ol

2020-07-30 13:29:06

《JAVA 进阶: JDBC, Druid, DBUtils》

多种开源的数据库连接池JDBC 的数据库连接池使用 javax.sql.DataSource 来表示,DataSource 只是一个接口,该接口通常由服务器(Weblogic, WebSphere, Tomcat)提供实现,也有一些开源组织提供实现:?DBCP 是Apache提供的数据库连接池,速度相对c3p0较快,但因自身存在BUG,Hibernate3已不再提供支持?C3P0 是一个开源组织提供的一个数据库连接池,速度相对较慢,稳定性还可以?Proxool 是sourceforge下的一个开源项

2020-07-29 18:13:16

《JAVA 进阶: 网络编程》

一、网络编程概述Java是 Internet 上的语言,它从语言级上提供了对网络应用程序的支持,程序员能够很容易开发常见的网络应用程序。Java提供的网络类库,可以实现无痛的网络连接,联网的底层细节被隐藏在 Java 的本机安装系统里,由 JVM 进行控制。并且 Java 实现了一个跨平台的网络库,程序员面对的是一个统一的网络编程环境。计算机网络:把分布在不同地理区域的计算机与专门的外部设备用通信线路互连成一个规模大、功能强的网络系统,从而使众多的计算机可以方便地互相传递信息、共享硬件、软.

2020-07-29 18:07:21

查看更多

勋章 我的勋章
  • 脉脉勋章
    脉脉勋章
    绑定脉脉第三方账户获得
  • 签到王者
    签到王者
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。