- 博客(48)
- 收藏
- 关注
RSS订阅原创 linux基础
一、linux基础： （1）清屏命令：clear （2）创建普通用户：useradd 用户名 （3）用户设置密码：passwd 用户名 （4）用户切换：su 用户名 （5）显示当前用户所在的目录：pwd （6）“~”当前用户的主目录 （7）主机名：hostname （暂时）设置主机名：h...
2020-02-07 19:21:51
181
原创 Zookeeper（二）java api
Zookeeper提供了Java API方便我们来操作zk服务，可以通过maven引入zk的相关依赖包。通过org.apache.zookeeper.Zookeeper类创建连接zk服务器的示例对象，在创建过程中给定zk服务器地址、会话持续时间以及监视器三个参数，当连接创建成功后，通过Zookeeper实例提供的接口来和服务器进行交互。Pom文件依赖内容如下： <...
2019-08-26 20:53:54
175
原创 zookeeper（一）基本组成
（一）Zookeeper集群组成结构 Zookeeper由leader(领导者)和learner(学习者)组成，其中learner由follower(跟随者)和observer(观察者)组成。在一个zookeeper集群中，一般是一个leader节点，多个follower节点，observer节点可选。在一个正式的zookeeper环境中，一般由2n+1（奇数）台servers组成...
2019-08-26 20:35:23
1015
原创 hadoop（五）多数据源连接
在一个MR任务中可能需要访问和处理两个甚至更多个的数据集。Hadoop由于没有像关系型数据库那样join的连接处理操作，所以多数据源的连接处理会比较复杂，需要程序员自己实现。 在这里主要介绍两大类数据连接方式：Map端数据连接以及Reduce端数据连接。总共包含了四种小的连接方式。其中Map端数据连接是指最终数据连接的地方是map方法中，Reduce端数据连接是指最终数据...
2019-08-19 16:27:03
832
原创 hadoop（四）组合MR任务概述
一些复杂的任务很难由一个MR处理完成，所以一般需要将其拆分成为多个简单的MR子任务来执行，MapReduce框架中对于这类的问题提供了几种方式进行任务执行流程的控制，主要包括以下几种方式：顺序组合式MapReduce任务、具有依赖关系的组合式MapReduce任务以及专门用于Map和Reduce主过程前处理和后处理的链式MapReduce任务。其中顺序组合式MapReduce任务可以经...
2019-08-19 16:17:17
2042
原创 hadoop（三）mapreducer shuffle阶段概述
MR作业的shuffle过程主要包括四大部分，分别为：Partitioner(分区器)、Combiner(组合器)、Sorting(排序)、Grouping(分组)。 Partition用来完成Map节点数据的中间结果向Reduce节点的分区处理，也就是当Reduce节点为多个的时候(>1)，决定数据是输出到那个节点。 Combine用来减少Map过程输出的中间结果键...
2019-08-19 15:52:52
273
原创 hadoop（二）自定义输入输出格式
一、Mapreducer输入格式 数据输入格式(InputFormat)用于描述MR作业的数据输入规范。MR框架依赖数据输入格式完成对数据文件进行分块(一个块就是一个mapper任务)，以及提供从输入分块中将数据记录逐一读出、并转换为Map过程的输入键/值对等功能。 顶级输入格式类为：org.apache.hadoop.mapreduce.InputFormat 顶级块...
2019-08-19 15:41:27
660
原创 hadopp（一）Mapreduce内置数据类型
一、Mapreducer内置数据类型 hadoop内置数据类型 主要有：（1）BooleanWritable：标准布尔型数值 （2）ByteWritable：单字数值 （3）DoubleWritable：双字节数 （4）FloatWritable 浮点数...
2019-08-19 10:47:10
535
原创 SSH整合
一、Spring容器整合到项目 1.导包 2.在src下创建applicationContext.xml文件夹，在design模式下添加aop、context、bean、tx约束（xsd类型约束）。 3.在web.xml文件下，配置如下： <!-- 让spring随web启动而创建的监听器 --> <liste...
2019-02-04 18:11:00
100
原创 SSH框架之Hibernate
一、什么是Hibernate框架二、Hibernate框架搭建过程 1.导包 mysql驱动包：2.创建数据库，准备表、实体3.书写orm元数据 （1）导入约束： （2）创建实体 （3） orm元数据 在元数据实体包下创建 实体类.hbm.x...
2019-02-02 23:30:53
237
原创 javaSE之Dbutil工具包中ResultSetHandler结果集处理方式
ArrayHandler 将结果集中的第一条记录封装到一个Object[]数组中，数组中的每一个元素就是这条记录中的每一个字段的值 ArrayListHandler 将结果集中的每一条记录都封装到一个Object[]数组中，将这些数组在封装到List集合中。 BeanHandler 将...
2018-11-19 19:13:49
399
原创 javaweb之servlet
一、什么是servlet？ 处理请求和发送响应的过程是由一种叫做Servlet的程序来完成的，并且Servlet是为了解决实现动态页面而衍生的东西。理解这个的前提是了解一些http协议的东西，并且知道B/S模式(浏览器/服务器)。 B/S:浏览器/服务器。 浏览器通过网址来访问服务器，比如访问百度，在浏览器中输入www.baidu.com，这个时候浏览器就会显示百度的首页，那么...
2018-10-31 20:27:58
117
转载 JavaWeb之Http协议
HTTP简介HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩写,是用于从万维网（WWW:World Wide Web ）服务器传输超文本到本地浏览器的传送协议。HTTP是一个基于TCP/IP通信协议来传递数据（HTML 文件, 图片文件, 查询结果等）。规范浏览器和服务器之间数据交互的格式HTTP是一个属于应用层的面向对象的协议，由于其简捷、...
2018-10-31 18:42:41
571
原创 java基础之jdk1.8新特性
1. 接口定义增强2.Lamda表达式3.方法引用4.内建函数式接口 一、接口定义增强二、Lamda表达式 Lamda表达式的产生：匿名内部类 观察代码： 匿名内部类需要嵌套不同的语句，对于编程来说，过于繁琐。Lamda表达式较好的解决这类问题。程序：Lamda表达式 Lamada表达式的三种形式： （1）（...
2018-10-31 16:08:36
171
原创 java基础之自定义链表
class Book{ private String title; private double price; public Book(String title,double price){ this.title = title; this.price = price; } public String getInfo(){ ...
2018-10-31 15:09:21
103
原创 java基础之链表
class Link{ private class Node{ private String data ; private Node next; public Node (String data){ this.data = data; } public void addNode(Node newNode){ ...
2018-10-31 15:09:01
147
原创 java基础之内部类
内部类 基本概念 所谓的内部类指的是在一个类的内部继续定义了其内部结他构类的情况、 程序： class Outer{//外部类 private String msg = "hello world";class Inner{//内部类 public void print(){...
2018-10-29 22:05:09
104
原创 java基础之匿名内部类
匿名内部类 观察程序： interface A{ public void print(); } class B implements A{ public void print(){ System.out.println("Hello"); } } public cl...
2018-10-29 22:04:32
96
原创 java基础之接口
接口接口的基本概念和主要特点 接口的各个使用 工厂设计模式、代理设计模式 接口的基本定义如果在一个类中只由抽象方法和全局常量组成，我们将这个类定义为接口。所谓的接口，严格意义上来讲，就属于一个特殊的类，而且这个类里面只有抽象方法、全局常量（没有构造方法）。要定义一个接口使用interface关键字完成。 由于接口里面存在有抽象方...
2018-10-29 22:03:32
339
原创 java基础之包装类
包装类 基本数据类型包装类的定义 数据的装箱和拆箱 数据类型的转换 基本数据类型包装类的定义 Java中的矛盾：在java中，其中心思想就是一切皆对象。但是，基本数据类型不是对象。为了符合这种设计模式，就出现了基本数据类型的包装类。 编号 基本数据类型 ...
2018-10-29 22:00:37
95
原创 java基础之构造方法私有化
构造方法私有化构造方法私有化的操作 单例与多例设计模式 单例设计模式 （Singleton） 当类中的构造方法私有化的时候，该类不能通过new 关键字进行实例化。那么该如何解决呢？？？...
2018-10-29 21:59:30
6697
1
原创 java基础之访问控制权限
访问控制权限在java里面一共支持4中访问权限，public 、protected 、default、private，下面进行简单的比较。 编号 范围 Private Default protect public 1 在同...
2018-10-29 21:56:24
79
原创 java基础之抽象类
抽象类 1.抽象类的概念普通类可以直接产生实例化对象，并且在普通类之中可以包含有构造方法，普通方法、常量、变量等内容。而所谓的抽象类就是指在普通类的结构里面增加抽象方法的组成部分。 所有的普通方法上面都会有一个“｛｝”，该符号表示方法体，有方法体的方法一定可以被对象直接使用。而抽象方法指的是没有方法体的方法，同时抽象...
2018-10-29 21:55:20
143
原创 java基础之final关键字与多态性
final关键字与多态性 一、final关键字 在java中final称为终结器，在java中可以用final定义类、方法、属性。 使用final定义的类不能够再有子类。 使用final定义的方法不能被...
2018-10-29 21:54:11
168
原创 java基础之object类
Object类object类的作用 Object类的常用方法 Object类接收引用数据类型 利用object类修改链表 object类的基本作用 Object类是所有类的子类，也就是说任何一个类在定义的时候如果没有明确的继承某个父类，那么它就是object类的子类。在整个java类中继承的关系一直存在（除了object类之外）。既然obj...
2018-10-29 21:52:49
90
原创 java基础之继承
Java 继承清楚继承的主要作用和相关限制。 继承性的相关限制以及使用规则。 继承的实现 class 子类 extends 父类 ｛｝ 子类又被成为派生类，父类也被称为基类（超类）， 子类可以继承父类中的所有方法，实现代码重用，子类可以拓展方法，在子类内部重新定义新的方法 java不允许新的继承 为了满足一个子类继承多个父类的需要...
2018-10-29 21:51:05
85
原创 java基础之static关键字
Static 关键字目录一、 static定义属性 1二、 static定义方法 12.3 static方法的使用范围 23、 主方法 3 static定义属性 static属性定义pub，pub存放在全局数据区。 Static属性与非 Static属性最大区别是，所有的非 Static属性必须要...
2018-10-14 15:49:00
95
原创 java基础之数据表的转换
数据表的转换 一对多 例： class Privence{private int pid;private String pname;private City city[];public Priv...
2018-10-14 15:46:52
242
原创 java基础之数据表与简单java类的映射
数据表与简单java类的映射 要求通过java程序描述出dept-emp关系，使用字段：- dept ：deptno，dname- emp ：empno，ename，job，sal，deptno，mgr；在dept-emp表的关系里面存在如下关联：- 一个部门有多个雇员；- 一个雇员有一个或者零个领导；编码步骤：第一步：...
2018-10-14 15:43:14
340
原创 java基础之引用传递
引用传递 引用传递的核心意义：同一块堆内存空间可以被不同的栈内存所指向，不同的栈内存可以对同一堆内存进行内容的修改。 一、三个程序分析 范例： Class Message{ Private int num = 10;//基本数据类型（不包含string）不在堆内存中开辟空间。Public Mess...
2018-10-14 15:42:01
132
原创 java基础之this关键字
This 关键字目录一、 类属性的调用 1二、 调用方法 2三、 表示当前对象 3 This关键字是java里面比较复杂的一个关键字。因为this的核心概念是表示当前对象。但是在实际开发中当前对象难以确定。在java里面，利用this关键字能够实现类的调用、类方法的调用、以及表示当前对象。类属性的调用 ...
2018-10-14 15:39:57
151
原创 java记基础之String类
String类的基本概念 一、 String类的两种实例化方法 1二、 字符串的比较 1三、 字符串常量就是String的匿名对象 1四、 字符串一旦定义则不能更改 2五、 面试题 3六、熟记String类中的方法 3 String类的两种实例化方法 String类本身是一种字符串类型，使用“”定义的内...
2018-10-14 15:38:26
129
原创 java基础之构造方法、数组
目录一、 封装性 1二、 构造方法和匿名对象。 11. 对象的产生格式： 22. 构造方法和普通方法的区别 23.构造方法的作用 2三、数组（引用数据） 23.1数组的基本概念 23.2数组的访问 33.3数组的储存结构 33.5 数组与方法参数的传递 43.6数组的转置 53.7方法返回数组 63.8对象数组 7 封装性封...
2018-10-14 15:36:05
5881
原创 windows下编译hadoop源码
一、工具 1. jdk1.8 2. hadoop-2.8.3-src（hadoop源代码文件） 3. apache-maven-3.5.4 4. protobuf-2.5.0 5. protobuf-2.5.0.tar二、 环境配置 2.1 配置maven（1）解压到E盘 （2）进入环境变量 （3）配置环...
2018-09-19 16:17:52
3486
原创 Hadoop体系之MapReduce的工作机制
一、思维导图 二、MapReduce作业的工作原理 2.1 作业的提交 在步骤1中，Job中的submit()方法创建一个内部的JobSummiter的实例，并且调用其submitJobInternal（）方法。作业提交之后，waitForCompletion（）每秒轮询作业的进度，如果发现自上次报告后有改变，便把进度报告到控制台。作业完成后，如果成功，就...
2018-08-09 10:03:53
367
原创 Hadoop体系之YARN
一、剖析YARN 运行机制 从YARN运行图来看，客户端在客户端节点向资源管理器发送运行application master 的请求。资源管理器为 application master 提供运行容器。application master可向资源管理器请求分配更多的容器实现分布式运行。application master的运行均在container（容器）中完...
2018-08-07 10:20:35
158
原创 java的继承与多态
Java 的继承与多态 继承 继承的基本概念 继承是两个类之间的一种关系，当一个类B继承了一 个已存在的类A后，类B就有了类A所有的非private的属性和方法 子类不能继承父类的构造方法，但是能够通过super关键字调用 在类声明时，如果没有使用extends关键字继承父类，则自动继承Object类。所有的jav...
2018-08-02 17:24:47
101
原创 hadoop之mapreduce程序分析
这个Mapper类是一个泛型类型，它有四个形参类型，分别指定map函数的输入键、输入值、输出键和输出值的类型。 Hadoop本身提供了一套可优化网络序列化传输的基本类型，而不是直接使用java内嵌的类型。这些类型都在org.apache.hadoop.io包中，这里使用LongWritable类型（相当于java的Long类型）、Text类型（相当于java中的String类型）和IntW...
2018-08-01 22:42:09
159
转载 大数据体系之HBASE基础语法
进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证，需要事先使用相应的keytab进行一下认证（使用kinit命令），认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoami表的管理1）查看有哪些表hbase(main)> list2）创建表# 语法：...
2018-04-17 15:32:14
171
原创 hadoop zookeeper hbase 服务启动语句
（1）hadoop hads启动： 在hadoop安装包下，执行 ./sbin/start-dfs.sh hads关闭： 在hadoop安装包下，执行 ./sbin/stop-dfs.shyarn启动：在hadoop安装包下，执行 ./sbin/start-yarn.sh ...
2018-04-06 14:18:09
291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人