- 博客(33)
- 收藏
- 关注
RSS订阅原创 流：简单的压缩和解压流程
package guidang;/** * Created by Administrator on 2017/7/29. */public class TestArchive { public static void main(String[] args) { Archiver a = new Archiver(); a.appendFile("E:\\
2017-07-29 20:14:29
289
原创 流总结
FileOutputStream(File file,boolean append)可以追加文件filereader、filewriter无法更改字符集package com.it18zhang.java.test;import com.it18zhang.java.util.DataUtil;import org.junit.Test;import java.io.*;import jav
2017-07-29 16:29:42
186
转载 sqoop
sqoop导入 hdfs: sqoop import –connect jdbc:mysql://s201/mydb1 –username sqoop –password sqoop –table emp –m 1sqoop导入 hive: sqoop import –connect jdbc:mysql://s201/mydb1 –username sqoop –password sqoop
2017-07-25 23:17:53
295
原创 flume的普通配置
批量收集 监控一个文件夹，静态文件 收集完之后，会重新命名成新文件.compeleted.采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去Flume 事件事件作为Flume内部数据传输的最基本单元.它是由一个转载数据的字节数组(该数据组是从数据源接入点传入，并传输给传输器，也就是HDFS/HBase)和一个可选头部构成.每一行封装成一个Eve
2017-07-20 20:02:12
321
转载 hive基本操作
Hive基本操作与案例创建数据库，切换数据库create database testdb2; use testdb2; 创建管理表按 Ctrl+C 复制代码create table emp( empno int, empname string, job string, mgr int, hiredate string, salary double, comm double,
2017-07-17 21:46:17
287
原创 MapReduce阶段map的setup() 和cleanup()
setup() 此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法map()中，导致Mapper任务在解析每一行输入时都会进行资源初始化工作，导致重复，程序运行效率不高！ cleanup() 此方法被MapReduce框架仅且执行一次，在执行完毕Map任务后，进行相关变量或资源的释放工作。若是将释放资源工作放
2017-07-17 09:42:03
713
原创 MapReduce中Combiner方法使用
Combiner 会继承Reducer，它是一种mr的优化，用于减少服务器之间网络带宽的压力，它是在map结束后在每台服务器中都算出一个值，再传到shuffle中。适合于求和等每台服务器算出的值对最后结果没有影响的业务中，但是像求平均值等功能会带来误差所以不能使用。Combiner会在map结束后，shuffle开始前进行执行，package com.it18zhang.day05.flow;imp
2017-07-16 23:42:31
559
原创 多个MR一起执行的Driver代码
package com.it18zhang.day05.flow5;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapred.JobConf;import org.apache.
2017-07-16 23:32:22
436
原创 MapReduce 只有Map阶段，写出到pc端
package ProOrder2;import java.io.BufferedReader;import java.io.FileInputStream;import java.io.FileReader;import java.io.IOException;import java.io.InputStreamReader;import java.util.HashMap;import
2017-07-16 23:29:36
1539
原创 MapReduce 类的封装思想
要有把需要的信息当成类的思想package ProvinceMR;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class BeanFlow implements Writabl
2017-07-16 23:25:47
475
原创 用eclipse在HADOOP中的一些系统指令操作
import java.io.ByteArrayInputStream;import java.io.ByteArrayOutputStream;import java.io.FileNotFoundException;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;impo
2017-07-09 12:46:27
201
原创 perparestatement在mysql中的普通使用
perparestatement在mysql中的普通使用：package perparestatement;import java.sql.Connection;import java.sql.PreparedStatement;import java.sql.ResultSet;public class JDBCPerpareTest { public static void main(
2017-06-28 19:48:15
1586
原创 properties配置文件的使用
jdbc.properties：driverclass=com.mysql.jdbc.Driverurl=jdbc:mysql:///mydb1username=rootpassword=rootJDBCTools.java：主要看静态代码块的应用import java.sql.Connection;import java.sql.DriverManager;import java.sql
2017-06-28 19:46:09
184
原创 单例模式的饿汉和懒汉
单例模式就是要确保类在内存中只有一个对象，该实例必须自动创建爱你，并且对外提供。 优点：在系统内存中只存在一个对象，一次可以节约系统资源，对于一些需要频繁创建和销毁的对象单例模式无疑可以提高系统的性能。 缺点：1.没有抽象层，因此扩展很难。2.指责过重，在一定程序上违背了单一职责。饿汉式和懒汉式的区别： 饿汉式：类一加载就创建对象。 懒汉式：用的时候，采取创建对象。饿汉：public cla
2017-06-23 17:00:57
191
原创 工厂模式
简单工厂模式：又叫静态方法工厂模式。 优点：客户端不需要在负责对象的创建，明确了各个类的职责。 缺点：这个静态工厂负责所有对象的创建，有新对象增加，或者某些对象的创建方式不同，就需要不断地修改工厂类，不利于后期维护。public class AnimalFactory { private AnimalFactory() { } public static Animal cr
2017-06-23 12:52:20
174
原创 流
下面这篇对io流整体的文章讲的不错 Java IO流分析整理字节流：一次读入或读出是8位二进制。 字符流：一次读入或读出是16位二进制。 public static void main(String[] args) {// File f = new File("e:/aaa");// boolean b1 = f.createNewFile();//
2017-06-23 09:43:14
150
原创 泛型
泛型： 可以把类型当作参数一样传递过来， 在传递过来之前我不明确， 但是在使用的时候我就用明确了。 (早期的 Object 类型可以接收任意的对象类型， 但是在实际的使用中， 会有类型转换的问题。) 也就存在这隐患， 所以 Java 提供了泛型来解决这个安全问题。泛型通配符《?》 (<>) 任意类型， 如果没有明确， 那么就是 Object 以及任意的 Java 类了 ? extends
2017-06-23 08:54:56
167
原创 集合
面向对象语言对事物的体现都是以对象的形式，所以为了方便对多个对象的操作，Java就提供了集合类。数组Array和集合的区别：(1)数组中可以存储基本数据类型也可以存储对象；集合只能存储对象。 (2)数组虽然也可以存储对象，但长度是固定的；集合是可变长。 (3)若程序时不知道究竟需要多少对象，需要在空间不足时自动扩增容量，则需要使用容器类库，array不适用。联系：使用相应的toArray()和A
2017-06-21 22:19:12
155
转载 java中值类型和引用类型的区别
java中值类型和引用类型的区别篇一 值类型通常被分配在栈上，它的变量直接包含变量的实例，使用效率比较高。 java中值类型和引用类型的区别篇二 引用类型分配在托管堆上，引用类型的变量通常包含一个指向实例的指针，变量通过该指针来引用实例。 java中值类型和引用类型的区别篇三 值类型继承自ValueType(注意：而System.ValueType又继承自System.
2017-06-21 21:35:33
1517
原创 内部类和匿名内部类
把类定义在其他类的内部， 这个类就被称为内部类。 举例： 在类 A 中定义了一个类 B， 类 B 就是内部类。内部类的访问特点： 内部类可以直接访问外部类的成员， 包括私有。 外部类要访问内部类的成员， 必须创建对象。按照内部类在类中定义的位置不同， 可以分为如下两种格式：成员位置(成员内部类)一般内部类就是不让外界直接访问的。 成员内部的常见修饰符：private 、st
2017-06-21 20:16:41
178
原创 接口
抽象类体现了数据抽象的思想，是实现多态的一种机制。它定义了一组抽象的方法，至于这组抽象方法的具体表现形式由子类来实现。同时抽象类提供了继承的概念，它的出发点就是为了继承，否则它没有存在的任何意义。所以说定义的抽象类一定是用来继承的，同时在一个以抽象类为节点的继承关系等级链中，叶子节点一定是具体的实现类。在使用抽象类时需要注意几点： 1、抽象类不能被实例化，实例化的工作应该交由它的
2017-06-21 19:11:15
139
原创 java中权限修饰符及关键字
final关键字是最终的意思，可以修饰类，成员变量，成员方法。 修饰类，类不能被继承 修饰变量，变量就变成了常量，只能被赋值一次 修饰方法，方法不能被重写final修饰变量的初始化时机 A:被final修饰的变量只能赋值一次。 B:在构造方法完毕前。(非静态的常量)final修饰局部变量 在方法内部，该变量不可以被改变 在方法声明
2017-06-21 16:59:07
298
原创 对象的初始化过程
Student s = new Student();在内存中做了哪些事情:加载Student.class文件进内存 在栈内存为s开辟空间 在堆内存为学生对象开辟空间 对学生对象的成员变量进行默认初始化 通过构造方法对学生对象的成员变量赋值 学生对象初始化完毕，把对象地址赋值给s变量谈到对象的初始化就少不了对代码块的说明：在Java中，使用{}括起来的代码被称为代码块，根据其位置和声明的不同
2017-06-21 16:38:46
204
原创 变量的一些基本知识
定义类其实就是定义类的成员(成员变量和成员方法) ps：java中方法分为构造方法和成员方法成员变量和局部变量的区别 在类中的位置不同 成员变量 类中方法外 局部变量 方法内或者方法声明上在内存中的位置不同 成员变量 堆内存 局部变量 栈内生命周期不同 成员变量 随着对象的存在而存在，随着对象的消失而消失 局部变量 随着方法的调用而存在，随着方法的调用完毕而消失初始化值不同
2017-06-21 15:16:16
238
原创 Java语言中面向对象的三大特性：封装、继承、多态
封装： 首先，属性可用来描述同一类事物的特征，方法可描述一类事物可做的操作。封装就是把属于同一类事物的共性（包括属性与方法）归到一个类中，以方便使用。 1.概念：封装也称为信息隐藏，是指利用抽象数据类型将数据和基于数据的操作封装在一起，使其构成一个不可分割的独立实体，数据被保护在抽象数据类型的内部，尽可能地隐藏内部的细节，只保留一些对外接口使之与外部发生联系。系统的其他部分只有通过包裹在数据外面
2017-06-21 11:04:06
658
转载 重载和重写
刚开始写了一点，后来发现有好多牛人都归纳好了，我就拿来主义了O(∩_∩)O先上总结：override（重写） 1、方法名、参数、返回值相同。 2、子类方法不能缩小父类方法的访问权限。 3、子类方法不能抛出比父类方法更多的异常(但子类方法可以不抛出异常)。 4、存在于父类和子类之间。 5、方法被定义为final不能被重写。 overload（重载） 1、参数类型、个数、顺序至少有
2017-06-21 10:02:31
391
原创 数组
数组是存储同一种数据类型的多个元素（元素是同一种类型）的集合。也可以看成是一种容器。 数组既可以存储8种基本数据类型，也可以存储引用类型。 初始化数组的两种方法： 动态初始化： int[] arr = new int[3]; //*只能放3个值，这样初始化后的值都是0* 静态初始化： int[] arr={1,2,3,4}; //*推荐这种方式* ps:
2017-06-21 09:36:55
538
原创 运算符
先放运算符优先等级： 算术运算符 赋值运算符 = 扩展赋值运算符： +=, -=, *=, /=, %= 比较运算符 instanceof 用来判断左边引用对象的实际类型是否跟右操作数所指定的类型相匹配。 Student类继承了Person类也就有Person类的非静态元素Student extends Personboolean b = new Student() ins
2017-06-20 23:23:50
133
原创 流程控制
if没什么可说的就是注意去掉大括号的if语句，他的作用域只有”System.out.println(x + y);”这句话，也就是说不管y大不大于2，静静都会打印。 if (y > 2) System.out.println(x + y); System.out.println("静静");下面是switch（总不用
2017-06-20 22:38:26
123
原创 进制的基础与进阶
进制： （1）二进制：0,1 ，满2进1.以0b或0B开头。 （2）十进制：0-9 ，满10进1 （3）八进制：0-7 ，满8进1. 以数字0开头表示 （4）十六进制：0-9及A-F，满16进1. 以0x或0X开头表示。此处的A-F不区分大小写。原码、反码、补码 所有数字在计算机底层都以二进制形式存在。 计算机以补码的形式保存所有的整数。 正数的原码、反码、补码都相同
2017-06-20 22:13:44
220
原创 java基本知识
编写要求： Java语言严格区分大小写。长度无限制 变量只能由”字母、数字、_、$”组成 “字母、下划线、$”为开头 java中关键字全都是小写26个大小写英文字母、0-9、$、 _ 0-9不能开头 中间不能有空格约定俗成的规矩 包名 ： xxxxyyyzzz 类名： XxxxYyyyyZzzz
2017-06-20 20:53:07
130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人