小孤星-CSDN博客

原创 Hive复杂查询

连接查询,只支持等值链接内连接select * from t_a a inner join t_b b on a.id=b.id;概念:将符合两边连接条件的数据查询出来左连接select * from t_a a left join t_b b on a.id=b.id;概念:1.以左表数据为匹配标准2.匹配不上的右边表数据显示为null3.返回的数据条数与左表相同...

2018-11-17 16:20:00 1545

原创 hive基本操作指令

创建内部表create table mytable( id int, name string) row format delimited fields terminated by '\t' stored as textfile;附:mytable是表名id int是参数名字和参数类型as textfile是代表格式,可以省略,默认都是text格式创建外部表creat...

2018-11-14 20:46:19 332

原创配置

1.上传解压2.vim /etc/profile配置环境变量export HIVE_HOME=/home/hadoop/hiveexportPATH=PATH:PATH:PATH:JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/sbin:$HIVE_HOME/bin3.source /e...

2018-11-13 20:40:32 164

原创 map端join和reduce端

reduce 端join1.文件格式要注意,否则有乱码，可以自己处理,String string = new String(value.getBytes(),“GBK”);2.创建一个接受完整的bean(技能存放订单信息,又能存放商品信息)3.在map端接受不同文件的数据,根据是哪儿个文件,像完整的bean当中设置上对应的信息.没有的也不要是null,要设置默认值,否则会造成空指针异常...

2018-11-13 20:24:29 1214

原创 mapreduce应用

第一列学科,第二列学号,第三列分数,求平均分map类public class map3 extends Mapper<Object, Text, Text, IntWritable>{ @Override protected void map(Object key, Text value, Mapper<Object, Text, Text, IntWritable&g...

2018-11-13 19:55:38 365 1

原创 eclipse上对hdfs的基础操作

连接 Configuration conf = new Configuration();// 设置用户,告诉要用的用户是谁 System.setProperty("HADOOP_USER_NAME", "hadoop");// 设置要使用的文件系统是hdfs ->地址是 192.168.141.137:9000 conf.set("fs.defaultFS", "hdfs://1...

2018-11-13 19:42:25 477

原创 block块的获取

用流copy获取第二个block块的内容public void downloadBySeek() throws IllegalArgumentException, IOException { // 获取hadoop的压缩包文件 RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new...

2018-11-13 19:31:38 634

原创 Java获取表单数据和会话技术

首先在WebContent创建一个表单<!DOCTYPE html><html><head><meta charset="UTF-8"><title>Insert title here</title></head><body> <form

2018-10-10 21:01:31 612

原创 ServletConfig配置信息和application域的使用

ServletConfig(servlet配置信息)1.配置信息需要web.xml进行配置2.是以键值对形式配置 key=value3.在Servlet初始化時配置获取ServletConfig对象有两种方法方法一public class Demo02 extends HttpServlet { // 声明成员变量来保存ServletConfig private ServletCo...

2018-10-09 21:10:31 582

原创 JavaEE的入门

用户是如何访问网站的?1.通过一个网址(URL)访问网站(发出一个请求)2.实际上访问网站就是访问该网站的服务器3.通过代码(jdbc)去访问数据库,进行增删改查4.将查询的结果返回给服务器你写的那堆代码中5.最后服务器将查询的结果响应回浏览器(用户)注意:访问服务器上的是代码(静态资源和动态资源)静态资源 HTML div+CSS(不管谁访问,内容不会改变)动态资源 jsp ...

2018-10-08 21:12:49 589

原创数据库的使用

commons-dbutils(提供快速操作数据库的方法)三个核心类1.DBUtils提供了closeQuietly()方法,安静关闭,不用处理异常2.QueryRunnerquery(Connection conn, String sql, ResultSetHandler rsh, Object… params)参数1:数据库的链接对象参数2:sql语句(可以使用?占位符)参数...

2018-09-29 21:00:58 197

原创数据库的深入学习

首先输入以下代码,创建出几个表,方便使用## 学生表CREATE TABLE student( stuid VARCHAR(10) PRIMARY KEY, stuname VARCHAR(50));## 分数表CREATE TABLE score( stuid VARCHAR(10), score INT, courseid INT);## 科目表CREATE TA...

2018-09-28 21:03:09 1769

原创数据库的基础方法

首先建好3个表 , 分别为stu , emp , dept , 方便使用 , 效果直观.stu内容emp内容dept内容下面是数据库的一些基本使用去除重复数据 , 查询emp表中所有薪金(注意 : 查询的所有数据完全相同才能去除重复的)select distinct sal from emp;查看雇员的月薪与佣金之和select ename,sal+comm fr...

2018-09-27 21:12:15 376

原创数据库的基础学习

了解数据库1.数据库是文件保存数据,按照一定的规则(SQL语句)来进行存储2.数据库管理系统,可以对数据库进行增删改查(SQL)3.安装数据库:需要配置环境变量(分割路径为分号)把mysql的bin文件夹的路径添加到环境变量path上常见数据库MYSQL：开源免费的数据库，小型的数据库.已经被Oracle收购了.MySQL6.x版本也开始收费。Oracle：收费的大型数据库，Oracl...

2018-09-26 21:17:21 2914

原创反射的学习

首先了解一下类的概念类是如何加载的?1.加载将类的.class文件加载到方法区创建一个Class对象(表示就是.class文件)相对于文件的对象2.连接验证: 验证一下类的内部结构(成员变量和方法)准备: 为静态变量开辟空间赋初始值解析: 将局部变量进行替换替换成对应值3.初始化创建对象 new对象(堆内存开辟空间跟之前一样)类是什么时候被加载的?(加载时机...

2018-09-25 20:54:24 110

原创多线程的锁总结

同步代码块(同步锁)写法synchronized(锁){ 加锁的代码} 运行原理:当线程进入同步锁, 会把锁拿走, 执行代码块中的代码, 代码执行完毕后, 会把锁还回去; 如果线程遇到同步代码块, 发现没有锁, 将进入等待(有锁才能进去)注意:保证所有线程使用的都是同一把锁锁可以使用任意一个对象(同一个对象就行)下面是运用同步锁编写的一个卖门票例子public clas...

2018-09-19 21:05:52 282

原创多线程的学习

单线程程序优势:代码安全弊端:执行效率不高多线程程序提高任务的执行效率(线程本身也会耗费系统资源, 创建线程要把握一个度)基本概念进程:一个正在运行的程序, 一个进程可以有一个或多个线程线程:执行的任务分时调度:CPU同一时间只能执行一个任务(CPU单核单线程), 如果要同时执行多个任务, 这时CPU就会为这些任务开辟多个独立的执行路径, CPU会在这多个任务之间进行快速...

2018-09-18 21:17:06 122

原创打印流,合并流和装饰者模式

装饰者模式作用1.解耦, 不让类和类产生继承的关系2.对对象的原有的功能进行升级书写步骤1.明确被装饰的对象2.将被装饰的对象通过构造方法传入装饰类, 装饰类中肯定有一个成员变量就是被装饰的对象3.拥有被装饰的对象, 相当于可以调用该对象中的所有方法, 就可以对该方法进行升级使用例子// 学习的接口interface Study{ void study();}...

2018-09-17 20:52:16 163

原创流的学习

转换流转换流可以查指定的编码表进行读写OutputStreamWriter(字符流转向字节流的桥梁) 将程序中的字符按照创建转换流时给出的编码格式去查对应的码表,使用字节流将文件写入InputStreamReader(字节流转向字符流的桥梁) 先按字节读,读完了用转换流去查对应的表,最终以字符的形式读到程序中使用实例// 转换流写个UTF-8格式的文件 pub...

2018-09-16 16:36:50 127

原创字节流和字符流的用法

字节流作用:字节流可以将文字图片音频等等文件转成字节进行数据传输分为: OutputStream: 输出流,写文件 InputStream: 输入流,读文件输出流的使用实例: // 创建一个字节输出流,写文件,设置文件路径,如果没有,系统会自动创建 FileOutputStream fos = new FileOutputStream("/Us...

2018-09-13 21:03:41 1893

原创 Java的File类学习

File类一般用来表示: 1.表示文件 2.表示文件夹 3.表示路径(可以是错误路径)File类方法File类的三种构造方法 File file = new File("src/dd.txt"); String parent = "/Users/lanou/Desktop/Test" ; String child = "dd...

2018-09-12 19:55:16 147

原创 Java异常处理

异常信息内容1.打印错误信息 2.打印异常类 3.打印错误发生的位置 4.将你的程序停止异常类Throwable(所有异常的父类)Error(数据库崩溃系统崩溃)Exception(异常类)RuntiomeException(运行时异常)异常处理方式使用try…catch…finally自己处理try:存放可能发生异常的代码 catch:匹配异常类...

2018-09-11 20:04:28 129

原创 Java如何使用TreeSet和HashMap

TreeSet特点:无序 , 无下标 , 不重复功能:排序 TreeSet排序步骤 1.实现Comparable接口 2.实现接口中方法 3.编写排序规则 4.将规则传入到TreeSet的构造方法中注意: compareTo方法返回值为0时,不存Map(双列集合的父接口)1.以键值对形式来存储数据 ...

2018-09-07 20:50:12 811

泛型泛型:标识着集合中存储元素的数据类型写法:&amp;lt;数据类型&amp;gt;泛型类声明位置:类名&amp;lt;泛型&amp;gt;泛型类中创建对象时,会给泛型赋值类型一个类中有多个泛型,需要在方法上进行泛型声明,这个泛型将会在该方法被调用时被赋值好处: 1.保证数据的安全性(提示方法中传入参数类型) 2.避免进行向下转型(类型强转) 3.将运行时的错误转化编译时报错创建一个集合带有泛型...

2018-09-06 20:28:45 1843

原创系统方法和List集合

系统方法containsAll 判断是否包含retainAll 在调用者的集合中求两集合的交集removeAll 在调用者的集合中删除两集合的交集addAll 把传入的集合中的所有元素添加到调用的集合中addFirst 添加第一个元素addLast 从最后添加元素removeLast 删除最后一个元素List特有方法add(int index,Object obj...

2018-09-05 19:50:00 197

原创包装类和集合

基本数据类类型的包装类基本数据类型声明变量,只有一个功能保存数据基本数据类型转化包装类,增加了成员方法和成员变量byte —– Byte short —– Shortint —– Integerlong —– Longfloat —– Floatdouble —– Doublechar —– Characterboolean —– Boolean包装类方法使用...

2018-09-04 20:26:29 369

原创 Java系统类的学习

学习系统类就是学习系统定义好的方法equals比较字符串的值==比较对象的地址String s1 = "abc";// new 声明在堆内存中String s2 = new String("abc");String s3 = "abc";System.out.println(s1 == s2);System.out.println(s1 == s3);System.ou...

2018-09-03 20:36:18 225

原创 Java初识接口与类适配器

抽象类和接口区别使用方式抽象类:继承 extends 接口:实现 implements成员变量抽象类:变量常量接口:常量默认 public static final 修饰成员方法抽象类:抽象方法成员方法都可以接口:只能有抽象方法静态方法默认方法构造方法抽象类:有构造接口:没有类与类之间关系单继承多层继承类与接口之间关系...

2018-08-31 19:33:31 337

原创 Java的设计模式以及抽象和接口的概念

单例设计模式(单实例)核心:在程序运行当中,无论你怎么创建该对象,该对象有且只有一个存在单例传值写单例对象思路:1.对象不能让用户来创建(不能在本类以外创建) 2.对象应该在类的内部来创建 3.开放一个让用户在类外面,能拿到对象的方法分为饿汉式和懒汉式单例饿汉式单例:不管使用不使用开放的方法,都会将这个单例对象创建出来懒汉式单例(双锁):只有第一次调用开放的方法,单...

2018-08-30 19:49:29 413 1

原创 Java多态

Java入门之多态多态:一种事物的多种形态(状态)多态的前提(规则) 1.必须类与类之间有关联(继承关系) 2.必须要有方法的重写(否则多态没有意义) 3.核心:父类的引用指向子类的空间，可以理解为父类的指针指向子类的对象。public class SimpleExample { public static void main(String[] args) {...

2018-08-30 19:02:25 96

原创 Java代码块和继承

##代码块、继承、⽅方法的重写与final关键字⼀一.代码块代码块分为四种，分别是局部代码块、构造代码块、静态代码块和同步代码块。同步代码块将在后⾯面的多线程中讲到，在此不不做赘述。1.局部代码块书写位置:⽅方法中 {代码}。作⽤用:限制变量量的作⽤用域。 2.构造代码块书写位置:类中⽅方法外。调⽤用: 1.创建对象时系统⾃自动调⽤用。 2.在构造⽅方法调⽤用之前 ...

2018-08-28 21:20:43 445

原创 Java构造方法和静态修饰

Java入门构造方法、静态变量与静态方法1.构造方法构造方法的形式与注意事项构造方法:对成员变量初始化。写法: 关键词类名(){} 注意:构造方法没有返回值且无返回值位置。构造方法是系统调用的，每创建一个对象,构造方法只会调用一次。系统会根据你传入的参数来选择调用构造方法。类的书写顺序1.成员变量 2.构造方法 3.set/...

2018-08-27 21:10:12 390

原创 Java面向对象

Java入门教学之面向对象1.面向对象与面向过程面向过程就是分析出解决问题所需要的步骤，然后用函数把这些步骤一步一步实现，使用的时候一个一个依次调用就可以了。强调的是过程，我来干什么？“我”作为过程的执行者。面向对象是把构成问题事务分解成各个对象，建立对象的目的不是为了完成一个步骤，而是为了描叙某个事物在整个解决问题的步骤中的行为。强调的是对象，我在这个过程中作为指挥者。面...

2018-08-27 21:08:39 108

原创 java数组

Java入门教学之数组1.栈内存与堆内存栈内存特点: 1.所有函数在执行时都会进入栈内存(函数的入栈)，当函数执行完毕后会出栈被系统销毁。 2.先入栈后出栈。入栈又叫压栈，出栈又叫弹栈。堆内存特点 1.堆内存会分配内存地址 2.堆内存会分配初值，基本数据类型初值 0 ，引用数据类型初值 null。 3.有垃圾回收机制...

2018-08-27 21:06:54 127

原创 Java循环语句

java入门之循环与函数一.Java中常用的循环1.while循环基本结构 while(判断条件){ 循环体 (一条或多条语句) } 当判断条件不成立时循环结束2. do-while循环基本结构 * do{ * 循环体 * }while(判断条件) * do-while循环不管判断条件是否成立 ...

2018-08-27 21:05:34 11979

原创 Java的运算符和流程基础学习

运算符1.算数运算符 + - * / %（取余运算） ++（自增） - -（自减）2.关系运算符(主要用来判断条件) 注意：使用关系运算符会有返回值，并且只是布尔类型的 < >= <= == !=3.逻辑运算符（判断后会有布尔类型的返回值） && 与（条件1） &&（条件2）一假则假 || ...

2018-08-21 21:44:27 134

原创 Java基础简单了解

一、程序分为B/S（浏览器/服务器）和C/S（客户端/服务器）1.B/S 好处：不用更新坏处：依赖网络依赖平台2.C/S 好处：客户端中保存着程序使用资源（图片音频）加载速度快坏处：需要更新二、六大特点：简单性、面向对象、分布式、跨平台性、安全性、健壮性1.简单性相对于C语言 C语言的核心指针（保存地址） Java中没有指针的概念（使用的是引用概念）2...

2018-08-20 20:21:41 211

孤星的博客