- 博客(48)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive调优 ------- 竖表变横表
好久没有更新博客了 来公司三个多月，别的没学到，天天写sql hive，本来很反感这样的重复性劳动，不过呢！既来之则安之 工作中遇到这样一个需求有这这样一张表t_buy_buyer_time_hongbao_asc 用户id 次序 购买时间25560 1 1325345254 25560 2 1...
2012-10-11 17:10:27
1720
原创 在tomcat中运行得nutch加入中文分词后的检索
nutch-0.9加入中文分词之后的索引有很多博客已经讲到过我没有使用Cygwin模拟linux环境，而是在Tomcat中运行的nutch。这个项目工程文件是在我们的项目中的一个war包，而这个war包却是最开始的版本，因此我们要在特定的时候修改掉里面的一些文件。 但遇到一个问题是，加入分词之后放到tomcat里面发现搜索不好使了，用Luke打开索引文件可以看到中文分词的效果明显可...
2012-05-05 20:01:19
164
原创 大学最后半年
大学就剩下半年时间，转瞬就要完结。 六月份去公司报道，很期待，也很纠结... 不断的有人问我现在在哪里，现在在干嘛，我确实不知道该怎么说，我没有去公司实习，没有做毕业设计，也没有兼职，我只是在宿舍里做着一些想做的事... 以前觉得没去公司实习是件很没面子，新年就碰到公司分拆无线部门成立新公司，很纠结，觉得前途很渺茫，现在想想，其实，我比别人多了半...
2012-03-01 16:53:28
173
是你的跑不掉 不是你的求不来
创新工场2012年校招，最开始的是九月份的创新工场，第一场笔试没过，很郁闷。跑到华科参加第二场笔试，又没过，于是更郁闷了，第二天跑去霸面，见过了蔡学镛，过了一面，然后我相信了有些机会是要自己去争取的。淘宝那段时间又来了淘宝，我一直想去的一个公司，笔试题挺难，但我蒙对了很多，然后进了面试，一面，二面，HR面在四个小时内搞定了，一路顺风顺水，我强烈的感觉到我要进淘宝了，然后...
2011-10-19 07:39:50
334
树的相关操作
最近很多大公司的笔试题都考到了树这个数据结构 淘宝武汉地区的笔试题倒数第二题是关于树中两个节点找父节点的 搜狗昨天又考到了，是找树中两个距离最远节点的题。 所以树被考到的概率很高啊，今天又java把树的基本操作都写了一遍，需要的童鞋果断分享吧package com.gengu.树;import java.util.Queue;import java.util...
2011-09-26 21:14:10
106
几种常见排序算法的实现[内部排序]
马上要找开始找工作了 抽点空对各种排序算法进行一下总结，随手从维基百科上搜索了一下。 排序算法大概分这么多种稳定的 冒泡排序（bubble sort） — O(n2) 鸡尾酒排序 (Cocktail sort, 双向的冒泡排序) — O(n2) 插入排序 （insertion sort）— O(n2) 桶排序 （bucket sort...
2011-09-06 18:54:28
111
CPU，主存，外设I/O读写速度不匹配的解决
CPU与主存 我们都知道计算机的存储器分为：寄存器，主存，辅存，更加具体的分类如下CPU寄存器寄存器主存高速缓存主存磁盘缓存辅存磁盘可移动存储介质 在计算机存储层次中，寄存器和主存储器都是可执行存储器，存储于其中的信息与存放在辅存中的信息相比较而言，计算机所采取的访问机制是不一样的，所需耗费的时间...
2011-09-03 20:49:15
6942
java NIO学习笔记 非阻塞IO编程
我们都知道TCP是面向连接的传输层协议，一个socket必定会有绑定一个连接，在普通的BIO(阻塞式IO)中，需要有三次握手，然后一般的socket编程就是这样的形式。Socket服务器端流程如下：加载套接字->创建监听的套接字->绑定套接字->监听套接字->处理客户端相关请求。Socket客户端同样需要先加载套接字，然后创建套接字，不过之后不用...
2011-09-01 21:20:59
176
java IO学习笔记[2]
我昨天在写java网络编程的时候想到这样几个问题，现在总结一下。 一：TCP编程是面向字节流的 我用socket编程，是基于TCP/IP的，而TCP协议是传输层的协议，它是面向连接的，与UDP很大的不同在于前者是面向字节流的协议，而后者是用户数据报协议（User Datagram Protocol），面向字节流有一个很大的好处，那就是可以进行拥塞控制，进行流...
2011-08-30 12:44:27
70
java IO学习笔记[1]
每次看javaIO的时候就很烦躁，一是因为太繁琐了，看到这么多类，又是字节流又是字符流的，二是我做javaEE开发的时候用的实在不多，过两天就忘了。 流又分为输入流和输出流：这个是以内存为参照的，如果是向内存存入的就是输入流，从内存流出就是输出流。 java的IO分为字符流和字节流，字节输入流每次都是从文件或者内存中的读取都是以字节为单位的，在abstract类InputStrea...
2011-08-29 16:12:31
86
再次理解下OOP（读书笔记）
目前的主流开发领域有两种开发方法，即结构化开发方法和面向对象开发方法，早期的语言C，Basic等都是结构化编程语言。 结构化程序设计 结构化程序设计方法主张按照功能来分析系统需求，其主要原则可概括为自顶向下，逐步求精，模板化等，结构化程序设计首先采用结构化分析方法对系统进行需求分析，然后采用结构化设计方法对系统...
2011-08-19 12:34:48
104
mysql存储引擎MyISAM的并发插入
都知道MySQL数据库是一个具有多种存储引擎的数据库，最常用的有MyISAM和InnoDB，两种存储引擎。 InnoDB支持外键，支持事务安全，数据多版本读取，锁定机制的改进等诸多优点，这里就不多说了。 那么MyISAM，是一个sun公司自己开发的存储引擎，只支持表级锁定。 我做了这样一个测试，使用root登录然后创建一个数据库test1mysql> create...
2011-08-15 20:37:50
934
java的异常处理机制
异常机制已经成为很多语言的一种判断其成熟度的标准，除了C之外，其他的主流编程语言比如java,C#,Ruby等都提供了成熟的异常处理机制，异常机制可以使得程序中异常处理代码和正常业务代码的分离，保证程序代码更加优雅，并可以提高程序的健壮性。 网上关于java异常处理机制的文章有很多，我只写一下我觉得可能需要注意的地方。 1：在java中处理异常主要有五个关键字：try...
2011-08-12 11:08:55
125
观察者模式
恩，今天看了一道面试题说到了观察者模式，还不是很懂，看了看书，将代码实现了一遍。有个大致的了解了。 观察者模式的定义：定义对象间一种一对多的依赖关系，使得每当一个对象改变状态，则所有依赖于它的对象都会得到通知并自动更新。 在《设计模式之禅》一书中，做着打了一个韩非子的比方，说的是这样一件事：韩非子是一个很有名的人，很多人在他身边安排了细作，监视他的一言一行，比如他吃饭了，那就通...
2011-07-25 17:08:46
80
访问者模式
今天在使用dom4j进行xml解析的时候使用到了访问者模式。它的使用是这样的，由于dom4j的Node接口中定义了一个accept(Visitor visitor)方法，而Node虚类是dom4j中所有的节点的父类，就相当于Object类一样，但是我们对于xml中的节点的访问应该是不一样的，对于属性，我们应当访问属性名和属性值，对于元素我们应当访问元素值和元素名，对于处理指令我们又要使用不一样...
2011-07-23 16:59:32
77
Dom4j解析和创建XML文档
dom4j是一套开源的XML解析工具，完全支持DOM,SAX和JAXP机制，与传统的Xerces-J相比，dom4j更为简单易用，因此实际项目中往往采用它作为xml解析器。 dom4j只提供了java版本的，往往有很多的开源项目都使用它作为解析器比如hibernate框架。 dom4j支持多种解析机制： DOMReader :它负责根据W3C的DOM树创建dom4j树。...
2011-07-23 11:23:45
123
备忘录模式
我更喜欢把它叫做备份模式 考虑这样一种场景：在我们做实验的时候，我们必须保证一步一步的做，并且在实验当前必须保证我前面的步骤都是正确的？不然如果出了问题，你都不知道是哪一步出的问题，好吧，如果你能保证前面的都正确，那么你在做下一步的时候，就要考虑我是不是能把情况恢复到这里，因为你下一步可能出错，所以你要有恢复的能力啊！这样你就得懂得备份，如果程序在下一步出现问题，你就用备份恢复一下。 ...
2011-07-22 15:49:12
83
门面模式
我们先来讨论一个很常见的问题。餐馆吃饭的问题。在有些餐馆，客人进去吃饭是需要自己找座位，自己倒茶，自己写菜单，然后将菜单交给服务员，由服务员去完成剩下的工作。但是也有很多那种高级的餐厅，或者服务很周到的餐厅是这样做的，你一进门，就会有服务员领着你到给你安排座位（我们现在假设安排座位是专门一个部门来完成的，只是这个服务员直接问了座位部那些座位是空的，然后领着去对应的地方就可以了）。然后你...
2011-07-22 12:02:59
74
ThreadLocal类的理解与使用
在java线程中有一个很有作用的类ThreadLocal 在网上关于ThreadLocal的理解也相当的多，文章也很多，但是很多看了都让人一头雾水，有的就讲原理，有的就说概念，而且大量的转载，却很少有实例这块的。 JDK1.5之后，java引入了泛型的概念，也为ThreadLocal引入了泛型，通过泛型可以简化多线程编程时的并发访问，使用这个工具类可以很简洁的编写出有没的多线程程序...
2011-07-19 17:58:00
68
状态模式
现在有一个这样的场景。 对于TCP的连接，大家都知道，TCP是面向连接的一种通信方式，那么他有三种基本的状态1：等待连接 2：连接 3：断开 那么每一个TCP都有这样三种操作，但是等等...如果一个TCP已经在连接状态了，那么它还能连接？？显然不能，每一个TCP通信在一种状态下面只能有一种连接方式。 它的关系应当是这样的：在等待状态下只能进行连接，连接完后把状态改成连...
2011-07-18 21:42:19
67
java中断线程
上一篇博客讲过线程的中断，特别提到过interrupt()这个方法，现在来详细讲述一下这个方法，以及这个方法的用途。 JDK1.0之前，有一个方法stop()方法可以强制一个线程的中断，但是现在这个方法被废弃了，但是还是有一种方法可以请求终止一个线程，它就是interrupt()方法。 当程序运行到interrupt()方法之后，线程的（interrupt status）中断状态将...
2011-07-18 17:06:01
66
java 多线程
学习一下java多线程 实现java多线程主要有实现Runnable接口，实现run方法和继承Thread类。重写run方法。 首先说一些这两种实现方式的区别：①Thread类在API中的定义是这样的，public class Thread extends Object implements Runnable可以看到，Thread类是实现了Runnabl...
2011-07-18 15:55:53
79
组合模式
组合模式的定义：将对象表示 “部分---整体”的层次结构，使得用户对单个对象和组合对象的使用具有一致性。 大致意思就是这样，当我们有多个类型的对象，他们有共同点有不同点，并且所处的位置也不同，有的处在第一级，有的处在第二级，但是他们有些共同点，我们将他们都抽象成一种类型，这样对他们的使用将会有一致性。 打个比方：现在又商品，商品又分为商品种类和具体的商品，而商品种类下可能还有更细致...
2011-07-18 09:47:03
73
变压器模式
适配器模式又叫做变压器模式，也叫做包装模式。 学过物理的人都知道变压器是干嘛的。把一个非常高的电压转化成一个适合电器使用的电压，或者在电线传输的时候用高压传输也要把低压电转化成高压电，这就是变压器。 那么变压器模式也是这样，把原本不配套的组件，经过一个中间件转成一个可以在合适的地方使用的组件，这就是变压器的作用。 变压器模式的定义：讲一个类的接口变换成客户端所期待的另一种接...
2011-07-17 23:32:49
245
装饰模式
装饰模式的定义是：动态的给一个对象添加一些新的职责，就增加功能来说，装饰模式比生成子类更为灵活。 装饰模式与代理模式的作用很像，都是在原有构建的基础上添加新的功能 装饰模式的角色说明：Component 抽象构建 是一个抽象类或者接口，它规定了我原始的构建应当事先说明。 ConcreteComponent 类 是以上构建的一个实现类 ，它是最需要修饰的一个类 De...
2011-07-17 17:10:02
68
责任链模式
今天学习了下责任链模式，对责任链模式有了一个初步的了解，这个模式有些复杂 比如有这样一种情况：有三个经理，A是负责人事的，B负责财务，C负责销售。他们都能对自己所管辖的领域里大大小小的事情进行处理。但是有一些新入职的职员根本不认识他俩，有的时候一个人事部的人跑去财务部领导那里报告情况，这个时候B就要把请求指引到A那里去，也有的时候B也不知道要找谁，就把请求传递给C，让C处理，C当然也没有权...
2011-07-17 11:03:55
77
策略模式
第一次接触到策略模式是在使用Spring的时候。当时接触了AOP的概念，知道了Spring中完成AOP实际上是代理模式。默认会使用到java的动态代理机制，但是这个是有限制的，就是说只有在实现了接口的类才能被动态代理，那么没有实现接口的呢？Spring使用了CGLib,在内存中直接通过生成一个实例的时候将需要代理的东西加进去。 什么时候用动态代理，什么时候用CGLib 呢？ Sprin...
2011-07-16 23:49:39
57
中介者模式
中介者模式的定义：用一个中介对象封装一系列的对象交互，中介者使各对象不需要显示的相互作用，从而使其耦合松散，而且可以独立的改变他们的交互。 中介者模式有很广泛的应用，比如在MVC框架中，C就是一个中介者，他来协调V和M的调用，减少View和Model层得交互，在很多优秀的开源框架中都有很好的体现。 Mediator :抽象中介者角色 它定义统一的接口，用户各个同事角色之间的通信...
2011-07-16 16:31:12
69
原型模式
原型模式是一种很简单的设计模式其实就是通过将一个类实现Cloneable接口并且重写clone方法，来创建一个类的多个实例。 比如说，我有一个工作需要大量的这个类的实例，但是由于创建这样一个类会花费大量的时间。一种解决方案是先创建一个类，然后通过clone方法大量复制，来得到这个类。 原型模式的定义：用原型实例指定创建对象的种类，并且通过拷贝这些原型创建新的对象。它是在内存...
2011-07-16 11:34:20
52
建造者模式
今天学习了建造者模式 它的定义是这样的：将一个复杂对象的构建与它的表示分离，使得同样的构建过程可以创建不同的表示 建造者模式中，有如下四种角色1：Product产品类 通常实现的是模板方法和基本方法2：Builder抽象建造者，规范产品的组件，一般是由子类实现3：ConcreteBuilder 是先抽象类定义的所有方法，并且返回一个组建好的对象4：Director导...
2011-07-16 10:58:15
66
java 动态代理
上一次说了java的代理模式。其实java自己就提供了动态代理帮助我们实现代理模式，他的核心思想是在编写程序时不关心程序要代理谁，而是在运行的时候才关心我要代理谁。 java.lang.reflect.InvocationHandler是JDK提供的动态代理接口，对被代理类的方法进行代理。invoke方法是接口InvocationHandler定义必须实现的，它完成对真实方法的调用...
2011-07-15 19:37:30
61
代理模式
java中代理模式是使用最最广泛的一个模式了 在当今最流行的hibernate和Spring中都可以看到它的广泛应用。比如说在hibernate中的延迟加载和Spring中的AOP.都有它巨大的功劳。 它的中心思想是，为其他对象提供一种代理以控制对这个对象的访问。有三个角色，抽象主题角色，具体实现角色，代理主题角色 package com.gengu.代理;/*...
2011-07-15 17:04:30
72
模板方法模式
模板方法模式有这样的定义：定义一个操作中的算法的框架，而将一些步骤延迟到子类中，使得子类可以不改变一个算法的结构既可重定义该算法的某些特定步骤。 模板方法的使用场景有：1：多个子类有公有的方法，并且处理逻辑基本相: 2：重要重复的算法，可以把核心算法设计为模板方法，周边的相关细节功能则由各个子类实现 3：重构时，模板方法模式是一个经常使用到的模式，把相同的代码抽取到父类...
2011-07-15 16:26:45
70
java 抽象工厂模式
抽象工厂模式，在很多场景下都有应用。 它有以下的优点1：封装性，每个产品的实现类不是高层模块要关心的，它所要关心 的是接口和抽象类，他不关心对象是如何创建出来，只有工厂类去关心，只要知道工厂类是谁，我们就能得到一个需要的对象。 2：产品家族的约束为非公开状态。而抽象工厂模式针对的是多个产品等级结构。当每个抽象产品都有多于一个的具体子类的时候，工厂角色怎么知道实例化哪一个子类呢？...
2011-07-15 14:44:52
107
原创 ｊａｖａ 简单工厂模式
简单工厂模式也是一个应用很广泛的模式，但是可扩展性没有工厂方法模式高。 简单工厂模式设计到工厂角色，抽象产品角色以及具体产品角色等 工厂类：担任这个角色的是工厂方法模式的核心，含有与应用紧密相关的商业逻辑，工厂类在客户端的直接调用下创建产品对象，他往往由一个具体ｊａｖａ类实现。 抽象产品：担任这个角色的类是由工厂方法模式所创建的对象的父类，或他们共同拥有的接口。通常由一个接...
2011-07-15 13:03:46
128
原创 工厂方法模式
简单工厂模式是最广泛被使用的一个模式，伟大的Spring就大量使用了它的思想 那么为什么要使用工厂模式呢？首先，良好的封装性，代码结构清晰，对用户屏蔽了类实体的创建过程其次，良好的可扩展性，在增加产品类的情况下，只要适当的修改具体工厂类或者扩展一个工厂类，就可以"拥抱变化"。再次，屏蔽产品类，产品类如何变化，调用者根本不用担心，它只关心产品的接口，只要接口保持不变，系统的上层模...
2011-07-15 12:17:36
79
原创 java 模式之单例模式
开始研究java模式，有些东西还理解的不是很透彻 把他们记录下来加深理解，并且跟广大技术爱好者们共同探讨 单例模式，就是保证在堆中只创建某一个类的一个实例，单例模式有很多应用，比如说hibernate中的SessionFactory,比如在Spring中默认创建的类的实例都应该是单例模式的。 我觉得他是模式中最简单的之一了 有两种实现方式1：packa...
2011-07-04 22:39:22
66
java中的方法重写
从今天开始，转战iteye了 第一篇博客想写点关于java的方法重写，百度百科给这样的定义。 1.发生方法重写的两个方法返回值、方法名、参数列表必须完全一致(子类重写父类的方法)2.子类抛出的异常不能超过父类相应方法抛出的异常(子类异常不能大于父类异常)3.子类方法的访问级别不能低于父类相应方法的访问级别(子类访问级别不能低于父类访问级别)但是通过今天写了一个重写Object类...
2011-07-04 22:20:43
103
原创 java多线程执行的混乱
<br />在现实生活中有很多问题涉及到了多线程，可以说多线程与我们的生活息息相关<br /> <br />这里说几个很典型也是很多程序员包括书本所引用的例子：①火车站卖票问题 ②缓冲区缓冲问题 ③生产者消费者问题<br /> <br />这样的问题没有线程根本没有办法解决，但如果解决不好又会遇到很多混乱，下面请看代码。<br /> <br />public class TestThreadTrain { public static void main(String[] args) {
2011-03-08 20:32:00
3022
1
原创 java多线程 [3]
之前的博客已经将过了很多关于线程的属性和方法还有几个很值得注意的属性。①线程名在java中每一个线程都是有名字的，比如我们操作线程遇到错误报错的时候就能看到线程的名字，一般是thread-0这种格式的。但主线程的名字就叫做main。可以通过Thread.currentThread()这个方法来得到现在正在运行的线程。有个方法叫做getName()方法，可以得到线程名。当然也可以人为的指定线程名在Thread这个类的定义中有很多构造方法有name这个参数。两个线程是允许取同样的名字的，但为了不造成混乱，我们一
2011-03-08 19:52:00
539
一个java题目，求解释
2011-08-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人