Rj08zhou-CSDN博客

原创 Hadoop中RPC小结

概述Hadoop RPCHadoop ClientHadoop ServerHadoop RPC的使用Yarn RPC参考概述RPC（Remote Procedure Call）远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，...

2018-06-11 18:50:58 7606

原创关于websocket连接报404的问题

问题描述及解决方法Q&amp;amp;A问题描述及解决方法项目中遇到websocket连接报404的问题。解决方法如下: * 由于项目是有nginx的,首先检查nginx是否开启了websocket穿透，如下面代码展示：location / { proxy_pass http://entertain.sbc.com/xpe-products-sbc-entertai...

2018-05-24 19:38:52 29715 1

原创 CDH下的第一个MR程序

概述准备条件环境搭建程序运行Q&A参考概述上次搭建好了CDH hadoop集群环境，已经安装了Zookeeper,HDFS,Yarn,Hive,Spark组件，现在开始写一个小的MR程序测试一把。准备条件系统环境操作系统：Windows10开发所需工具： Eclipse 4.4.2, Apache-maven-3.3.3,Java-8u131,hadoop-eclipse-p

2017-07-28 16:16:59 755

原创 CentOS7.3下安装Cloudera Manager5.11.1

CentOS7.3下安装Cloudera Manager5.11.1概述准备条件系统环境配置安装Java安装MySQL安装CMCM配置Q&A参考概述最近公司需要研究大数据方向的内容，经初步讨论，决定使用CDH版本的Hadoop，使用Cloudera生态下的Cloudera Manager平台。CDH(Cloudera’s Distribution, including Ap

2017-07-26 10:33:36 6282 2

原创初识Lucene6.6.0

Lucene是简单而功能强大的基于Java的搜索库。它可以用于任何应用程序的搜索功能。它是可扩展的，高性能的库用于索引和搜索几乎任何类型的文本。项目中使用Lucene做业务菜单的搜索功能。客户可以通过输入业务菜单的部分文字，通过Lucene检索，查询到相符合的菜单目录进行业务操作。闲话不说，本人根据项目中Lucene的使用情况结合新版的（6.6）Lucene使用情况写了个DEMO用于学习。

2017-07-09 22:45:15 1357

原创 Java导出Excel文件

最近项目中用到了一个常见的功能----把列表的数据导出为Excel文件。一般来说导出Excel格式使用了Apache的POI包，所以我这边也是用了这个poi.jar。由于导出的数据渲染到excel中的格式以及样式都不一致，且导出的数据类型也不是同一种。所以这边做了一个适配的处理，代码如下。首先定义一个接口，因为导出的数据不是同一个类，这里做了泛型处理。import ja

2016-01-27 20:14:30 697

转载 js中apply方法的使用

1.对象的继承，一般的方法是做复制：Object.extend Prototype.js实现的方式是：Object.extend = function(destination, source) { for (property in source) { destination[property] = source[property]; } r

2015-12-28 21:57:28 586

原创 Javascript获取属性的值以及比较值

这几天遇到一个比较两个对象中属性值是否相等的问题。写了一个比较函数，如下：function isObjectValueEqual(a, b) { var aProps = Object.getOwnPropertyNames(a); var bProps = Object.getOwnPropertyNames(b); if (aProps.length != bP

2015-10-11 22:33:16 1857 3

原创 checkbox标签的onchange事件兼容问题

今天做一个功能点击checkbox勾选后，弹出一个隐藏域。调用了onchange事件。 #checkbox({"label":"无条件触发", "name":"noCondition","events":[{"event":"onchange","function":"noConditionClick()"}]}) 由于我开始是在chrome和firefox下测试的，这段代码能

2015-09-11 15:56:32 5069 1

原创 javascript获取上一工作日

今天工作时有碰到一段获取上一工作日的代码，获取上一工作日并将其转化为yyMMdd格式的字符串。如2015年9月1日，转化为20150901。这里只是简单地获取周一至周五的工作日。 //获取上一工作日 function getLastWorkDate(date){ var dateInt = parseInt(date.Format("yyyyMMdd")); var y

2015-09-11 15:39:31 2821

原创 eclipse maven 错误Errors occurred during the build...(524)之类的错误解决办法

情景：使用eclipse创建一个maven工程后，再次启动eclipse报maven错误。错误信息如下: Errors occurred during the build. Error instantiating builder ‘org.eclipse.m2e.core.maven2Builder’.Plug-in org.eclipse.m2e

2015-09-07 11:38:02 9461

转载 10行Java代码实现最近被使用（LRU）缓存

在最近的面试中，我曾被多次问到，怎么实现一个最近最少使用（LRU）的缓存。缓存可以通过哈希表来实现，然而为这个缓存增加大小限制会变成另一个有意思的问题。现在我们看一下怎么实现。最近最少使用缓存的回收为了实现缓存回收，我们需要很容易做到：查询出最近最晚使用的项给最近使用的项做一个标记链表可以实现这两个操作。检测最近最少使用的项只需要返回链表的尾部。标记一项为最近使用的

2015-07-16 10:10:58 650 1

转载最短路径算法之Dijkstra算法(java实现)

前言　　Dijkstra算法是最短路径算法中为人熟知的一种，是单起点全路径算法。该算法被称为是“贪心算法”的成功典范。本文接下来将尝试以最通俗的语言来介绍这个伟大的算法，并赋予java实现代码。一、知识准备：　　1、表示图的数据结构　　用于存储图的数据结构有多种，本算法中笔者使用的是邻接矩阵。　图的邻接矩阵存储方式是用两个数组来表示图。一个一维

2015-07-01 09:47:50 1279 1

转载相互递归绑定让Observer更安全

Observer被称为一种行为模式，用来构成运行中的对象间的关系。在“四人帮”的设计模式声明中提供的定义如下：Observer定义了对象间的一对多的依赖关系，当一个对象的状态发生改变时，所有依赖于它的对象都得到通知并被自动更新。Java类库的java.util包中通过Observable类和Observer接口，实现了一个Subject-Observer模式的非通用版本。O

2015-05-04 22:11:35 385

转载使用Java处理大文件

我最近要处理一套存储历史实时数据的大文件fx market data，我很快便意识到，使用传统的InputStream不能够将它们读取到内存，因为每一个文件都超过了4G。甚至编辑器都不能够打开这些文件。在这种特殊情况下，我可以写一个简单的bash脚本将这些文件分成更小的文件块，然后再读取它。但是我不想这样做，因为二进制格式会使这个方法失效。处理这个问题的方式通常就是使用内存映射文件

2015-04-26 21:34:34 1001

原创 Eclipse下建立调试远程Tomcat的端口

今天项目中需要建立与远程服务器(linux)上的tomcat调试端口，于是乎查询一些资料然后整理如下：第一种方法是：进入tomcat安装目录下${TOMCAT_HOME}/bin下直接输入:catalina.sh jpda start 这个应该会默认监听8000端口进行调试，如果想修改这个端口的话可以改变这个变量JPDA_ADDRESS，如: export J

2015-04-16 17:47:15 753 1

转载 Java 泛型: 什么是PECS（Producer Extends, Consumer Super）

什么是PECS？ PECS指“Producer Extends，Consumer Super”。换句话说，如果参数化类型表示一个生产者，就使用；如果它表示一个消费者，就使用，可能你还不明白，不过没关系，接着往下看好了。下面是一个简单的Stack的API接口：public class Stack{ public Stack(); public void push(E

2015-04-15 19:02:20 3255

转载正确使用Java事件通知

通过实现观察者模式来提供 Java 事件通知（Java event notification）似乎不是件什么难事儿，但这过程中也很容易就掉进一些陷阱。本文介绍了我自己在各种情形下，不小心制造的一些常见错误。Java 事件通知让我们从一个最简单的 Java Bean 开始，它叫StateHolder，里面封装了一个私有的 int 型属性state 和常见的访问方法：publi

2015-03-31 14:05:01 520

原创 Java注解提供的一些基本对象/关系映射功能(一)

如果希望提供一些基本的对象/关系映射功能，能够自动生成数据库表，用以存储JavaBean对象，可以使用XML描述文件，指明类的名字，每个成员以及数据库映射的相关信息，也可以使用注解，将所以的信息保存在JavaBean源文件中。这一点有点类似Hibernate JPA所做的，定义与Bean关联的数据库表的名字，以及与Bean属性关联的列的名字和SQL类型。下面就是这个功能的一些基本实现。

2015-03-19 23:52:11 700 1

转载 HashMap深度学习

一、散列表初探：同一问题可用不同算法解决，而一个算法的质量优劣将影响到算法乃至程序的效率。算法分析的目的在于选择合适算法和改进算法。一个算法的评价主要从时间复杂度和空间复杂度来考虑。时间复杂度是指执行算法所需要的计算工作量；而空间复杂度是指执行这个算法所需要的内存空间。两者均体现在消耗计算机重要的两个资源方面。数据结构中有数组和链表

2015-03-18 22:09:08 785 2

原创元组类库

在做项目的时候，经常会只用一次方法调用就要返回多个对象，但是Java的return语句中只能返回单个对象。因此可以创建一个对象，用它来持有返回的多个对象。这就是元组的作用，它将一组对象直接打包储存于其中的一个单一的对象。这个容器对象允许读取其中的元素，但不允许向其中存放新的对象。

2015-03-14 21:18:58 455

原创不用LinkedList实现Stack行为

前一篇使用LinkedList实现了一个Stack类，因为LinkedList本身已经具备了创建Stack所必须的方法。现在不使用LinkedList，来实现自己的内部链式存储机制。

2015-03-12 22:46:01 563 1

原创 Java用LinkedList实现的Stack

LinkedList具有能够直接实现栈所有功能的方法，因此可以直接将LinkedList作为栈使用，现在可以直接生成一个真正的栈。

2015-03-11 22:27:33 3444 3

转载 Java内部类的一些小结(二)

内部类也通常运行在各种控制框架中。要运用某个控制框架，一般是继承一个或者多个类，并且覆盖某些方法。在覆盖后的方法中，编写特定的代码来解决特定的问题。比如在事件机制中相应事件的需求。

2015-03-11 21:41:00 947 2

转载 Java内部类的一些小结(一)

一直以来认为内部类只是名字隐藏和组织代码的模式,今天从Java mindview中看到一些内部类的用法，当生成一个内部类的对象时，此对象与制造它的外围对象之间有了一种联系，所以它能访问其外围对象的所有成员，而不需要任何特殊条件。

2015-03-09 23:34:10 541 5

N/A