anyoneking-CSDN博客

原创 Hadoop集群中引入新DataNode节点

例如新增的节点ip为192.168.1.xxx在所有nn和dn节点上增加192.168.1.xxx datanode-xxx的hosts在xxx上新建用户useradd hadoop -s /bin/bash -m并将其他dn上的.ssh中的所有文件拷贝到xxx上的/home/hadoop/.ssh路径下安装jdkapt-get install sun-ja

2013-04-16 09:25:10 4598 1

原创 hadoop namenode 数据恢复

在一次hadoop的重启过程中，重启失效，只能杀掉hadoop的namenode进程。再重启的时候，出现如下问题：2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs

2012-07-02 12:58:45 2807

原创 hadoop+hive多用户访问支持

在我们hadoop+hive的使用场景中，一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候，只能通过hive启动server的方式来处理。而不能通过客户端的方式来处理。如果将hive程序部署到非hadoop用户下，会出现如下问题：/home/songwei/hive-0.7.0-bin/bin/hive-config.sh: line 21: export: `=/

2012-06-25 17:51:31 3063

原创 hive external table partition 关联HDFS数据

EXTERNAL 外部表在建表的时候制定一个指向实际数据的路径(LOCATION)hive创建内部表时，会将数据移动到数据仓库指向的路径；创建外部表时，仅记录数据所在的路径，不对数据的位置做任何改变，在删除表的时候：内部表的元数据和数据会被一起删除，而外部表只删除元数据，不删除数据。HDFS中已经导入了城市日期数据文件。/u

2011-10-26 10:48:32 3128

原创 Hadoop+hive安装

以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。配置/etc/hosts来使用。下载hadoop安装包，解压缩进入conf目录：修改conf/core-site.xml hadoop.tmp.dir /home/songwei/hadoop/tmp f

2011-10-26 09:03:10 2161

#encoding=utf8'''八皇后问题：每一行，每一列，每一个斜线列只能有一个皇后。'''size = 8queuePosition = {}allCount = 0def generateQueuePosition(n): global allCount if n >= size : return False yList = getFreeGrid(n)#获取当前皇后可以放入的y轴坐标列表 for y

2011-03-28 18:28:00 2183

原创使用二叉树排序

#encoding=utf8'''B+树中的节点。其中value为当前节点值。lNode为左孩子节点，rNode为右孩子节点，count为重复数量'''class TNode(object): def __init__(self,value,lnode=None,rnode=None,count=1): self.value = value self.lNode = lnode self.rNode = rn

2011-03-24 10:33:00 1369

原创项目管理修炼之道-----1-3章读书笔记

一、启动项目 必须要多做一点组织和规划的工作，才能为项目的成功夺保留一份希望。1. 定义项目和项目经理1.1项目 一个独特的任务或是系统化的流程，其目的是创建新的产品或服务，产品和服务交付完成标志着项目的结束。项目都有风险，并且受制于有限的资源。 项目的核心是什么？是产品。1.2产品 项目产生的一系列可交付物。1.3项目经理 负责向团队清晰说明完成的含义，并带领团队完成项目的人。 完成是指产品符合组织对这个产品的要

2011-03-24 08:32:00 7026 16

原创直接排序算法python实现

一直对算法不是很上心，今天跟同事聊天，了解到算法很吃香呀！ 刚开始学习python，就一个一个的算法来吧！希望有时间能坚持下去！ 大家别拍砖！我只是留个笔记在这里。 直接排序法 直接选择排序法的算法是这样的，首先选出前n个元素中的最小（大）者，如果这个最小（大）者不是第1个元素， 则与第1个元素交换，然后以同样的方法对付后 n-1个元素（分治），直到处理的元素只剩一个，即得到有序序列。 它和冒泡排序法很类似，不同的是冒泡排序法进行了更多

2011-03-23 18:21:00 1403 3

原创 django in action

h1. 安装tar xzvf Django-*.tar.gzcd Django-/*sudo python setup.py install完成后，利用如下代码来查看安装版本。{code}pythonimport djangodjango.VERSION{code}h1. 框架介绍django提供了一套快速使用python开发web项目的技术框架。该框架是MVC模式。Model层是数据库层，负责对底层数据库的CRUD，支

2011-03-22 08:49:00 3047 1

原创【每天算法4】编写一个截取字符串的函数，输入为一个字符串和字节数，输出为按字节截取的字符串。

题目:编写一个截取字符串的函数，输入为一个字符串和字节数，输出为按字节截取的字符串。但是要保证汉字不被截半个，如“我ABC”4，应该截为“我AB”，输入“我ABC汉DEF”，6，应该输出为“我ABC”而不是“我ABC+汉的半个”。 package com.sw.suanfa.first.ten;/** * 编写一个截取字符串的函数，输入为一个字符串和字节数，输出为按字节

2010-03-26 10:46:00 5340 4

原创【每天算法3】：用java语言实现，二维Vector的排序组合

题目：有一个二维Vector，每个元都是字符串（或者其他对象），如下面这个三行，每行元素不固定的二维Vector V。 A、B、C、D H、I、J、K、M X、Y、Z 求出满足以下条件的所有Vector D（一定是所有可能的情况）：

2010-03-25 14:02:00 3273

原创【每天算法2】：用java语言实现，一个组数：122345这6个数，打印出它所有可能的组合；要求4不能在第3位，3和5不能相连。

一个组数：122345这6个数，打印出它所有可能的组合；要求4不能在第3位，3和5不能相连。我在实现这个算法的时候，按照len不固定的方式，利用递归方式进行处理。感觉我的算法复杂度还是挺高的。过程中，不断的创建新的数组列别。如果你有更好的算法，请发上来，可以好好学习下。 package com.sw.suanfa.first.ten;import java.uti

2010-03-24 12:40:00 4683 2

原创【每天算法1】：用java 语言实现，输入一个数，就相应地输出的几维数组

想要换工作了，但是感觉自己还没有准备好，毕竟笔试面试还是需要多积累经验的。多做做题总没有坏处。希望自己能坚持每天一个算法。题目也不一定难，主要是希望自己能对各个方面都有所了解，为了以后找个好的工作奠定些小小的基础。题目都是从baidu上随便找的，找到哪个算哪个，尽量自己去完成，如果是自己没有完成的，而是看别人的解答，我会标注出来的。毕竟是别人的劳动所得。废话不多说了，希望自己坚持吧。

2010-03-23 11:32:00 2691 3

原创遍历一次字符串，选择出在该字符串中出现次数最多的字符及其出现次数(Java)

上班的时候，听一个同事说起了百度的一个面试题。“遍历一次字符串，选择出在该字符串中出现次数最多的字符及其出现次数”比如说当前的字符串为"abc2d2e2fg2e1111bc11yh22fd2a2ai222eur张灯结彩",则我应得到的是字符2，出现次数11。特定需求，只通过一次遍历来获取。也就是说，只能循环字符串一次，大概看了一下，就开始入手了。于是写下了下面的代码： public

2010-01-19 15:26:00 7339 22

原创 Spring Bean Scope 有状态的Bean 无状态的Bean

在Spring的Bean配置中，存在这样两种情况：当然，scope的值不止这两种，还包括了request,session 等。但用的最多的还是singleton单态，prototype多态。singleton表示该bean全局只有一个实例，Spring中bean的scope默认也是singleton.prototype表示该bean在每次被注入的时候，都要重新创

2010-01-12 16:54:00 15549 10

原创 HttpURLConnection简单用法

HttpURLConnection为javaAPI提供的一种Rest访问的方式。其支持对Post,Delete,Get,Put等方式的访问。以下为对于HttpURLConnection对Post等方式访问的一段代码。package com.sw.study.urlConnection;import java.io.BufferedReader;import java.io.In

2010-01-11 21:43:00 8832 5

转载 Ibaits返回结果集【转载】

object别名映射->实体类：resultClass select ID as id, TYPE as type, DESCR as descr from APP_LOG where ID = #id# List list = sqlMapper.queryForList("

2009-10-13 14:06:00 1409

原创 HMTL中文件标签上传文件错误的问题(input type=file)

在普通的web项目中，经常会有文件上传功能，一般情况下都用的是标签，虽然比较丑，但是安全性不错。有的公司也会自己开发Applet来实现文件处理等。方法多的是，挑一种最简单的吧。 struts2+spring+ibatis的工程。在工程中引入后。显示的时候，为一个输入框，一个浏览按钮。在IE中，该输入框是允许输入字符的，如果输入字符，不通过其浏览按钮来选择文件，则在提交表单的时候，

2009-07-09 16:33:00 3022

原创 HTML中Mailto中文问题及简单说明

在我的jspweb工程中。引入了Mail用于当出现问题的时候，可以以邮件的方式来联系管理员。在点击后，确实打开了邮件系统，但是中文出现了问题。于是准备用javascript对于进行处理。将标签改为Mail同时增加javascript<!--function mailSome(){ var sb = new StringBuffer(); sb.append("m

2009-07-09 15:01:00 6151

原创 struts2文件上传中的struts.multipart.saveDir提示信息

工程环境：struts2+spring+ibatis.在测试过程中，出现如下info信息：Unable to find struts.multipart.saveDir property setting. Defaulting to javax.servlet.context.tempdir提示该struts.multipart.saveDir属性未设置。于是在，str

2009-07-09 10:31:00 8051 5

原创（二）ECMASCript基础（2）--数值类型和引用类型

Primitive and Reference Valuesprimitive values are simple pieces of data that are stored on the stack,which is to say that their value is tored directly in the location that the variable accesses.

2009-06-22 15:12:00 869

原创 ECMAScript基础(1)--关于ECMAScript的基础中的语法，变量等

主要是关于ECMAScript的基础中的语法，变量等。具体的每一种变量的具体描述，要到ECMAScript基础(2)中介绍了。累！ECMAScript基础(1)：Some Simple Javascript functionality is easy to accomplish in the browser.Although these are all interesting pieces of

2009-06-18 13:45:00 858

原创从JavaScript的实现开始

从JavaScript的实现开始吧。javascript实际上包含了3个组成。ECMAScipt，DOM，BOM。看到这的时候，俺才知道以前的开发只是关心到了javascript实用的一方面，而并不了解javascript的原理。对于标准一说更是无从得知。以前的学习确实片面了，对于目前的工作来看，还算够用，但是以后呢？看来，以前的学习方法有些功利了，或者给自己找个借口，以前太忙了，

2009-06-18 09:54:00 850

原创开始重新系统学习一下javascript

javascript，我很喜欢。在工作中也经常用到，或者说必须用到的。当然用的比较多的，也只是一些皮毛。但对于基本的一些运用，还是比较熟练了。最近从网上看到了一个js完成的坦克大战游戏，感觉很不错，于是下载下来一看，恩！看不懂。现在才知道了，原来javascript也会这样强大。觉得有必要重新系统的学习一下了。从网上下载了英文版的

2009-06-17 17:48:00 861

原创关于“提示db2admin尚未启动”的问题

最近经常要用到DB2数据库的创建，偷懒下不用指令建立了，改用DB2的控制中心建立。结果居然报出了“提示db2admin尚未启动”的提示。（windows）于是进入命令行，db2cmd.进入db2环境，运行db2admin start。居然提示db2admin 不存在。于是键入db2admin create创建，结果提示“db2admin 已存在”。匪夷所思。

2009-06-17 14:35:00 1636 2

原创 Junit Test Doc Project构建

在工程发布前的测试环节中，测试Team要求提交工程的Junit Test Doc Project。对于工程的JunitTest情况进行了解。工程中，引入ant构建。在工程中加入bulid.xml.其中包含junit单元。

2009-05-27 14:42:00 744

转载云计算的安全问题

云计算被它的吹捧者视为“革命性的计算模型”，因为它使得超级计算能力通过互联网自由流通成为了可能。企业与个人用户无需再投入昂贵的硬件购置成本，只需要通过互联网来购买租赁计算力，“把你的计算机当做接入口，一切都交给互联网吧”。　　“用户只需要640K的内存就足够了。”比尔·盖茨1989年在谈论“计算机科学的过去现在与未来时”时如是说。那时，所有的程序都很省很小，100MB的硬盘简直用不完。互联

2009-01-09 14:51:00 1268

原创并行处理（Parallel Processing）

并行处理（Parallel Processing）　　是计算机系统中能同时执行两个或更多个处理机的一种计算方法。处理机可同时工作于同一程序的不同方面。并行处理的主要目的是节省大型和复杂问题的解决时间。　　为使用并行处理，首先需要对程序进行并行化处理，也就是说将工作各部分分配到不同处理机中。而主要问题是并行是一个相互依靠性问题，而不能自动实现。此外，并行也不能保证加速。但是一个在 n 个

2009-01-09 14:32:00 2100

转载分布式

分布式　　什么是分布式计算？所谓分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。最近的分布式计算项目已经被用于使用世界各地成千上万位志愿者的计算机的闲置计算能力，通过因特网，您可以分析来自外太空的电讯号，寻找隐蔽的黑洞，并探

2009-01-09 14:29:00 862

转载 SAAS

SaaS【Software-as-a-service】　　【Piece1、SaaS的概念】　　SaaS是Software-as-a-service（软件即服务）的简称，是随着互联网技术的发展和应用软件的成熟，而在21世纪开始兴起的一种完全创新的软件应用模式。它与“on-demand software”（按需软件)，theapplication service provider(ASP

2009-01-08 16:18:00 799

转载 spring包中文件及各种jar包详解

aspectj目录下是在Spring框架下使用aspectj的源代码和测试程序文件。Aspectj是java最早的提供AOP的应用框架。dist 目录下是Spring 的发布包，关于发布包下面会详细进行说明。docs 目录下是相关的文档，包括有Spring api 的javadoc、reference 参考指南、Spring的标签库使用文件及Spring MVC 的MVC-step-by-

2009-01-07 16:42:00 1767

转载使用Java连接处于proxy(or防火墙)之外的HTTP服务器[穿防火墙]

几乎所有的公司都十分关注保护自己的内部网络，以防黑客及入窃者。一种常见的安全措施是完全断开与因特网的连接。如果黑客们不能连接到您的任何一台机器，他们就不能非法进入您的系统。这种策略产生的不利副作用是，内部用户无法访问外部的因特网服务器，如 Yahoo 或 JavaWorld。为了解决这一问题，网络管理员通常安装“代理服务器”。实际上，代理是安装于因特网和内部网之间的一种服务，用来管理这两个领域之间

2008-12-24 14:39:00 1133

原创 Java局域网文件访问（通过command命令）

访问局域网内一台IP为1.2.3.4的机器上的共享文件。需要提供登录用户和密码。一个简单的操作。当时主要是为了访问有密码访问限制的用户文件来设计的。为了安全考虑。仅供参考！有什么不对的地方请指正。其实，还想实现一个非局域网内文件的访问。比如说我的机器如果要访问机器A，需要穿防火墙的操作，防火墙有用户名密码等设置，一直不知道该怎么实现。有人说用socket可以实现。还没关注过，等有时

2008-12-24 14:18:00 1445

转载 Java Reflection (JAVA反射) 转载转载转载转载

Java Reflection (JAVA反射) Reflection 是 Java 程序开发语言的特征之一，它允许运行中的 Java 程序对自身进行检查，或者说“自审”，并能直接操作程序的内部属性。例如，使用它能获得 Java 类中各成员的名称并显示出来。Java 的这一能力在实际应用中也许用得不是很多，但是在其它的程序设计语言中根本就不存在这一特性。例如，Pascal、C

2008-12-08 14:26:00 689

转载使用JSON来做数据传输的动态下拉列表（转自http://j2ee.blog.sohu.com/68011726.html）

相关JSON的文章请参看http://j2ee.blog.sohu.com/65388567.html。今天就来说下使用JSON来做动态下拉列表的实现。动态下拉列表的原理其实很简单的，当某一下拉列表触发了onchange事件，然后使用AJAX在后台向服务器异步请求数据，最后将服务器返回的数据进行解析后动态添加到指定的select上即可！首先来看后台的数据输出，我们假设服务器

2008-11-20 13:30:00 1418

转载 DWR异常处理

在脚本engine.js中包含DWR的核心部分,通常情况下你的应用应该包含它.通常情况下还会包含util.js,它包含一些可选的实用方法.Demo.js是在DWR中动态定义它还包含一个对应的远程版本就是Demo.java.如果当你看到如下代码:Demo.Method1=function{callback,p0}Demo.Method2=function{callback}所

2008-11-17 17:02:00 903

转载 Json to Java Snippets

SnippetsFrom Java to JSONCreating a JSONObject from scratchCreating a JSONObject from a JSON formatted stringCreating a JSONObject from a MapCreating a JSONObject from a JavaBeanCreati

2008-11-13 16:18:00 3058

转载使用json-lib

function StorePage(){d=document;t=d.selection?(d.selection.type!=None?d.selection.createRange().text:):(d.getSelection?d.getSelection():);void(keyit=window.open(http://www.365key.com/storeit.as

2008-11-13 15:56:00 1146

原创在Struts+Spring+ibaits中使用poi进行excel操作时候的问题

在项目中用到了poi这个开源的操作excel文件的jar.项目中用到struts容器管理servlet.不是单纯的直接用servlet. workbook.write(os); os.flush(); os.close(); return "SUCCESS"; 在我的action中用是这样处理最后的传出

2008-06-30 18:11:00 1396 1