曹世超的专栏

原创 气象数据分析代码

package hadoop.test.csc;import java.io.IOException;import java.text.DateFormat;import java.text.SimpleDateFormat;import java.util.Date;import org.apache.hadoop.conf.Configuration;import

原创 Hadoop Datanode节点无法启动（All directories in dfs.data.dir are invalid）

查看日志：[root@slave01 mapred]# tail -100 /opt/modules/hadoop/hadoop-1.0.3/libexec/../logs/hadoop-hadoop-datanode-slave01.log 2013-11-12 19:19:22,650 INFO org.apache.hadoop.hdfs.server.datanode.DataNod

转载 myeclipse配置hadoop开发环境,及遇到问题解决

eclipse版本：eclipse-jee-indigo-SR2-win32 1、安装Hadoop开发插件     hadoop安装包contrib/目录下有个插件hadoop-1.2.1-eclipse-plugin.jar，拷贝到eclipse根目录下/dropins目录下。2、 启动eclipse，打开Perspective：【Window】->【Open Persp

转载 Hadoop实验学习笔记（参考）

实验环境：Ubuntu 12.04，Hadoop-1.1.2, VirtualBox 虚拟机 3-4 台192.168.1.7 hadoop-master192.168.1.8 hadoop-slave1192.168.1.9 hadoop-slave2为分离NameNode 和 SecondaryNameNode ，新建以下SecondaryNameNode节点192.168

原创 redhat ”This system is not registered with RHN”的解决方案

1.卸载rhel的默认安装的yum包查看yum包rpm -qa|grep yum卸载之rpm -qa|grep yum|xargs rpm -e –nodeps2.下载新的yum包 根据不同的版本选择上级目录，64位的需要选择x86_64wget http://centos.ustc.edu.cn/centos/5/os/i386/CentOS/yum-3.2.22-40.el5.

原创 Linux下安装yum工具

[root@localhost ~]# yum -y install fonts-chineseLoading "rhnplugin" pluginLoading "security" pluginThis system is not registered with RHN.RHN support will be disabled.Setting up Install ProcessP

翻译 Hadoop与之对应的Hbase版本问题

原文连接地址：http://hbase.apache.org/book.html  The below table shows some information about what versions of Hadoop are supported by various HBase versions. Based on the version of HBase, you should

原创 Hadoop web监控界面加上安全机制设置

1. 配置core-site.xml，并scp到其他节点 2. 手动创建 ${user.home}/hadoop-http-auth-signature-secret 文件，并sep到其他节点 3、重新启动后发现如下错误，确认是该Hadoop版本不支持： 4、升级Hadoop版本，新版本为Hadoop1.2.1,升级过程如下; 1：运行dfs

原创 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs

1、hadoop-root-datanode-master.log 中有如下错误： ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in导致datanode启动不了。 原因:每次namenode format会重新创建一个n

原创 Hadoop format的时候The directory is already locked

Cannot lock storage /opt/data/hadoop/hdfs/name. The directory is already locked.  2012-05-20 22:13:05|  分类：Hadoop |  标签：|字号大中小 订阅[root@nn01 bin]# ./hadoop namenode -format13/10/2

转载 在hadoop启动的时候，会出现各种各样的问题

在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录1：HDFS initialized but not 'healthy' yet, waiting...这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现，在这里就是hdfs出现问题，导致DataNod

原创 Hadoop 子项目HIVE安装版本选择

DownloadReleases may be downloaded from Apache mirrors.Download a release now!On the mirror, all recent releases are available, but are not guaranteed to be stable. For stable releases, look

原创 Hadoop的namenode无法启动问题（50070无法访问，50030可以访问）

2013-08-31 10:29:31,241 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.java.io.FileNotFoundException: /opt/data/hadoop/hdfs/name/current/VERSION (Permiss

原创 JAVA-设计模式之迭代器模式

迭代器模式(Iterator):提供一种方法顺序访问聚集对象对象各个元素，而不暴露该对象的内部表示；      package caosc.javaModel.Iterator;//迭代器抽象类public abstract class Iterator { public abstract Object first(); public abstract Object n

原创 JAVA-设计模式之备忘录模式

package caosc.javaModel.Memento;//发起者public class Originator { private String status; public String getStatus() { return status; } public void setStatus(String status) { this.s

原创 JAVA-设计模式之适配器模式

适配器模式（Adapter）：将一个类的接口转换成客户需要的接口，Adapter模式使得原本不兼容的接口而不能一起工作的那些类可以一起工作,也叫翻译者模式;    package caosc.javaModel.Adapter;//可以期待的接口，目标可以上具体的或者抽象的类也可是接口public class Target { public void

原创 JAVA-设计模式之命令模式

命令模式：将请求封装成对象，从而可使用不同的请求对客户进行参数化，对请求进行排队，撤销等操作。  package caosc.javaModel.Invoker;public interface Command { public String getReceiverCommand(); public void execute(); } pa

原创 JAVA-设计模式之中介者模式

package caosc.javaModel.Mediator;public abstract class Colleague { protected Mediator mediator; public Colleague(Mediator mediator) { this.mediator = mediator; } public abstract vo

原创 JAVA-设计模式之原型设计

从一个对象创建另外一个可定制的对象，而且不知道任何创建的细节； package caosc.javaModel.ProtoType;public interface Prototype extends Cloneable{ public Object clone();}  package caosc.javaModel.ProtoType;

原创 JAVA-设计模式之门面模式

package caosc.javaModel.Facade;public class FacadeSystemOne { public void systemMethodOne(){ System.out.println("系统A方法！"); }} package caosc.javaModel.Facade;public class

原创 JAVA-设计模式之模板方法模式

模板方法模式特点:1、模板方法模式通过把不变的行为搬移到超类，去除子类中重复的代码体现优势;提供一个很好的代码复用平台;2、当不变的行为与可变的行为混杂在子类中的时候，不变的行为就会在子类中重复的出现，通过模板方法模式将这些不变的行为搬移到单一的地方，摆脱子类复杂的的不变行为的纠缠 ; package caosc.javaModel.Template;public abst

原创 JAVA-设计模式之单例模式

单例模式(Singleton) :保证一个类仅有一个实例，并提供一个访问它的全局访问点;  单例模式因为Singleton类封装了它的唯一实例，这样它可以严格的控制客户怎么访问以及何时访问，简单说就是受控访问;单例对象通常作为程序中的存放配置信息的载体，因为它能保证其他对象读到一致的信息; 1、单线程环境代码：package caosc.javaModel.Sing

原创 JAVA-设计模式之代理模式

代理模式（Proxy）：对其它对象提供一种代理，以控制对这个对象的访问！ package caosc.javaModel.Proxy;public abstract class Subject { public abstract void Request();} package caosc.javaModel.Proxy;public class

转载 SHELL条件判断规则说明

shell中if做比较比较两个字符串是否相等的办法是：    if [ "$test"x = "test"x ]; then    这里的关键有几点：    1 使用单个等号    2 注意到等号两边各有一个空格：这是unix shell的要求    3 注意到"$test"x最后的x，这是特意安排的，因为当$test为空的时候，上面的表达式就变成了x = te

原创 采集linux进程资源SHELL例子

#!/bin/sh#错误捕捉log="./WaiGua_collector_process_`date +%Y%m%d`.log"ErrTrap(){ Retn_code=$? v_PID=$3 v_PPID=$4 echo "[`date +%Y-%m-%dT%H:%M:%S`]Cmd=$1, Line#=$2, PID=$v_PID, PPID=$v_PPID,

原创 采集oracle资源shell脚本例子

#!/usr/bin/kshif [ $# -lt 1 ] ; thenecho "Usage:WaiGua_collector_oracle.sh dbconfigfile [datafilepath]"exitfi#获取脚本保存路径baseDir####################################baseDir=`echo ${0}|awk 'BEG

原创 Linux-shell基础复习笔记

查看文件类型：file  xxx.log   增加文件执行权限：chmod +x  文件名称查看编码环境变量：env |grep LANGshell定位：外层应用程序>shell命令解析器>内核>硬件进程树查看：pstree查看VIM是否安装：rps -qa | grep vim 如果不喜欢vi喜欢vim：alias  vi=vim怎么样别名不消失（所有用户有效）：

原创 Struts2-boobooke-概述

转载 DATABASE LINK

物理上存放于网络的多个ORACLE数据库，逻辑上可以看成一个单一的大型数据库，用户可以通过网络对异地数据库中的数据进行存取，而服务器之间的协同处理对于工作站用户及应用程序而言是完全透明的，开发人员无需关心网络的链接细节、数据在网络节点中的具体分布情况和服务器间的协调工作过程。 数据库之间的链接建立在DATABASE LINK上。要创建一个DATABASE LINK，必须首先在建立链接的数据

原创 PLSQL基本知识

PLSQL基本结构*****************************************基本数据类型变量    1. 基本数据类型    Number 数字型     Int 整数型     Pls_integer 整数型，产生溢出时出现错误     Binary_integer 整数型，表示带符号的整数     Char 定长字符型，最大255个字符     Varchar2 变

转载 提高数据更新效率(UPDATE/INSERT)

有多种方法可以提高更新的效率.简单说来：１、暂停索引，更新后恢复.避免在更新的过程中涉及到索引的重建.２、批量更新，每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.３、创建一临时的大的表空间用来应对这些更新动作．=========================================================================不同看法如果UPDAT

原创 SQL、PL/SQL学习笔记

 1．SQL并行查询 alter session enable parallel dml execute immediate alter session enable parallel dml; --修改会话并行DML      select /*+parallel(a,4)*/ * from table_name a       select /*+parallel(

原创 如何确定Oracle数据库表中重复的记录

作为一个Oracle数据库开发者或者DBA，在实际工作中经常会遇到这样的问题：试图对库表中的某一列或几列创建唯一索引时，系统提示ORA-01452：不能创建唯一索引，发现重复记录。 　　下面我们以表code_ref为例来讨论这个问题及其解决办法。　　ERROR位于第1行：　　ORA-01452: 无法 CREATE UNIQUE INDEX；找到重复的关键字　　Oracle系统提示

原创 Oracle经验谈：删除DUAL表后的处理

　Oracle系统中dual表是一个“神秘”的表，网上有很多网友都对该表进行了测试，该表只有一行一列，其实该表和系统中的其他表一样，一样可以执行插入、更新、删除操作，还可以执行drop操作。但是不要去执行drop表的操作，否则会使系统不能用，数据库起不了，会报Database startup crashes with ORA-1092错误。 　　此时也不要慌乱，可以通过执行以下步骤来进行恢复。

原创 修改Oracle数据库表的表空间

Oracle实际应用中，很多人可能会遇到这样的问题。处于性能或者其他方面的考虑，需要改变某个表或者是某个用户的所有表的表空间。通常的做法就是首先将表删除，然后重新建表，在新建表时将表空间指定到我们需要改变的表空间。如果该用户已经保存了大量数据，这种办法就就显得不是很方便，因为有大量数据需要提前备份出来。下面介绍一种利用数据库的导出/导入功能来实现重新组织数据库表空间的方法。 　　下面是一个简单

原创 Oracle数据库几种不同的数据库启动和关闭方式

Oracle数据库提供了几种不同的数据库启动和关闭方式，本文将详细介绍这些启动和关闭方式之间的区别以及它们各自不同的功能。 　　一、启动和关闭Oracle数据库 　　对于大多数Oracle DBA来说，启动和关闭Oracle数据库最常用的方式就是在命令行方式下的Server Manager。从Oracle 8i以后，系统将Server Manager的所有功能都集中到了SQL*Plus中，

原创 Oracle查询 rownum和rowid的区别

在Oracle中，有一个很有趣的东西，那就是rownum。当你从某个表中查询数据的时候，返回的结果集中都会带有rownum这个字段，而且有时候也可以使用rownum进行一些条件查询。 　　在查询中，我们可以注意到，类似于“select xx from table where rownum 1)这样的查询是有正确含义的，而“select xx from table where rownum =

原创 探讨Oracle数据库存储过程的若干问题

1.在oracle中，数据表别名不能加as，如： select a.appname from appinfo a;-- 正确 select a.appname from appinfo as a;-- 错误 也许，是怕和oracle中的存储过程中的关键字as冲突的问题吧 2.在存储过程中，select某一字段时，后面必须紧跟into，如果select整个记录，利用游标的话就另当别论

原创 大型Oracle数据库迁移解决方案

大型Oracle数据库迁移解决方案 大型Oracle数据库的迁移需求和挑战 　　随着业务的不断拓展，我们经常需要对系统进行调整，比如：存储系统升级、服务器升级、平台的迁移、数据库版本升级等等，这些情况我们都需要借助数据迁移工作来完成。在迁移过程中，我们经常会遇到一些很难解决的问题。因为，如果是在相同的操作系统平台、或相同的数据库平台之间做数据库的迁移，会

原创 用最简单的方法复制或迁移Oracle数据库

 在DBA的日常工作中，经常需要重装或在新机器上安装Oracle,但每次安装所浪费的时间、精力以及失败的挫折都在考验着DBA的承受能力，本文着重介绍了一个简单的复制和迁移Oracle数据库的方法，详细内容请参考下文。  复制迁移的步骤如下：  ◆1、首先，复制原Oracle数据库的安装目录到新机器或系统中的安装目录，注意目录要一致，盘符也要一致。  ◆2、假如Oracl