on the way的专栏

原创 Lua学习之coroutine总结

协同程序与线程类似，都是一条执行序列。协同程序与线程差不多，也就是一条执行序列，拥有自己独立的栈，局部变量和指令指针，同时又与其它协同程序共享全局变量和其它大部分东西。线程与协同程序的主要区别在于，一个具有多线程的程序可以同时运行几个线程，而协同程序却需要彼此协作地运行。就是说，一个具有多个协同程序的程序在任何时刻只能运行一个协同程序，并且正在运行的协同程序只会在其显示地挂起时，它的执行才会暂停。

原创 Lua学习之metatable总结

table是lua中非常重要的一种数据类型，但是不能直接将两个table类型的数据进行运算（算数运算、关系运算）。通过给table类型的数据设置元表（metatable）可以解决该问题，但是元表的功能不仅限于此，元表的主要功能有：（1）定义算术操作符和关系操作符的行为（2）为 Lua 函数库提供支持（3）控制对 table 的访问给数据设置元表的方法为：setmetatable（数

原创 Java 深度历险 读书总结（二）

1.基础类库的载入方式we

原创 Java深度历险 读书总结（一）

JDK与JREd

转载 Linux makefile 教程 非常详细，且易懂

Linux makefile 教程 非常详细，且易懂            最近在学习Linux下的C编程，买了一本叫《Linux环境下的C编程指南》读到makefile就越看越迷糊，可能是我的理解能不行。            于是google到了以下这篇文章。通俗易懂。然后把它贴出来，方便学习。           后记，看完发现这篇文章和《Linux环境下的C编程指南》的

转载 一些有用的sql语句整理

1、说明：创建数据库 CREATE DATABASE database-name 2、说明：删除数据库 drop database dbname 3、说明：备份sql server --- 创建 备份数据的 device USE master EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwin

转载 UML类图符号 各种关系说明以及举例

UML中描述对象和类之间相互关系的方式包括：依赖（Dependency），关联（Association），聚合（Aggregation），组合（Composition），泛化（Generalization），实现（Realization）等。依赖（Dependency）：元素A的变化会影响元素B，但反之不成立，那么B和A的关系是依赖关系，B依赖A；类属关系和实现关系在语义上讲也是依赖关系，

转载 静态内部类和非静态内部类的区别

如果你不需要内部类对象与其外围类对象之间有联系，那你可以将内部类声明为static。这通常称为嵌套类（nested class）。Static Nested Class是被声明为静态（static）的内部类，它可以不依赖于外部类实例被实例化。而通常的内部类需要在外部类实例化后才能实例化。想要理解static应用于内部类时的含义，你就必须记住，普通的内部类对象隐含地保存了一个引用，指向创建它的外围类

转载 为什么匿名内部类和局部内部类只能访问final变量

当一个方法中的匿名类或者局部内部类需要访问方法区域中的变量时，该变量参数必须定义为fina。追究根本原因其实就是作用域中变量的生命周期导致的。首先，内部类和外部类其实是处于同一个级别，内部类不会因为定义在方法中就会随着方法的执行完毕而跟随者被销毁。问题就来了，如果外部类的方法中的变量不定义final，那么当外部类方法执行完毕的时候，这个局部变量肯定也就被GC了，然而内部类的某个方法还没有执

转载 Java:谈谈protected访问权限

来谈谈protected访问权限问题。看下面示例1：Test.javaclass MyObject {} publicclass Test {    publicstaticvoid main(String[] args) {       MyObject obj = new MyObject();       obj.clone(); //

转载 hive基本操作

阅读本文章可以带着下面问题：1.与传统数据库对比，找出他们的区别2.熟练写出增删改查（面试必备）创建表：hive> CREATE TABLE pokes (foo INT, bar STRING);         Creates a table called pokes with two columns, the first being an integer and th

转载 Hive安装指导

本篇为安装篇较简单：这里关键是配置文件的配置。前提：1: 安装了hadoop-1.0.4正常运行2:安装了hbase-0.94.3, 正常运行接下来，安装Hive，基于已经安装好的hadoop，步骤如下：1：下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将文件hive-0.9.0保存在/hiv

转载 升级linux bash

1.使用bash --version查看bash的版本2.去http://ftp.gnu.org/gnu/bash/下载bash3.安装bash：　　将下载的bash文件放入到某个文件夹，然后进行解压：tar zxvf bash-x.x.tar.gz  x.x为版本号码 cd bash-x.x ./configure make

转载 Hive四种数据导入方式介绍

问题导读1.从本地文件系统中通过什么命令可导入数据到Hive表？2.什么是动态分区插入？3.该如何实现动态分区插入？

转载 Hive中的三种不同的数据导出方式介绍

问题导读：1.导出本地文件系统和hdfs文件系统区别是什么？2.带有local命令是指导出本地还是hdfs文件系统？3.hive中，使用的insert与传统数据库insert的区别是什么？4.导出数据如何自定义分隔符？今天我们再谈谈Hive中的三种不同的数据导出方式。根据导出的地方不一样，将这些方式分为三种：（1）、导出到本地文件系统；（2）、导

转载 hive复合数据类型 array、map、struct使用

问题导读：1.hive都支持什么复合数据类型?2.如何创建带有Structs、Maps、Arrays：array的hive表？hive提供了复合数据类型：Structs： structs内部的数据可以通过DOT（.）来存取，例如，表中一列c的类型为STRUCT{a INT; b INT}，我们可以通过c.a来访问域aMaps（K-V对）：访问指定域可

转载 hive用户接口、元数据、及数据模型等介绍

可以带着下面问题来阅读：1.Hive用户接口主要有几个？分别是什么？常用几个？2.能否通过界面操作HIVE？3.Hive元数据通常存储在什么地方？4.HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成靠什么完成？5.生成的查询计划存储在什么位置？6.Hive 将元数据存储在 RDBMS 中，有三种模式可以连接到数据库？分别哪几种？7.Hive数据模型

转载 类名.class, class.forName(), getClass()区别

1:Class cl=A.class;                     JVM将使用类A的类装载器, 将类A装入内存(前提是:类A还没有装入内存),不对类A做类的初始化工作.返回类A的Class的对象。2：Class cl=对象引用o.getClass();                  返回引用o运行时真正所指的对象(因为:子对象的引用可能会赋给父对象的引用变量中)所属的

转载 什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么

什么是Zookeeper，Zookeeper的作用是什么，它与NameNode及HMaster如何协作？在没有接触Zookeeper的同学，或许会有这些疑问。这里给大家总结一下。一、什么是Zookeeper ZooKeeper 顾名思义 动物园管理员，他是拿来管大象(Hadoop) 、 蜜蜂(Hive) 、 小猪(Pig)  的管理员， Apache Hbase和 Apache S

转载 全面了解hive

问题导读：1.hive包含哪些组件？2.hive执行过程是什么样子的？3.查询编译器的作用是什么？4.MapJoin该如何优化？对Hive的基本组成进行了总结：1、组件：元存储（Metastore ）－存储“系统目录以及关于表、列、分区等的元数据”的组件。驱动（Driver ）－ 控制 HiveQL 生命周期的组件，当 HiveQL 查询

转载 Hadoop Hive sql语法详解5--HiveQL与SQL区别

1.hive内联支持什么格式？2.分号字符注意什么问题？3.hive中empty是否为null?4.hive是否支持插入现有表或则分区中？5.hive是否支持INSERT INTO 表 values（）？1、Hive不支持等值连接 •SQL中对两表内联可以写成：•select * from dual a,dual b where a.key = b.key;

转载 Hadoop Hive sql语法详解4--DQL 操作:数据查询SQL

1.基本的Select 操作如何实现？2.基于Partition的查询如何实现？3.如何实现join，是否支持左连接，右连接？4.hive数据如何去重？5.ORDER BY 是否全局排序，只有一个Reduce任务？6.SORT BY 是否全局排序？7.hive是否支持exists?8.Hive不支持所有非等值的连接,为什么？1 基本的Select 操作

转载 Hadoop Hive sql语法详解3--DML 操作:元数据存储

hive增删改查与传统数据的区别是什么？hive不支持用insert语句一条一条的进行插入操作，也不支持update操作。数据是以load的方式加载到建立好的表中。数据一旦导入就不可以修改。DML包括：INSERT插入、UPDATE更新、DELETE删除•向数据表内加载文件•将查询结果插入到Hive表中•0.8新特性 insert into向

转载 Hadoop Hive sql语法详解2-修改表结构

hive同样也面对传统数据库的一些操作，那么hive1.如何增加分区、删除分区？2.如何重命名表?3.如何修改列的名字、类型、位置、注释?4.如何增加/更新列?5.如何增加表的元数据信息?表添加一列 ：hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);复制代码添加一列并增加列字段注

转载 Hadoop Hive sql语法详解1-认识hive及DDL操作

hive或许我们有一个整体的认识，可以转换为mapreduce，那么具体是如何做的那？1.编写的mapreduce能否成为hive插件那？2.hive如何创建？3.hive是如何查询数据的？1.认识hive： Hive 是基于Hadoop 构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据，可以将结构化的数据

转载 Hive安装指导

本篇为安装篇较简单：这里关键是配置文件的配置。前提：1: 安装了hadoop-1.0.4正常运行2:安装了hbase-0.94.3, 正常运行接下来，安装Hive，基于已经安装好的hadoop，步骤如下：1：下载从http://hive.apache.org/下载hive-0.9.0/创建目录/hive将文件hive-0.9.0保存在/hiv

转载 让你真正明白什么是hive

导读：对于一个事物的认识，存在几种情况1.没有接触，不知道这个事物是什么，所以不会产生任何问题。2.接触了，但是不知道他是什么，反正我每天都在用。3.有一定的了解，不够透彻。那么hive，1.我们对它了解多少？2.它到底是什么？3.hive和hadoop是什么关系？扩展：hbase和hive是什么关系？Hive最初是应Facebook每天产生

转载 HDFS支持数据压缩的几种方法探讨

HDFS支持数据压缩存在以下几种方法：1、在HDFS之上将数据压缩好后，再存储到HDFS2、在HDFS内部支持数据压缩，这里又可以分为几种方法：    2.1、压缩工作在DataNode上完成，这里又分两种方法：           2.1.1、数据接收完后，再压缩                     这个方法对HDFS的改动最小，但效果最低，只需要在block文件cl

转载 Java创建hdfs文件实例

1.创建文件过"FileSystem.create（Path f）"可在HDFS上创建文件，其中f为文件的完整路径。package com.hebut.file; import org.apache.hadoop.conf.Configuration;    import org.apache.hadoop.fs.FSDataOutputStream;  

转载 HDFS的Java访问接口

得到filesystem的实例有两个静态方法可以得到filesystem接口的实例public static FileSystem get(Configuration conf) throws IOExceptionpublic static FileSystem get(URI uri, Configuration conf) throws IOException第一个方法得到缺

转载 Hadoop Shell命令字典（可收藏）

可以带着下面问题来阅读：1.chmod与chown的区别是什麽？2.cat将路径指定文件的内容输出到哪里？3.cp能否是不同之间复制？4.hdfs如何查看文件大小？5.hdfs如何合并文件？6.如何显示当前路径下的所有文件夹和文件7.rm删除文件失败的原因什么？8.如何查看文件的创建时间9.查看文件命令的内容有哪些？能否说出三种？10.如何判断文件是否存

转载 hadoop入门：hadoop使用shell命令总结

第一部分：Hadoop Bin后面根据项目的实际需要Hadoop Bin  包括:Hadoop  hadoop的Shellhadoop-config.sh 它的作用是对一些变量进行赋值     HADOOP_HOME（hadoop的安装目录）。     HADOOP_CONF_DIR（hadoop的配置文件目录）。HADOOP_SLAVES（--hosts指定的文件的地址）

转载 新手指导：mapreduce不同类型的数据分到同一个分区是否会影响输出结果

问题导读1.不同类型数据被分到同一个分区，是否会影响输出结果？2.分区函数该如何实现此篇需要对mapreduce有一定的了解，知道了解mapreduce的过程中，map需要分区，有多少个分区就有多少个reduce。因此我们的map是如何分区的。map通过Partitioner实现分区。Partitioner则是通过取余算法来实现的。比如：1.默认分区

转载 深度了解mapreduce---MapReduce源码分析总结

本人适合对mapreduce有一定经验人来阅读，对于新手来讲，只是阅读前面会有收获不少，但是到了后面就会有些看不懂，可以简单了解。如果对mapreduce有了半年的编程经验并且善于思考，或许这是一篇不错的文章。问题导读：1.mapreduce是一个分布式编程，那么他的输入参数是什么？2.mapreduce的起初key与value的来源是什么？3.map函数中key与valu

转载 让你真正明白什么是MapReduce组合式，迭代式，链式

问题导读：能够到这一步，说明已经对hadoop入门，并且产生问题。这个问题，似乎困惑了不少初学者。1.比如我们输出的mapreduce结果，需要进入下一个mapreduce，该怎么解决？可以使用迭代式2.那么什么是迭代式?3.什么是依赖式？4.什么是链式？5.三种模式各自的应用场景是什么？网上不少资料，但是对于新手，很难辨认，这里给大家指出这里面

转载 一张图精通MapReduce的原理

转载 Mapreduce shuffle和排序

Mapreduce为了确保每个reducer的输入都按键排序。系统执行排序的过程-----将map的输出作为输入传给reducer 称为shuffle。学习shuffle是如何工作的有助于我们理解mapreduce工作机制。shuffle属于hadoop不断被优化和改进的代码库的一部分。从许多方面看，shuffle是mapreduce的“心脏”，是奇迹出现的地方。下面这张图介绍了mapre

转载 Hadoop reducer类的阅读

在Hadoop的reducer类中，有3个主要的函数，分别是：setup，clearup，reduce。代码如下：  /**   * Called once at the start of the task.   */  protected void setup(Context context                       ) throws IOE

转载 Hadoop mapper类的阅读

在Hadoop的mapper类中，有4个主要的函数，分别是：setup，clearup，map，run。代码如下：protected void setup(Context context) throws IOException, InterruptedException {// NOTHING}protected void map(KEYIN key, VALUEI

转载 关于Mapper、Reducer的个人总结

我们了解mapreduce的作用是什么，我们还可以详细了解下面内容：RecordReader的作用是什么？job类的作用是什么？Reducer包含几个步骤？扩充：Reducer所有步骤是不是必须的