含笑无情-CSDN博客

原创 hadoop之hbase学习

HBASE介绍 HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。

2016-07-12 08:45:16 1600

原创 Hadoop 之 hive 学习

1. hive介绍 Hive 是建立在Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL ，它允许熟悉 SQL 的用户查询数据。同时，这个语言也允许熟悉 MapReduce 开发者的开发自定义的 map

2016-06-01 09:22:43 1572 2

原创 MapReduce基本原理与WordCount程序

MapReduce原理通过简单的Mapper和Reducer的抽象提供一个编程模型，可以在一个由几十台上百台PC组成的不可靠集群上并发地，分布式处理大量的数据集，而把并发、分布式（机器间通信）和故障恢复等计算细节隐藏起来。而Mapper和Reducer的抽象，又是各种各样的复杂数据处理都可以分解为的基本元素。这样，复杂的数据处理可以分为多个Job（包含一个Mapper和一个Reducer

2016-05-07 15:24:45 1918

原创 Socket 客户端-服务器（C-S）通信实验

学习计算机网络编程也有一段时间了，对这段时间学习的东西做一个小总结吧，主要是基于socket，实现客户端和服务器的通信，编程用java语言。具体的实验要求如下：设计程序，分别构建通信的两端:服务器端和客户端应用程序,套接字类型为面向连接的Socket,自己构建双方的应答模式，实现双方的数据的发送和接收（S发给C，C发给S）。服务端程序能响应单个或任意多个客户端连接请求；服务端能向单个客

2016-04-24 09:19:38 5031 1

原创 hdfs的基本原理和基本操作总结

hdfs基本原理Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式

2016-04-21 12:17:29 11572 1

转载 hadoop生态系统

Hadoop概述Hadoop（http://hadoop.apache.org/）是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来

2016-04-20 10:03:43 2188

原创 Matlab数字图像处理之图像运算

由于这段时间在做一个图像处理与三维重建的项目，其中数字图像处理的知识是必不可少的，学习matlab也有一段时间了，所以现在抽点时间将这段时间所学的东西做个小总结，加深理解的同时也方便以后有需要时可以查看一下。图像运算是图像处理中常用的处理方法，它以图像为单位进行操作，运算的结果是一副新的图像，常常用于图像的高级处理（如图像分割，目标的检测和识别等）的前期处理。具体的图像运算包

2016-04-19 08:55:14 21839 2

lfw2016的博客