- 博客(30)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 RedHat6.5安装Oracle
1.前置条件redhat已经换源。 不会换源的小伙伴请查看我这篇文档 http://blog.csdn.net/beidiqiuren/article/details/529313532.安装依赖包yum install binutils-2.* compat-libstdc++-33* elfutils-libelf-0.* elfutils-libelf-devel-* gcc-4.* g
2016-11-08 14:40:51
1708
原创 MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./sch
配置好hive，第一次使用时，可能会出现以下错误： MetaException(message:Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType …) to create the schema. If needed, don’t forg
2016-11-06 20:22:07
5599
3
原创 VMware压缩linux虚拟机
虚拟机在使用一段时间后，体积会变得很大。即使删除掉里面的不用的文件，也不能自动减小体积。可以使用vmware自带的虚拟机工具进行减容。 1) 打开虚拟机，使用root用户，在命令行输入 vmware-toolbox-cmd disk shrink / 出现disk shrinking complete即代表压缩完成。 2) 关闭虚拟机 3) 在vmware界面单机编辑虚拟机设置 选
2016-10-26 12:03:54
2214
原创 Flume初介绍和命令行使用
Flume：cloudera提供的高可用的、高可靠的、分布式的海量日志采集、聚合、和传输系统。Flume 的设计目标：可靠性：当节点出现故障时，日志能够被传送到其他节点而不会丢失。 flume提供了三种可靠性保障： end to end （仅一次）store on failoure （当数据接收方crash时，将数据写道本地，待恢复后继续发送）best effort （数据发送到接收方后，
2016-06-30 16:51:39
5518
原创 hadoop DataNode节点超时
DataNode节点超时时间设置DataNode进程死亡或网络节点故障造成DataNode无法与NameNode通信，NameNode不会立即把该节点判定为死亡，要经过一段时间，这段时间成为超时时长。HDFS默认的超时时长为10分钟+30s。 如果定义超时时长为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 *
2016-06-25 18:53:34
1494
原创 Hadoop 序列化
在第一步中， 客户端编写好了代码并打包成jar包，会提交到集群中，也就是Cluster中，通讯方式就是通过RPC来通讯的。（RPC的一个最简单示例） 当集群收到请求后，就会告诉yarn，请求分配资源。当yarn处理之后，会返回一个地址给client（第二步）。客户端去这个地址拷贝jar包（第三步）。 第四步 就是提交任务给RM，主要提交的是任务的描述信息，比如jobID、jar包存在的位置、配置
2016-06-25 18:32:56
574
原创 hadoop HDFS
hadoop主要分为三个模块：HDFS、MapReduce、Yarnhadoop具体能干什么：hadoop擅长日志分析海量数据存储 hadoop具有很多节点，节点叫DataNode。 每一个块在节点上存多个副本。海量数据计算 map本地局部处理。 reduce通过网络取得其他节点的统计结果。HDFS的实现思想：hdfs是通过分布式集群来存储文件，为客户
2016-06-25 18:30:06
724
原创 Hadoop YARN
YARN的主要职责是做资源调度的。 resource manager —— node manager 节点 节点MAPREDUCE MRAppMaster —— yarnchild 动态产生出来的 动态产生出来的Yarn框架的主节点是resource manager，从节点是node manager 1. RunJar申请resource m
2016-06-25 18:28:58
1076
转载 Java面试题汇总
声明：有人说, 有些面试题很变态，个人认为其实是因为我们基础不扎实或者没有深入。本篇文章来自一位很资深的前辈对于最近java面试题目所做的总结归纳，有170道题目 ，知识面很广 ，而且这位前辈对于每个题都自己测试给出了答案 ，如果你对某个题有疑问或者不明白，可以电脑端登录把题目复制下来然后发表评论，大家一起探讨，也可以电脑端登录后关注我给我发私信,我们一起进步！以下内容来自这位前辈
2016-06-19 11:12:55
3833
原创 简单的Hadoop RPC实例
RPC：远程调用服务 假如有两个不同的项目A&B，A项目如果想调用B项目的接口，需要使用RPC。类似于webServers。新建maven project 如果eclipse中没有maven插件，可以安装一个。 help=>install new software=>work with=> add=>location:http://m2eclipse.sonatype.org/sites/
2016-06-13 16:11:44
1231
1
原创 Scala语言初入门
scala介绍Scala语言来自于Scalable（可伸缩的）既可以写一些小的脚本，又可以写一写复杂的服务器端的程序。Scala是一门纯正的面向对象语言，具有OO特征。Scala是一门函数式语言，可以用函数式思想来编写代码Scala是构建于JVM之上的，与java可以无缝互操作。函数式编程思想函数式编程基本名词介绍纯函数来编写程序。纯函数（Pure Function），或函数的纯粹性（P
2016-06-10 19:04:30
12291
1
原创 hadoop Federation（联邦）简介
在hadoop1.x中HDFS的架构文件的存储是放在块上的（Block Storage） 文件的元数据是放在namenode上的，只有一个Namespace（命名空间）。随着HDFS的数据越来越多，单个namenode的资源使用必然会达到上限，而且namenode的负载能力也会越来越高，限制HDFS的性能。hdfs主要有两层架构： 1.命名空间（namespace） 由目录、文件、块组成。
2016-05-31 20:51:13
13435
原创 hive的学习笔记2-hive源码的编译
hive架构hive的用户提交SQL的方式sql提交以后经过三个步骤hive 架构hive中支持的数据类型简单的数据类型复杂的数据类型hive的数据抽象hive的亮点hive的源码编译maven的安装修改maven的配置文件编译hive的源码hive架构hive的用户（提交SQL的方式）1.Cli（命令行） Cli（hive shell） 2.JDBC/ODBC（面向应用
2016-05-30 22:02:10
6850
1
转载 Hive的文件格式
本文转载自：http://www.cnblogs.com/Richardzhu/p/3613661.htmlhive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；SEQUE
2016-05-29 15:55:40
491
原创 设计模式之适配器模式
定义定义：适配器模式将一个类的借楼转换成客户期望的另一个接口，使得原来由于接口不兼容而不能一起工作的那些类可以在一起工作。组合方式使用适配器比如想要给笔记本供电，笔记本的插座是三项插口，但是只有二相电流，所以需要一个将二相电流转化为三相电流的适配器。 新建一个三相插座接口/** * 三口插座接口 * @author Administrator * */public interface T
2016-05-27 21:58:15
541
原创 设计模式之代理模式
1.代理模式简介（Proxy）1.1代理模式定义为其他对象提供一种代理以控制对这个对象的访问，代理对象起到中介作用，可去掉功能或者增加额外的服务。1.2代理模式的分类 远程代理：为不同的地理对象提供局域网代表对象 虚拟代理：根据需要将资源消耗很大的对象进行延迟加载，真正需要的时候再进行创建。（如访问网页时图片的加载，可先用别的图片进行代替） 保护代理：控制对一个对象的访问权限。（如论
2016-05-26 15:20:03
805
原创 设计模式之工厂模式
1.工厂模式概述 工厂模式概念：实例化对象，用工厂方式代替new操作工厂模式包括工厂方法模式和抽象工厂模式抽象工厂模式就是工厂方法模式的扩展2.工厂方法模式3.抽象工厂模式4.总结
2016-05-22 13:00:39
467
原创 设计模式之观察者模式
在慕课网上学习了观察者模式，故做个笔记温习巩固一下http://www.imooc.com/learn/415经典观察者模式Java自带的观察者模式区别对待的观察者模式
2016-05-13 14:43:59
2886
原创 Java类的反射机制
在慕课网上看到了Cedar老师讲的Java类的反射机制，感觉讲得很好，所以整理一下，以便于更深入的学习。http://www.imooc.com/learn/199Class类动态加载类获得方法信息方法的反射
2016-05-06 15:57:26
624
原创 HBase的javaApi一个应用（创建删除表等）
本文为传智播客hadoop八天——第六天学习笔记目的：使用HBase提供的api在eclipse中创建表，删除表，查询数据，使用过滤器有选择的查询数据在启动i
2016-05-01 15:49:24
2466
原创 Hive的学习笔记1-hive的安装和mysql的连接
本文为传智播客Hadoop八天——第六天学习笔记 1. 安装hive 2.安装mysql 3.关联hive和mysql 4.hive的一些基本语法和udf
2016-04-28 14:56:46
2516
原创 zookeeper集群的完全分布式安装
zookeeper集群的完全分布式安装本文是传智播客八天——第五天学习笔记使用一台主机两台虚拟机配置zookeeper完全分布式环境
2016-04-24 16:46:21
558
原创 搭建hadoop的高可用性（HA）集群
本文为传智播客八天——第五天学习笔记因为电脑配置问题，只能同时运行三台虚拟机。三台是hadoop高可用性集群的最小数目。不能再少了。前期准备：1、修改linux主机名和IP2、修改主机名和IP的映射关系3、关闭防火墙4、ssh免登录5、安装JDK，配置环境变量集群规划：主机名 IP
2016-04-21 09:09:52
880
1
原创 ubuntu下同时存在Python2.7.6和Python3时更改优先级
Ubuntu自带一个Python2.7.6。下载Python3以后并未将Python2覆盖掉。使用命令行输入Python2时自动默认Python2.7.6想使用python3必须键入Python3。因此采用以下办法sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100sudo updat
2016-03-27 14:16:51
1057
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人