7 yo8237233

尚未进行身份认证

暂无相关描述

等级
TA的排名 237w+

YARN中自己总结的几个关键点

以前在Hadoop1.0中JobTracker主要完成两项功能:资源的管理和作业控制。在集群规模过大的场景下,JobTracker存在以下不足:1)JobTracker单点故障。2)JobTracker承受的访问压力大,影响系统的扩展性。3)不支持MapReduce之外的计算框架,比如Storm、Spark、Flink因此在YARN的设计中,资源的管理和作业控制是分...

2016-12-11 15:43:43

将博客搬至cnblogs

地址:http://www.cnblogs.com/qiaoyihang/

2016-12-11 15:36:29

Flume应用场景及架构原理

Flume概念Flume是一个分布式、可靠、和高可用的海量日志聚合的系统,支持在系统中定制[size=large]各类数据发送方[/size],用于收集数据;同时,Flume提供对数据进行简单处理,并写到[size=large]各种数据接受方[/size](可定制)的能力。flume特点:1、可靠性当节点出现故障时,日志能够被传送到其他节点上而不会丢失。Flu...

2016-12-10 18:53:58

遍历Map的四种方法

[code="java"]publicstaticvoidmain(String[]args){Mapmap=newHashMap();map.put("1","value1");map.put("2","value2");map.put("3","value3");//第一种:普遍使用

2016-12-09 15:38:29

zookeeper集群某个follower启动失败

配置完成zookeeper集群,发现有一个节点,进程正常但是状态异常[img]http://dl2.iteye.com/upload/attachment/0121/8256/5d31e28b-19b6-3638-aa19-337d43671f1a.jpg[/img]查看日志一开始进入歧途了,查看的是这个目录[img]http://dl2.iteye.com/uploa...

2016-12-07 20:28:23

HDFS 和YARN HA 简介

HDFS:[img]http://dl2.iteye.com/upload/attachment/0121/8139/4bc1aec8-749d-35b2-87b4-83a9572d1c58.png[/img]基础架构1、NameNode(Master)1)命名空间管理:命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列表文件和目录等基本操作。...

2016-12-07 13:34:14

cdh集群数据恢复

CDH数据库磁盘坏了所有集群配置都没了而且还没备份....元数据还在cdh软件配置和安装软件不能用了下载apachehadoop重新配置namenodedatenodejournode加载以前的数据读出来了..强制了namenode主把数据迁移到其他节点因为重新...

2016-12-01 22:03:23

mapreduce流程中的几个关键点

MapReduce中数据流动(1)最简单的过程:map-reduce(2)定制了partitioner以将map的结果送往指定reducer的过程: map-partition-reduce(3)增加了在本地先进性一次reduce(优化)过程: map-combin(本地reduce)-partition-reducemap函数的处理...

2016-11-12 20:46:04

MapReduce二次排序

默认情况下,Map输出的结果会对Key进行默认的排序,但是有时候需要对Key排序的同时再对Value进行排序,这时候就要用到二次排序了。下面让我们来介绍一下什么是二次排序。二次排序原理我们把二次排序主要分为以下几个阶段。Map起始阶段在Map阶段,使用job.setInputFormatClass()定义的Inpu...

2016-11-07 14:51:05

Hadoop自定义分组Group

matadata:[code="java"]hadoopasparkahiveahbaseatachyonastormaredisa[/code]自定义分组[code="java"]importorg.apache.hadoop.conf.Configuration;impo...

2016-11-07 12:35:48

编译hadoop2.6.0

具体情况比较曲折:hadoop2.6.0编译不过错误如下:[img]http://dl2.iteye.com/upload/attachment/0120/9044/7f4f4d5e-4cc6-375a-8820-57bfb914e901.png[/img]这个kms模块始终编译不过,最后得出结论国内的aliyunmaven仓库有问题,在编译hadoop2.2.0可...

2016-10-29 23:24:00

ERROR [org.apache.hadoop.security.UserGroupInformation] - PriviledgedActionExcep

换了个环境,出现此异常016-10-1823:54:01,334WARN[org.apache.hadoop.util.NativeCodeLoader]-Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable2016-10-182...

2016-10-20 10:23:33

Java集合分组

[code="java"]publicclassData{ privateLongid; privateLongcourseId; privateStringcontent; publicLonggetId(){ returnid; } publicDatasetId(Longid){ this.id=...

2016-10-17 16:25:25

Mysql hql字符串字段中是否包含某个字符串,用 find_in_set

有这样一个需求,在Mysql数据库字符串字段(权限)中,有范围在1到N之间代表不同权限的值,分别被‘,’分开,现在要取出具有某权限的所有成员列表。创建表:[code="sql"]1 CREATETABLEusers(idint(6)NOTNULLAUTO_INCREMENT,PRIMARYKEY(id),nameVARCHAR(20)NOTNULL...

2016-09-27 17:25:05

org.apache.hadoop.ipc.RemoteException(java.io.IOException)

昨晚突然之间mr跑步起来了jps查看进程都在的,但是在reduce任务跑了85%的时候会抛异常异常情况如下:[code="java"]2016-09-2121:32:28,538INFO[org.apache.hadoop.mapreduce.Job]-map100%reduce84%2016-09-2121:32:30,623INFO[org.a...

2016-09-22 15:38:28

jenkins打包成功,部署失败

环境一直正常,更新了tomcat版本后自动部署报错[code="java"]ERROR:Publisherhudson.plugins.deploy.DeployPublisherabortedduetoexceptionorg.codehaus.cargo.container.ContainerException:Failedtodeploy[/var/lib/j...

2016-09-01 17:41:34

druid连接池异常

[size=large]在从excel导入10W条数据到mysql中时,运行一段时间就会抛这个异常,连接池问题[/size][code="java"]org.springframework.transaction.CannotCreateTransactionException:CouldnotopenHibernateSessionfortransaction;n...

2016-08-31 14:24:55

Lock wait timeout exceeded; try restarting transaction

查看innodb的事务表INNODB_TRX,看下里面是否有正在锁定的事务线程,看看ID是否在showfullprocesslist里面的sleep线程中,如果是,就证明这个线程事务一直没有commit或者rollback而是卡住了,我们需要手动kill掉。mysql>SELECT*FROMinformation_schema.INNODB_TRX\G;trx_mysq...

2016-08-24 15:36:18

MySQL substring:字符串截取 (转载)

MySQL字符串截取函数:left(),right(),substring(),substring_index()。还有mid(),substr()。其中,mid(),substr()等价于substring()函数,substring()的功能非常强大和灵活。1.字符串截取:left(str,length)mysql>selectleft('exam...

2016-08-24 10:10:41

Maven项目无法引入 Maven Dependencies Libraries 问题

昨天在check下来maven项目之后一些配置好了,就是下载不是maven依赖库,后面再网上找到如下解决方案。在.classpath文件中加入如下代码就好了.[code="xml"] [/code]...

2016-08-23 10:53:10

查看更多

勋章 我的勋章
    暂无奖章