8 笃志近思

尚未进行身份认证

暂无相关描述

等级
TA的排名 7k+

apache_sentry

Hadoop权限SentryHivebeeline连接Hivebeeline>!connectjdbc:hive2://datanode03:10000/defaultscancompletein1msConnectingtojdbc:hive2://datanode03:10000/defaultEnterusernameforjdb...

2018-06-21 23:11:47

Kerberos 安装

KerberosInstallKerberos安装节点信息name01datanode01datanode02datanode03datanode04安装kdcserver在KDC(name01)上安装包krb5、krb5-server和krb5-clientyuminstallkrb5-serverkrb5-libskr...

2018-06-21 23:10:14

Java对象的字节大小计算

计算Java对象的字节大小Java基本类型长度及对应对象的字节长度基本类型长度thesizeofanobjectInt416Short216Long824Byte116Character116Float416Dou...

2018-05-06 17:34:55

JVM垃圾收集机制

JVM垃圾收集机制JVM结构如何判定对象可回收引用计数缺点很难解决对象之间循环引用的问题可达性分析(根节点枚举)使用引用链和GCRootsGC停顿原因根节点枚举时必须保证对象引用关闭保持不变,所以必须停顿所有java线程可以作为GCRoots的对象虚拟机栈(栈帧中的本地变量表)中引用的对象方法区中类静态属性引用的对象方法区中常量引用的对象本地方法栈中JNI(即一般说

2017-12-27 19:07:25

goldengate_mysql_kafka同步

goldengate实现mysql到kafka同步OracleGoldenGate提供异构环境间事务数据的实时、低影响的捕获、路由、转换和交付goldengate架构goldengate相关概念Manager进程是GoldenGate的控制进程,运行在源端和目标端上。它主要作用有以下几个方面:启动、监控、重启Goldengate的其他进程,报告错误及事件,分配数据存储空间,发布阀值报

2017-12-14 22:16:47

【spark】Shuffle过程解析

Shuffle过程解析ShuffleMapTaskShuffleMapTask时shuffle过程的入口,runTask方法实现了shuffle的主要逻辑,runTask依赖ShuffleManager和ShuffleWriter实现具体的操作,其中ShuffleManager和ShuffleWriter在目前spark版本中都有多种实现,可以通过spark.shuffle.manager参数

2017-04-03 00:09:50

【spark】HashShuffleManager解析

HashShuffleManagerHashShuffleManager在spark早期版本中为默认shuffle管理器(spark1.2以前)。单此版本存在明显的弊端,此shuffleManager在作业运行阶段会产生大量的文件,任务在此环节会产生大量IO操作。接下来我们会一起探讨HashShuffleManager的具体执行逻辑。

2017-04-02 23:29:39

spark yarn-cluster模式提交task流程

sparkyarn-cluster模式提交task流程

2017-03-15 23:38:34

Hbase JVM优化

HbaseJVM优化优化项exportHBASE_OPTS="$HBASE_OPTS-XX:+UseCompressedOops-XX:+UseParNewGC-XX:+UseConcMarkSweepGC-XX:+CMSClassUnloadingEnabled-XX:+UseCMSCompactAtFullCollection-XX:CMSFullGCsBeforeCompact

2016-08-22 19:24:42

HBase不稳定因素分析

Hbase不稳定因素分析配置问题内存配置不正确目前hbase内存主要如下几个配置项:1)HBASE_HEAPSIZEHBaseRegionServer是内存贪婪性的,按照经验判断至少8~16G内存,但也不宜过大,更多内存应该分配给HBASE_OFFHEAPSIZE2)HBASE_OFFHEAPSIZEHbaseoffheap内存为非堆内存,主要在hbase缓存数据时使用,需

2016-08-22 19:12:27

Hive order by/sort by/distribute by/cluster by作用

Hiveorderby/sortby/distributeby/clusterby作用orderbyHive中的orderby跟传统的sql语言中的orderby作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了orderby所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。

2016-07-31 14:25:13

Hive Example

HiveExample此实例主要学习Hive的基本操作准备数据下载数据wgethttp://files.grouplens.org/datasets/movielens/ml-100k.zip解压数据unzipml-100k.zip数据说明(具体请查看解压目录中README)u.data--Thefulludataset,100000r

2016-07-28 21:51:13

Hive安装过程(mysql/oracle存储元数据)

Hive安装过程(mysql存储元数据)前置条件:-mysql数据库已经安装成功-hadoop环境已经配置正确,且可以提供正常服务说明:-由于资源有限,下面配置的hadoop集群只有一个节点,所有服务都在一个节点上启动(1)创建mysql用户hadoop@ubuntu:~$mysql-uroot-pmysqlmysql>CREATE

2016-07-27 22:48:35

Linux_nc命令用法

linuxnc命令参数及用法详解功能说明:功能强大的网络工具语  法:nc[-hlnruz][-g<网关...>][-G<指向器数目>][-i<延迟秒数>][-o<输出文件>][-p<通信端口>][-s<来源位址>][-v...][-w<超时秒数>][主机名称][通信端口...]参  数:-g<网关>设置路由器跃程通信网关,最丢哦可设置8个。-G<指向器数目>设置来源路由

2016-07-27 15:10:06

Hbase内存磁盘大致关系

Hbase内存磁盘关系磁盘数diskNum磁盘容量diskCapacity备份数replications单个HFile文件大小hbase.hregion.max.filesizeregions数regionsdiskNum*diskCapacity/replications=hbase.hr

2016-06-06 15:24:18

Oracle常见问题解决方法

Oracle常见问题解决方法解决ORA-28002:密码过期问题警告信息:ERROR:ORA-28002:thepasswordwillexpirewithin7days原因分析:sql>SELECT*FROMdba_profilessWHEREs.profile='DEFAULT'ANDresource_name='PASSWORD_LIFE_T

2015-11-19 17:29:20

hbase遇到问题及解决方法

hbase遇到问题及解决方法1.zookeeper启动报错错误日志启动zookeeper报错信息如下:java.net.NoRouteToHostException:Noroutetohostatjava.net.PlainSocketImpl.socketConnect(NativeMethod)atjava.net.AbstractPlainSo

2015-08-27 14:57:16

二分查找(非递归实现和递归实现)

二分查找(非递归实现和递归实现)publicclassBinarySearch{//非递归实现publicstaticintbinarySearch(intarray[],intlow,inthigh,intkey){while(low<=high){intmiddle=(low+high)

2015-08-12 22:50:27

hadoop知识点总结

hadoop知识点总结hadoop原理上图中展现了整个HDFS三个重要角色:NameNode、DataNode和Client。NameNode可以看作是分布式文件系统中的管理者,主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中,这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。D

2015-08-06 22:21:38

RRegionServer Splitting 实现过程

RRegionServerSplitting实现过程1、RegionServer决定本地的region分裂,并准备分裂工作。第一步是,在zookeeper的/hbase/region-in-reansition/region-name下创建一个znode,并设为SPLITTING状态。2、Master通过父region-in-transitionznode的watcher监测到刚刚创建的zno

2015-07-28 10:00:29

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!