- 博客(7)
- 收藏
- 关注
RSS订阅原创 yarn 的nodemanager 中间数据存储
yarn.nodemanager.local-dirs:这个目录是nodemanager上的作业中间数据存放路径，默认是 10G大小 ；yarn.nodemanager.local-dirs，我们一般配置多个目录 ，几个磁盘就几个目录 <property> <name>yarn.nodemanager.localizer.cache.target-si...
2020-03-24 17:09:29
1283
转载 详解HBase架构原理
一、什么是HBaseHBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价的PC Server上搭建大规模结构化存储集群。HBase是Google BigTable的开源实现，与Google BigTable利用GFS作为其文件存储系统类似，HBase利用Hadoop HDFS作为其文件存储系统； Google运行MapReduce来处理BigTable中的...
2020-03-20 10:59:00
280
转载 联邦HDFS集群搭建
联邦HDFS集群搭建core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>viewfs:///</value> </property> <property>...
2020-03-18 15:13:10
215
转载 HDFS Federation(联邦)
1.简介hdfs federation即hdfs的联邦，可以简单理解为多个hdfs集群聚合到一起，更准确的理解是有多个namenode节点的hdfs集群hadoop1.x的hdfs架构主要由namespace（命名空间）和Block Storage（块的存储）两层组成1.1.namespace由目录、文件、块组成。支持创建、删除、修改、列举命名空间相关系统的操作1.2.Block ...
2020-03-18 14:56:37
620
原创 JVM内存模型
文章目录1.jvm内存模型图1.jvm内存模型图栈的特点是后进先出：保存局部变量，保存线程变量，包括局部变量表，操作数栈，动态连接，返回地址。其中动态连接是解决多态。局部变量表的0是this。栈大小一般是-xss配置，StackOverflowError是指栈空间不足。本地方法栈：是指native方法程序计数器： 当被挂起的线程重新获取到时间片的时候，它要想从被挂起的地方继续执行，就必...
2020-03-18 14:23:44
172
原创 ubuntu18.04 下ambari+kudu+impala的安装
ubuntu18.04 下ambari+kudu+impala的安装1.简介2.环境准备3.安装kudu3.1 配置apt3.2 在线安装3.3 启动服务3.4 打开web检查3.5 关闭服务4.安装impala4.1 在线安装4.2 修改配置4.3 还原/usr/bin目录4.4 启动impala4.5 测试1.简介kudu在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中...
2020-03-11 15:30:10
2534
原创 ubuntu18.04下安装ambari2.7.3+HDP3.1.0
ubuntu18.04 下离线安装ambari2.7.3+HDP3.1.0(原创)本人介绍ubuntu 18.04下Hortonwork 的ambari 2.7.3 和HDP 3.1.0的安装，效果如下。HDP与CDH的对比，HDP版本更新较快，因为Hortonworks内部大部分员工都是apache代码贡献者，尤其是Hadoop 2.0的贡献者。目前Apache社区Hadoop最新版本：3...
2020-03-11 13:40:37
5015
6
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人