9 mnasd

尚未进行身份认证

暂无相关描述

等级
TA的排名 1w+

云硬盘性能测试工具FIO介绍

一.云硬盘的性能衡量指标云硬盘的性能指标一般通过以下几个指标进行衡量IOPS:每秒的读写次数,单位为次(计数)。存储设备的底层驱动类型决定了不同的IOPS 总IOPS:每秒执行的I/O操作总次数 随机读IOPS:每秒指定的随机读I/O操作的平均次数 随机写IOPS每秒指定的随机写I/O操作的平均次数 顺序读IOPS每秒指定的顺序读I/O操作的平均次数 顺序写IOPS每秒指定...

2019-09-10 10:01:02

Hadoop系列(5)之容量调度器Capacity Scheduler配置

1.应用场景本文只关注配置,关于调度器的算法以及核心内容将在下一篇介绍。CapacityScheduler是YARN中默认的资源调度器,但是在默认情况下只有root.default一个queue。而当不同用户提交任务时,任务都会在这个队里里面按优先级先进先出,大大影响了多用户的资源使用率。现在公司的任务主要分为三种:每天晚上进行的日常任务dailyTask,这些任务需要在尽可能短的...

2019-09-09 23:31:09

Yarn的资源调度策

理想情况下,我们对Yarn的资源申请应该立即得到满足,但实际情况下整个集群的资源总量是有限的,这时就依赖资源调度器对资源进行调度了.  但在实际过程中,资源的调度策略本身就是一个难题,很难有一个完美的调度策略可以适用与所有的情况,为此Yarn提供了三种调度器让我们自行选择适用  FIFO调度器      这种调度会把所有资源申请放入一个队列先进先出.这是最简单的调度,也不需要任何配置,...

2019-09-09 23:25:41

YARN NodeLabel功能以及在EMR弹性伸缩中的应用

YARNNodeLabel功能最早是在Hadoop2.6版本中引入,在后续版本中有更多的功能完善。到了Hadoop2.8.x版本之后,该功能已经比较完整,可以满足日常使用。在本文中,我们需要将NodeLabel功能应用在EMR弹性伸缩场景中。其实NodeLabel特性更准确的叫法是NodePartition,也就是说通过label把YARN集群中的节点分组,每个节点拥有一个lab...

2019-09-09 23:20:26

关于MemStore的刷新方式

关于MemStore的刷新方式:1、MemStore达到上限hbase.hregion.memstore.flush.size默认是128M的时候,会触发MemStore的刷新。这个参数表示单个MemStore的大小的阈值。这个时候是不阻塞写操作的。2、当一个Region的MemStore总量达到hbase.hregion.memstore.block.multiplier*h...

2019-08-11 22:48:43

Prometheus从入门到跑路

1.prometheus框架结构2.prometheus组件介绍2.1.PrometheusServer这是Prometheus的服务端,也就是核心。Prometheus本身是一个以进程方式启动,之后以多进程和多线程实现监控数据收集、计算、查询、更新、存储的这样一个C/S模型运行模式。2.2.prometheus存储prometheus采用的是time-series...

2019-08-11 22:30:25

HBase中RegionServers报异常: No lease on /apps/hbase/data/oldWALs... File is not open for writing

报错日志:2018-03-0703:23:02,337ERROR[regionserver/137.bd/172.17.32.7:16020]regionserver.HRegionServer:Shutdown/closeofWALfailed:org.apache.hadoop.hdfs.server.namenode.LeaseExpiredException:N...

2019-07-31 22:06:19

HBase 数据迁移方案介绍

一、前言HBase数据迁移是很常见的操作,目前业界主要的迁移方式主要分为以下几类:图1.HBase数据迁移方案从上面图中可看出,目前的方案主要有四类,Hadoop层有一类,HBase层有三类。下面分别介绍一下。二、Hadoop层数据迁移2.1方案介绍Hadoop层的数据迁移主要用到DistCp(DistributedCopy),官方描述是:DistCp...

2019-07-28 16:53:30

HBase配置性能调优(转)

因官方BookPerformanceTuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Z...

2019-07-21 14:34:43

在 RAID 中扩展现有的 RAID 阵列和删除故障的磁盘

每个新手都会对阵列(array)这个词所代表的意思产生疑惑。阵列只是磁盘的一个集合。换句话说,我们可以称阵列为一个集合(set)或一组(group)。就像一组鸡蛋中包含6个一样。同样RAID阵列中包含着多个磁盘,可能是2,4,6,8,12,16等,希望你现在知道了什么是阵列。在这里,我们将看到如何扩展现有的阵列或RAID组。例如,如果我们在阵列中使用2个磁盘形成一个raid1集合...

2019-07-21 14:16:45

Hbase表两种数据备份方法-导入和导出示例

Hbase表两种数据备份方法-导入和导出示例本文将提供两种备份方法——1)基于Hbase提供的类对hbase中某张表进行备份2)基于Hbasesnapshot数据快速备份方法场合:由于线上和测试环境是分离的,无法在测试环境访问线上库,所以需要将线上的hbase表导出一部分到测试环境中的hbase表,这就是本文的由来。一、基于hbase提供的类对hbase中某张表进行备份...

2019-07-21 10:38:42

本地 hbase 集群配置 Azure Blob Storage

简述:hadoop-azure提供hadoop与azureblobstorage集成支持,需要部署hadoop-azure.jar程序包,在HDP2.4安装包中已默认提供,如下图: 配置成功后,读写的数据都存储在AzureBlobStorageaccount 支持配置多个AzureBlobStorageaccount,实现了标准的HadoopFi...

2019-05-19 20:31:03

presto 0.166概述

presto是什么是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎是一种Massivelyparallelprocessing(MPP)架构,多个节点管道式执⾏⽀持任意数据源(通过扩展式Connector组件),数据规模GB~PB级使用的技术,如向量计算,动态编译执⾏计划,优化的ORC和ParquetReader等presto不太支持存储过程...

2019-05-19 10:08:36

HUE4.3安装配置

HUE简介Hue是一个开源的ApacheHadoopUI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduceJob,执行Hive的SQL语...

2019-05-14 22:32:18

Presto查询优化

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。查询语言是类ANSISQL语句。笔者在多个项目中用到Presto做即席查询,总结了一些优化措施。一、数据存储合理设置分区 与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 使用列式存储 Presto对ORC文件读取做了特定优化,因...

2019-05-14 22:23:25

Apache Hadoop如何支持读写OSS

背景2017.12.13日ApacheHadoop3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop2.9.x系列也支持OSS。然而,低版本的ApacheHadoop官方不再支持OSS,本文将描述如何通过支持包来使Hadoop2.7.2能够读写OSS。如何使用下面的步骤需要在所有的Hadoop节点执行下...

2019-05-13 21:22:35

kubernetes1.13安装dashboard

1、下载kubernetes-dashboard.yamlwgethttps://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml2、修改镜像地址(mirrorgooglecontainers/kubernetes-dashboa...

2019-04-30 14:09:59

Kubernetes实战:部署集群监控prometheus-operator

1.下载最新版、解压wgethttps://github.com/coreos/prometheus-operator/archive/v0.23.2.tar.gz2.部署官方提示默认在default命名空间下创建,这里我们修改一下Note:makesuretoadaptthenamespaceintheClusterRoleBindingifde...

2019-04-29 16:29:35

部署Apache Kylin读写分离

https://www.cnblogs.com/yongjian/p/10110119.htmlhttps://blog.51cto.com/xiaolanlan/2082991

2019-04-26 11:26:19

kylin 在Yarn HA模式下报错

yarn非ha的时候是没问题的在HA模式下,发现报错,信息如下:java.lang.RuntimeException:java.lang.ClassNotFoundException:Classorg.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvidernotfoundyarn.client....

2019-04-26 09:41:50

查看更多

勋章 我的勋章
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。