9 mnasd

尚未进行身份认证

暂无相关描述

等级
博文 409
排名 2w+

本地 hbase 集群配置 Azure Blob Storage

简述:hadoop-azure提供hadoop与azureblobstorage集成支持,需要部署hadoop-azure.jar程序包,在HDP2.4安装包中已默认提供,如下图: 配置成功后,读写的数据都存储在AzureBlobStorageaccount 支持配置多个AzureBlobStorageaccount,实现了标准的HadoopFi...

2019-05-19 20:31:03

presto 0.166概述

presto是什么是Facebook开源的,完全基于内存的并⾏计算,分布式SQL交互式查询引擎是一种Massivelyparallelprocessing(MPP)架构,多个节点管道式执⾏⽀持任意数据源(通过扩展式Connector组件),数据规模GB~PB级使用的技术,如向量计算,动态编译执⾏计划,优化的ORC和ParquetReader等presto不太支持存储过程...

2019-05-19 10:08:36

HUE4.3安装配置

HUE简介Hue是一个开源的ApacheHadoopUI系统,由ClouderaDesktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,用PythonWeb框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduceJob,执行Hive的SQL语...

2019-05-14 22:32:18

Presto查询优化

Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询,数据量支持GB到PB字节。查询语言是类ANSISQL语句。笔者在多个项目中用到Presto做即席查询,总结了一些优化措施。一、数据存储合理设置分区 与Hive类似,Presto会根据元信息读取分区数据,合理的分区能减少Presto数据读取量,提升查询性能。 使用列式存储 Presto对ORC文件读取做了特定优化,因...

2019-05-14 22:23:25

Apache Hadoop如何支持读写OSS

背景2017.12.13日ApacheHadoop3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop2.9.x系列也支持OSS。然而,低版本的ApacheHadoop官方不再支持OSS,本文将描述如何通过支持包来使Hadoop2.7.2能够读写OSS。如何使用下面的步骤需要在所有的Hadoop节点执行下...

2019-05-13 21:22:35

kubernetes1.13安装dashboard

1、下载kubernetes-dashboard.yamlwgethttps://raw.githubusercontent.com/kubernetes/dashboard/master/aio/deploy/recommended/kubernetes-dashboard.yaml2、修改镜像地址(mirrorgooglecontainers/kubernetes-dashboa...

2019-04-30 14:09:59

Kubernetes实战:部署集群监控prometheus-operator

1.下载最新版、解压wgethttps://github.com/coreos/prometheus-operator/archive/v0.23.2.tar.gz2.部署官方提示默认在default命名空间下创建,这里我们修改一下Note:makesuretoadaptthenamespaceintheClusterRoleBindingifde...

2019-04-29 16:29:35

部署Apache Kylin读写分离

https://www.cnblogs.com/yongjian/p/10110119.htmlhttps://blog.51cto.com/xiaolanlan/2082991

2019-04-26 11:26:19

kylin 在Yarn HA模式下报错

yarn非ha的时候是没问题的在HA模式下,发现报错,信息如下:java.lang.RuntimeException:java.lang.ClassNotFoundException:Classorg.apache.hadoop.yarn.client.RequestHedgingRMFailoverProxyProvidernotfoundyarn.client....

2019-04-26 09:41:50

Apache Kylin 2.5.0安装和使用

1.背景ApacheKylin是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。ApacheKylin官网:http://kylin.apache.org/Kylin的官网上每个版本的都提供两个包一个forHBase的一个forCDH的,根...

2019-04-24 17:35:54

ambari-Kylin

概述目前上传至ambari-Kylin上的有两个版本,一个是HDP2.6与Kylin2.5.1集成使用的一版;一个是HDP3.0与Kylin2.6.0集成使用的一版。上传至github上的仅支持服务的基本使用,如正常启停,超链接KylinWebUI功能。但是像服务的启停顺序和服务的自定义告警没有上传至此,需要微信关注公众号大数据实战演练,也可扫描底部二维码,回复ambari-k...

2019-04-24 17:08:47

Kubernetes使用prometheus+grafana做一个简单的监控方案

本文介绍在k8s集群中使用node-exporter、prometheus、grafana对集群进行监控。其实现原理有点类似ELK、EFK组合。node-exporter组件负责收集节点上的metrics监控数据,并将数据推送给prometheus,prometheus负责存储这些数据,grafana将这些数据通过网页以图形的形式展现给用户。在开始之前有必要了解下Prometheus是什么...

2019-04-21 11:23:23

kubernetes使用Traefik暴露web服务

Traefix介绍(摘自网络)traefik是一个前端负载均衡器,对于微服务架构尤其是kubernetes等编排工具具有良好的支持;同nginx等相比,traefik能够自动感知后端容器变化,从而实现自动服务发现。traefix的架构如下:Traefix的部署使用部署环境:k8s-node1(master):192....

2019-04-18 21:21:25

kubeadm部署kubernetes 1.13.1集群

kubeadm是Kubernetes官方提供的用于快速部署Kubernetes集群的工具,本篇文章使用kubeadm搭建一个单master节点的3节点k8s集群。kubernetes简介Kubernetes节点架构图:kubernetes组件架构图:1.准备基础环境我们将使用kubeadm部署3个节点的KubernetesCluster,整体结构图:...

2019-04-15 21:40:30

hue 提交spark-sql 关于CTAS bug的解决

CTAS就是createtableasselect的简称。最近在使用SparkSQL来进行快速的自定义SQL分析,因为需要把分析的结果保存下来,所以一定要使用CTAS功能,然而在使用的时候发现了一个bug,当然这个bug已经被报告了,状态依然是unresolved我们用的spark2.2.1版本bug详情:https://issues.apache.org/jira/bro...

2019-04-15 17:05:12

centos7.5更新内核到4.18

Docker对Linux内核版本的最低要求是3.10。目前Linux内核已经发布到4.18,为了更好使用docker和k8s,需要对公司相关CentOS7内核进行升级。docker官方对内核的说明:https://docs.docker.com/storage/storagedriver/overlayfs-driver/Docker存储驱动说明,overlay可以使用但不建议,最好使用...

2019-04-15 09:11:44

HBase最佳实践-列族设计优化

问题导读:1.BLOCKSIZE属性在不同场景下应该如何设置?2.COMPRESSION属性和DATA_BLOCK_ENCODING属性的区别是什么?3.Hbase需要注意哪些设计原则?随着大数据的越来越普及,HBase也变得越来越流行。会用HBase现在已经变的并不困难,然而,怎么把它用的更好却并不简单。那怎么定义‘用的好’呢?很简单,在保证系统稳定性、可用性的基础上...

2019-04-12 15:30:13

mysql 优化

[mysqld]innodb_buffer_pool_size=2Ginnodb_file_per_table=ONinnodb_log_buffer_size=100Minnodb_log_file_size=100Minnodb_data_file_path=ibdata1:1024M;ibdata2:1024M:autoextendinnodb_flush_lo...

2019-04-11 11:12:03

prometheus,alertmanager 报警配置详解

vimprometheus.ymlglobal:scrape_interval:15sexternal_labels:monitor:'codelab-monitor'scrape_configs:-job_name:teststatic_configs:-targets:['10.13.82.244:8000'...

2019-04-10 09:32:04

Ansible之Playbook详解、案例

playbook-剧本介绍playbooks是一个不同于使用Ansible命令行执行方式的模式,其功能更强大灵活。简单来说,playbook是一个非常简单的配置管理和多主机部署系统,不同于任何已经存在的模式,可作为一个适合部署复杂应用程序的基础。Playbook可以定制配置,可以按照指定的操作步骤有序执行,支持同步和异步方式。值得注意的是playbook是通过YAML格式来进行描述定义的。...

2019-04-01 20:46:27
奖章
    暂无奖章