2 BalaBalaYi

尚未进行身份认证

暂无相关描述

等级
博文 23
排名 13w+

记录一次OpenStack云盘(系统+数据)损坏的修复过程

问题概述云环境:OpenStackMitaka虚拟机系统:CentOS7.2云盘:Cinder对接Ceph实现经过一系列复杂原因(-_-),某个虚拟机的后端云盘损坏(该云盘为启动盘,同时包含大量数据),所创建的虚拟机无法正常进入操作系统。因为novaresuce仅支持从镜像直接启动的虚拟机,因此无法使用resuce对虚拟机进行救援。解决流程:因为该云盘无法正...

2019-03-29 17:31:27

AmbariServer高可用搭建指南

一.前言本篇文章主要讲解AmbariServer端的高可用搭建。注意,是Ambari的Server,而不是Hadoop集群的应用。截止目前为止(Ambari2.7.x),hortonworks官方并没有给出AmbariServer的高可用的内部实现。因此本篇文章主要讲解如何通过现有开源组件实现AmbariServer的高可用搭建。下述内容直接简称AmbariServer为Ambari。...

2019-01-29 10:13:47

HiBench 7.x 使用问题整理

一.介绍HiBench是一款用于hadoop集群性能测试的开源工具。支持MR,HIVE,SPARK等计算框架,且支持多种维度的测试。早在HiBench5.0的时候作者就用过,个人感觉还不错,无论是apachehadoop,cdh还是hdp都可以支持。最新发现,HiBench7.x版本发布了。因此就趁着机会,结合新版本总结一下使用中遇到的问题,助大家过坑。HiBench的gith...

2018-12-22 18:52:09

从Elasticsearch详解Ambari与第三方软件的集成(三)

上文已经讲了集成实现的具体步骤,下面我们以Elasticsearch和Kibana为例,来简单实践下第三方集成服务的安装。 三.部署使用1.Ambari安装第三方服务1)下载代码 2)拷贝至Ambari的服务目录(这里采用2.6版本):cp-r./ELASTICSEARCH-6.4.x/var/lib/ambari-server/resources/stac...

2018-11-18 12:43:22

从Elasticsearch详解Ambari与第三方软件的集成(二)

上文已经简单介绍了前因,这里我们就最核心的内容:如何做,进行讲解。 二.集成实现过程详解Ambari下服务资源的定义结构如下图所示:|_stacks|_<stack_name>|_<stack_version>metainfo.xml|_hooks|_repos...

2018-11-18 12:42:46

从Elasticsearch详解Ambari与第三方软件的集成(一)

一.简单介绍1.软件介绍1)Ambari(HDP)玩过大数据的人都知道,除了原生的apachehadoop,有两大hadoop厂商(现在已经合并了。。喜闻乐见。。。):Hortonworks和Cloudera。Cloudera的hadoop产品相对来讲成熟度高,商业化程度高。而Hortonworks的hadoop产品种类更多,且开源度高,社区活跃。正是因为开源,才能自定义第三...

2018-11-18 12:42:20

关于Mirantis OpenStack开源组件LMA工具链相关问题整理

简单介绍:LMA组件全称为Logging,Monitoring,andAlertingtoolchainofMirantisOpenStack,是服务于MirantisOpenStack的一套监控运维组件。其通过collectd实现采集,通过elasticsearch-kibana实现日志分析,通过influxdb-grafana实现集群状态可视化,通过nagios实现告警信息...

2018-11-14 14:19:56

关于Harbor部署过程中存储路径修改的实践

安装Harbor安装的环境要求,具体步骤不再细说,过程很简单,详情请见官网文档:https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md 在默认的安装部署下,harbor的存储路径是/data/。在一般的实际部署中大概率有修改的需求,且官方文档在此并没有详细地说明。如下图所示,根据宿主机根...

2018-10-24 09:20:41

如何制作Windows10 qcow2镜像

转载连接:https://www.cnblogs.com/guoxiangyue/p/9188316.html补充:1.CentOS7.2版本的virt-manager不直接支持Windows10(不知道Windows8.1能否成功安装Windows10)。本人采用的是CentOS7.5版本进行的安装;2.OracleVirtualBox实践没有成功,VmwareWork...

2018-10-16 21:14:00

如何使用guestfish修改generic-cloud镜像

环境:1.CentOS7.2系统虚拟机一台(物理机也可);2.待修改的镜像文件:CentOS-7-x86_64-GenericCloud-1511.qcow2 步骤:1.yum安装所需组件:yuminstalllibguestfs-toolsguestfish-y 2.修改qemu配置文件并重启libvert:vi/etc/libvir...

2018-10-14 18:12:51

GitLab 容器化 CI 流程填坑记(一)

本文以SpringBoot项目的部署构建为例,对基于GItLab的CI流程进行简要介绍。 环境准备:1.系统环境:操作系统:CentOS7.21511GitLab:v11.1.4GitLab-runner:v11.2.0Docker:17.03.2ce 2.应用环境:应用框架:Springbootv2.0.x项目构建管理:Mavenv3....

2018-09-10 20:52:58

Mirantis OpenStack Fuel9.x 离线全自动脚本实现

前提条件:已成功安装Fuel9.0(以能成功登录web界面为准) 此脚本整合了9.0和9.2两个Fuel版本对应的资源,将一键完成离线环境下:1.常规设置(时区、语言、时间等)2. 9.0~9.2的升级(9.0无)3.bootstrap设置4.mirror设置5.常用插件安装(以LMA为主的官方插件)6.其它设置完成脚本后,将可直接于web界面进行...

2018-09-08 13:03:20

HDP 下 SPARK2 与 Phoenix 的整合

环境:操作系统:Centos7.21511Ambari:2.6.2.0HDP:2.6.5.0Spark:2.x(HDP)Phoenix:4.7.x (HDP) 条件:1.HBase安装完成;2.Phoenix已经启用,ambari界面如下所示:3.Spark2安装完成。 配置方式:方式一1.进入AmbariSpark2...

2018-09-08 13:03:08

踩坑记——Azkaban Hdfs Plugin 安装

本文详细记录了:centos7.2,cdh5.12环境下azkaban3.20.0Hdfs插件的安装过程。因为官网文档在此部分的说明极为简陋,且3.x的插件需要源码构建并且问题诸多,因此留下此篇文章助诸位过坑。官网文档:https://azkaban.github.io/azkaban/docs/latest/#hdfs-browser

2017-10-24 11:54:33

基于centos7.2最小化环境, cdh manager 及 cdh 集群的部署过程常见问题整理

注:此篇文章主要面向对hadoop有一定了解的开发和运维人员,若是初次接触hadoop集群,具体安装过程请更多参考Ambari的安装部署教程:http://blog.csdn.net/balabalayi/article/details/64920537CDHManager的部署与安装与Ambari的安装有极大的相似性,几乎就是“安装包和文件目录不一样”的区别过程简单阐述,具

2017-08-08 14:18:19

Hadoop建设工具Ambari的安装部署及完整使用(五)——Ambari使用之集群卸载

五.Ambari使用——卸载集群ambari本身并没有提供自动化卸载的功能。ambariweb管理端的操作更多的是实现服务或是主机的扩展(无法完全清除服务和主机)。因此本人通过实践,也整理了一份手动卸载脚本:注:因为此脚本只是根据作者实践以及其它网络资料整理而成,所以脚本内容一定不全(目前尚不清楚官方是否提供官方版本)。但是各位看官稍微了解ambari的安装目录结构即可进一步完善

2017-03-28 13:19:39

Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

一.POM依赖作者的hadoop集群环境为:HDFS,YARN,MapReduce2:2.7.3Hive:1.2.1000HBase:1.1.2注:phoenix版本依赖性较强,请注意不同发行版之间的差异(直接从集群服务器上获取jar包最为可靠) UTF-8 2.4.0.RELEASE 1.2.14.7 1.

2017-03-28 09:10:05

RabbitMQ-3.6.6的集群安装

一.下载并安装基础组件rabbitmq是基于erlang语言实现的,因此首先需要安装erlang环境。这里,我们直接采用yum安装:yum-yinstallerlang二.下载RabbitMQ-3.6.6并安装wgethttp://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-serve

2017-03-22 19:37:57

Redis-3.2.8的集群安装部署

一.下载并安装基础组件yum-yinstallgccautomakeautoconflibtoolmakejemalloc二.下载redis并解压安装wgethttp://download.redis.io/releases/redis-3.2.8.tar.gztar–zxvfredis-3.2.8.tar.gzcdredis-3.2.8mak

2017-03-22 19:18:39

Hadoop建设工具Ambari的安装部署及完整使用(四)——Ambari使用之集群建立

四.Ambari使用——建立集群1.登录并创建集群1)以管理员登录ambari-server,用户名和密码默认为:admin/admin 2)点击【LaunchInstallWizard】开始安装集群 3)给集群命名 4)选择版本及对应的远程或本地仓库地址远程仓库设置:直接选择即可 本地仓库设置:1.从官网下载HDP和HDPUTILS下载地址:http://docs.hortonwo

2017-03-22 15:57:15
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得