BalaBalaYi-CSDN博客

原创记录一次OpenStack云盘（系统+数据）损坏的修复过程

问题概述云环境：OpenStack Mitaka虚拟机系统：CentOS 7.2云盘：Cinder对接Ceph实现经过一系列复杂原因（- _ -），某个虚拟机的后端云盘损坏（该云盘为启动盘，同时包含大量数据），所创建的虚拟机无法正常进入操作系统。因为nova resuce仅支持从镜像直接启动的虚拟机，因此无法使用resuce对虚拟机进行救援。解决流程：因为该云盘无法正...

2019-03-29 17:31:27 1818 1

原创 AmbariServer高可用搭建指南

一.前言本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（Ambari 2.7.x），hortonworks官方并没有给出AmbariServer的高可用的内部实现。因此本篇文章主要讲解如何通过现有开源组件实现AmbariServer的高可用搭建。下述内容直接简称AmbariServer为Ambari。...

2019-01-29 10:13:47 3743 1

原创 HiBench 7.x 使用问题整理

一. 介绍HiBench是一款用于hadoop集群性能测试的开源工具。支持MR,HIVE,SPARK等计算框架，且支持多种维度的测试。早在HiBench5.0的时候作者就用过，个人感觉还不错，无论是apache hadoop，cdh还是hdp都可以支持。最新发现，HiBench 7.x 版本发布了。因此就趁着机会，结合新版本总结一下使用中遇到的问题，助大家过坑。HiBench的gith...

2018-12-22 18:52:09 1857 1

原创从Elasticsearch详解Ambari与第三方软件的集成（三）

上文已经讲了集成实现的具体步骤，下面我们以Elasticsearch和Kibana为例，来简单实践下第三方集成服务的安装。三. 部署使用1. Ambari安装第三方服务1）下载代码 2）拷贝至Ambari的服务目录（这里采用2.6版本）：cp -r ./ELASTICSEARCH-6.4.x /var/lib/ambari-server/resources/stac...

2018-11-18 12:43:22 2347 10

原创从Elasticsearch详解Ambari与第三方软件的集成（二）

2018-11-18 12:42:46 2179

原创从Elasticsearch详解Ambari与第三方软件的集成（一）

一. 简单介绍1. 软件介绍1）Ambari（HDP）玩过大数据的人都知道，除了原生的apache hadoop，有两大hadoop厂商（现在已经合并了。。喜闻乐见。。。）：Hortonworks 和 Cloudera。Cloudera的hadoop产品相对来讲成熟度高，商业化程度高。而Hortonworks的hadoop产品种类更多，且开源度高，社区活跃。正是因为开源，才能自定义第三...

2018-11-18 12:42:20 1589 3

原创关于Mirantis OpenStack开源组件LMA工具链相关问题整理

简单介绍：LMA组件全称为Logging, Monitoring, and Alerting toolchain of Mirantis OpenStack，是服务于Mirantis OpenStack的一套监控运维组件。其通过collectd实现采集，通过elasticsearch-kibana实现日志分析，通过influxdb-grafana实现集群状态可视化，通过nagios实现告警信息...

2018-11-14 14:19:56 938

原创关于Harbor部署过程中存储路径修改的实践

安装Harbor安装的环境要求，具体步骤不再细说，过程很简单，详情请见官网文档：https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md 在默认的安装部署下，harbor的存储路径是/data/。在一般的实际部署中大概率有修改的需求，且官方文档在此并没有详细地说明。如下图所示，根据宿主机根...

2018-10-24 09:20:41 7398 8

转载如何制作Windows10 qcow2镜像

转载连接：https://www.cnblogs.com/guoxiangyue/p/9188316.html补充：1. CentOS7.2版本的virt-manager 不直接支持 Windows10 (不知道Windows8.1能否成功安装Windows10)。本人采用的是CentOS7.5版本进行的安装；2. Oracle VirtualBox实践没有成功，Vmware Work...

2018-10-16 21:14:00 6524

原创如何使用guestfish修改generic-cloud镜像

环境：1. CentOS 7.2系统虚拟机一台（物理机也可）；2. 待修改的镜像文件：CentOS-7-x86_64-GenericCloud-1511.qcow2 步骤：1. yum 安装所需组件：yum install libguestfs-tools guestfish -y 2. 修改qemu配置文件并重启libvert：vi /etc/libvir...

2018-10-14 18:12:51 1166

原创 GitLab 容器化 CI 流程填坑记（一）

本文以SpringBoot项目的部署构建为例，对基于GItLab的CI流程进行简要介绍。环境准备：1. 系统环境：操作系统：CentOS 7.2 1511GitLab：v11.1.4GitLab-runner：v11.2.0Docker：17.03.2 ce 2. 应用环境：应用框架：Spring boot v2.0.x项目构建管理：Maven v3....

2018-09-10 20:52:58 7371 1

原创 Mirantis OpenStack Fuel9.x 离线全自动脚本实现

前提条件：已成功安装Fuel9.0（以能成功登录web界面为准）此脚本整合了9.0和9.2两个Fuel版本对应的资源，将一键完成离线环境下：1. 常规设置（时区、语言、时间等）2. 9.0 ~ 9.2的升级（9.0无）3. bootstrap设置4. mirror设置5. 常用插件安装（以LMA为主的官方插件）6. 其它设置完成脚本后，将可直接于web界面进行...

2018-09-08 13:03:20 1245

原创 HDP 下 SPARK2 与 Phoenix 的整合

环境：操作系统：Centos7.2 1511Ambari：2.6.2.0HDP：2.6.5.0Spark：2.x (HDP)Phoenix：4.7.x (HDP) 条件：1. HBase 安装完成；2. Phoenix已经启用，ambari界面如下所示：3. Spark2 安装完成。配置方式：方式一1. 进入 Ambari Spark2...

2018-09-08 13:03:08 2112 3

原创踩坑记——Azkaban Hdfs Plugin 安装

本文详细记录了：centos7.2, cdh 5.12 环境下azkaban 3.20.0 Hdfs插件的安装过程。因为官网文档在此部分的说明极为简陋，且3.x的插件需要源码构建并且问题诸多，因此留下此篇文章助诸位过坑。官网文档：https://azkaban.github.io/azkaban/docs/latest/#hdfs-browser

2017-10-24 11:54:33 3176 1

原创基于centos7.2最小化环境, cdh manager 及 cdh 集群的部署过程常见问题整理

注：此篇文章主要面向对hadoop有一定了解的开发和运维人员，若是初次接触hadoop集群，具体安装过程请更多参考Ambari的安装部署教程：http://blog.csdn.net/balabalayi/article/details/64920537CDH Manager的部署与安装与Ambari的安装有极大的相似性，几乎就是“安装包和文件目录不一样”的区别过程简单阐述，具

2017-08-08 14:18:19 2588

原创 Hadoop建设工具Ambari的安装部署及完整使用（五）——Ambari使用之集群卸载

五.Ambari使用——卸载集群ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展（无法完全清除服务和主机）。因此本人通过实践，也整理了一份手动卸载脚本：注：因为此脚本只是根据作者实践以及其它网络资料整理而成，所以脚本内容一定不全（目前尚不清楚官方是否提供官方版本）。但是各位看官稍微了解ambari的安装目录结构即可进一步完善

2017-03-28 13:19:39 2933

原创 Hive/Phoenix + Druid + JdbcTemplate 在 Spring Boot 下的整合

一.POM依赖作者的hadoop集群环境为：HDFS,YARN,MapReduce2 : 2.7.3Hive : 1.2.1000HBase : 1.1.2注：phoenix版本依赖性较强，请注意不同发行版之间的差异（直接从集群服务器上获取jar包最为可靠） UTF-8 2.4.0.RELEASE 1.2.1 4.7 1.

2017-03-28 09:10:05 11229 2

原创 RabbitMQ-3.6.6的集群安装

一.下载并安装基础组件rabbitmq是基于erlang语言实现的，因此首先需要安装erlang环境。这里，我们直接采用yum安装：yum-y install erlang二.下载RabbitMQ-3.6.6并安装wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-serve

2017-03-22 19:37:57 1058

原创 Redis-3.2.8的集群安装部署

一.下载并安装基础组件yum -y install gcc automake autoconf libtool make jemalloc二.下载redis并解压安装wget http://download.redis.io/releases/redis-3.2.8.tar.gztar –zxvf redis-3.2.8.tar.gzcd redis-3.2.8mak

2017-03-22 19:18:39 2608

原创 Hadoop建设工具Ambari的安装部署及完整使用（四）——Ambari使用之集群建立

四.Ambari使用——建立集群1.登录并创建集群1) 以管理员登录ambari-server,用户名和密码默认为：admin/admin 2) 点击【Launch Install Wizard】开始安装集群 3) 给集群命名 4) 选择版本及对应的远程或本地仓库地址远程仓库设置：直接选择即可本地仓库设置：1.从官网下载HDP和HDP UTILS下载地址：http://docs.hortonwo

2017-03-22 15:57:15 2204 1

原创 Hadoop建设工具Ambari的安装部署及完整使用（三）——部署安装

三.部署安装1.安装Ambari-server在线安装1) 在hortonworks公共资源库，选择ambari仓库地址并下载wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo 2) 将ambari.repo文件拷贝

2017-03-22 15:56:39 1318

原创 Hadoop建设工具Ambari的安装部署及完整使用（二）——准备工作

二.准备工作关于linux环境创建，yum源配置等基础系统搭建过程就不在此赘述了。以下内容完全是基于centos7环境，root用户。 1.安装JAVA环境1) 下载jdk套件，此处作者使用的是：jdk1.8.0_111 （选择合适的稳定版本即可）oracle官方下载地址：http://www.oracle.com/technetwork/java/javase/down

2017-03-22 15:55:03 1099

原创 Hadoop建设工具Ambari的安装部署及完整使用（一）——介绍

一.Ambari介绍（请详见百度百科等链接）Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Ambari 跟 Hadoop 等开源软件一样，也是 Apache Softwar

2017-03-22 09:32:35 1543

BalaBalaYi的博客