• 等级
  • 968638 访问
  • 314 原创
  • 25 转发
  • 2225 排名
  • 146 评论
  • 232 获赞

CDH5.14.4离线安装Spark2.1详细步骤

目录一、简介:二、安装准备三、开始安装一、简介:在我的CDH5.14.4集群中,默认安装的spark是1.6版本,这里需要将其升级为spark2.x版本。经查阅官方文档,发现spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。这里做一下安装spark2.1版本的步骤记录。二、安装准备csd包:http...

2019-03-19 11:48:22

CDH5.14.4之HDFS-Hbase-Yarn的高可用配置

需求:CDH5.14.4需要将HDFS、Hbase、Yarn做一个高可用设置HDFS高可用配置前提:在搭建cdh的时候是有一个secondNameNode角色,而在做HDFS的HA机制的时候会删除这个角色。同时需要JournalNode角色。步鄹如下:HDFS高可用结果如下:Hbase高可用配置Hbase高可用如下:Yarn高可用配置...

2019-03-18 16:09:11

CDH邮件报警配置(亲测)

clouderamanager提供邮箱警告功能,方便管理员在集群出现问题的第一时间维护集群。具体操作如下:1.登录clouderamanager页面,进入clouderamanagerservice服务2.点击配置,在搜索框中写入alert:3.邮箱服务器密码的获取方法:这里很重要:进入发件人的qq邮箱,用户-账户-smtp开启-服务码,具体方法可以问度娘,这里不详述。将授权...

2019-03-07 14:32:06

sqoop入门教程

目录一、Sqoop概述    1、简介    2、Sqoop架构原理   &nb

2019-01-22 20:45:01

tmpwatch安装和使用

目录一、需求二、安装和使用三、常用命令一、需求CDH上面时长报警,日志路径也更改过。后来发现是/tmp文件很大,之后安装了tmpwatch软件定期清洗。二、安装和使用yum-yinstalltmpwatch验证:cat/etc/cron.daily/tmpwatch[root@hadoop11~]#cat/etc/cron.daily/tmpwatch#!...

2019-01-11 16:09:38

通过python连接hive

需求:通过Anaconda3.6.7连接hive查询步鄹:下载pyhivecondainstallpyhive查询脚本frompyhiveimporthiveconn=hive.Connection(host="IP",port=10000,username="hive")cursor=conn.cursor()c

2018-12-27 17:59:09

idea+springboot+freemarker热部署(亲测)

需求:最近要做前端事情,使用了idea+springboot+freemarker,每次修改freemarker都要重新启动,网络找了一些方法,加上自己的一些方法完成了。本人用的是idea2018.1的版本步鄹第一步:在maven中加入devtools的依赖(这里我使用的是maven来管理项目)<!--freemarker热启动--><...

2018-12-17 14:18:12

Linux:参数传递

Shell参数传递默认方式#!/usr/bin/envbash:<<EOFShell参数传递EOF#--------------------------------------------#$# 传递到脚本的参数个数#$* 以一个单字符串显示所有向脚本传递的参数。#如"$*"用「"」括起来的情况、以"$1$2…$n"的形式输...

2018-12-11 14:49:13

SpringBootMVC的增删改查以及Jsp页面展示

目录1、demo结构2、Springboot项目修改html后不需要重启1、demo结构Demo下载地址:demo整体结构前台页面新增页面编辑页面删除页面2、Springboot项目修改html后不需要重启1)spring-boot-devtools在pom中直接引入依赖<dependency>&a

2018-11-22 23:39:40

spring boot+mybatis整合

目录一、整体结构图二、Springboot搭建三、整合Mybatis(自动生成工具)1、集成druid,使用连接池2、自动生成工具依赖和插件3、最终的pom.xml文件:4、在application.yml中添加数据源、Mybatis的实体和配置文件位置。5、自动生成代码配置文件。6、建立数据库和表7、生产Dao层和entity类8、建立controller层类9、建立s...

2018-11-12 17:35:45

SSH无密钥配置和配置公钥后仍需要输入密码的解决方案

目录1、ssh免密登陆的配置方法两种2、仍需要密码登陆问题解决1、ssh免密登陆的配置方法两种1、ssh-keygen-trsa在客户端生成密钥对把公钥拷贝给要登录的目标主机,目标主机上将这个公钥加入到授权列表catid_rsa.pub>>authorized_keys目标主机还要将这个授权列表文件权限修改为600chmod600authorized_k...

2018-11-02 15:25:49

CDH5.14 Impala的静态资源和动态资源设置

目录1、静态资源和动态资源说明2、静态资源设置3、使用准入控制4、设置每个查询的内存限制5、创建动态资源池6、关于放置规则7、设置资源池上的权限控制1、静态资源和动态资源说明官网https://www.cloudera.com/documentation/enterprise/5-14-x/topics/impala_howto_rm.html名称说明...

2018-10-30 21:24:57

(新东方)背单词,记住这200个词根词缀就够了(我自用)

帮助记忆前缀:a.b.c.d.e–>2.3.2.3.5kfn各一个–>外键i有6个-->cpui6处理器m有5个,MD5op有5个–>opper手机5rst有6个–>结果6个,uvw有6个–>vw各一个...

2018-10-26 09:34:17

CDH中Notebook的一些问题解决

目录:1、重要事项说明2、Notebook的配置3、livy的配置4、livy的版本问题5、spark的版本问题6、页面展示7、参考文章1、重要事项说明1、cdh5.14默认的python版本为2.6.6,一定要升级到2.7,方法如下:https://blog.csdn.net/silentwolfyh/article/details/828397132、livy的liv...

2018-10-25 17:24:01

记忆宫殿--清华一日游

52张牌的记忆方法方块梅花红桃黑桃方块1——一个相框梅花1——枫叶红桃1——一个桃子黑桃1——一一本厚黑学书方块2——兔子耳朵梅花2——奶茶妹妹红桃2——红孩儿黑桃2——黑天鹅方块3——方伞梅花3——马景涛红桃3——红伞黑桃3——黑伞方块4——方丝巾梅花4——没有的刺猬红桃4——西红柿黑桃4——黑丝袜方块5——老虎挂着牌子...

2018-10-24 14:24:25

phoenix视图-phoneix查询原生态Hbase的表

标准的SQL视图语法现在在Phoenix上也支持了。这使得能在同一张底层HBase物理表上创建多个虚拟表。hbase(main)>create't1',{NAME=>'f1',VERSIONS=>2}hbase(main)>put't1','rowkey001','f1:col1','value01'hbase(main)>put'...

2018-10-17 09:28:55

MYSQL主键存在则更新,不存在则插入

需求:MYSQL主键存在则更新,不存在则插入packagecom.utils;importjava.sql.Connection;importjava.sql.DriverManager;importjava.sql.PreparedStatement;/****需求:MYSQL主键存在则更新,不存在则插入**解决:*1、主键为:PRIMARYK...

2018-10-15 11:24:41

Flink-分布式运行环境

转载请标明出处:https://blog.csdn.net/silentwolfyh目录:1、任务和操作链2、job管理,Task管理,客户端3、任务槽和资源4、后端状态5、保存点1、任务和操作链    对于分布式执行,Flink将操作子任务链接到一起,形成任务。每个任务由一个线程执行。将链接操作符放入任务中是一个有用的最优化:...

2018-09-27 16:03:16

Flink-数据流编程模型

目录:1、抽象等级2、程序和数据流3、并行数据流4、窗口5、时间6、状态操作7、容错检查点8、批处理流1、抽象等级    Flink提供了不同级别的抽象来开发流/

2018-09-27 12:45:16

将python 2.6.6 升级到 2.7.10以及安装setuptools和pip

查看python的版本#python-VPython2.6.61.下载Python-2.7.10https://www.python.org/ftp/python/wgethttps://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz根据官方资源,可以下载最新版本2.解压tar-zxvfPython-2.7.10.t...

2018-09-25 15:13:21

博客专家

silentwolfyh

学习是一种享受,也是一种痛苦,更是一种回忆!!!
关注
  • 计算机硬件·网络设备/开发组长/高级工程师/技术专家
  • 北京 昌平区
奖章
  • 博客专家
  • 专栏达人
  • 持之以恒
  • 1024勋章