3 叁木-Neil

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1w+

Hue权限管理

Hue权限管理Hue的用户权限体系是: 每个用户属于一个或多个组, 每个组可以配置其Hue页面访问权限及Hive/Solr/HDFS数据访问权限, 数据的访问权限由角色定义, 而用户组和角色之间是多对多关系Hue使用Sentry进行权限管理之后, 要求登录Hue的用户及其组需要在Sentry Server节点(以正式环境为例, 即gs01节点)Linux系统中存在对应的用户和组, 否则无法进行权限控制.目前已经在Hue创建了一个hdfs用户组(拥有最高权限), 包含用户admin及hdfs, 两者在g

2020-10-09 11:16:52

Hive表权限

Hive表权限hive一、赋角色权限–创建和删除角色create role role_name;drop role role_name;–展示所有rolesshow roles–赋予角色权限grant select on database db_name to role role_name;grant select on [table] t_name to role role_name;–查看角色权限show grant role role_name on database db_n

2020-10-09 11:13:27

Yarn权限

一、yarn漏洞1、黑客注入脚本,以hadoop-yarn用户疯狂提交2、署名用户为yarn的进程疯狂占用CPU,整个集群CPU跑慢处理:1、先收回\tmp目录的执行权限(为解燃眉之急,这一步是最快的,可以快速让环境恢复正常的)2、对yarn提交任务进行最小权限控制,用户权限控制3、运维安全管理,端口号管理(8088这个端口特别关照)4、查看yarn用户的crontab,如下:清理掉它5、清理ssh里的可疑文件,和known hosts二、yarn权限管理yarn的权限管理分为三个

2020-09-04 10:39:21

HDFS权限

HDFS权限一、HDFS权限简介Hdfs的权限管理分为2大部分:第一部分类似于Linux的基本权限管理,也就是粗粒度将管理对象分为user、group和other三类去进行权限的管理。第二部分是ACL方式的权限管理,也是更加细粒度的权限管理,可以精确控制到某个user与某个group具有的对应权限上。注:hadoop2.4.0版本开始支持hdfs的ACL二、HDFS 基本权限管理2.1 初始目录权限当我们创建文件或者目录的时候可以指定权限,没有指定的话就会使用默认的权限。文件默认权限:

2020-09-04 10:34:13

Liunx权限(Centos7)

Liunx权限(Centos7)一、概述liunx是一个多用户、多任务的服务器操作系统,所以其提供了严格的权限管理机制,主要是从用户身份和文件权限两个方面对资源进行了限制。Linux基于用户身份对资源访问进行控制。1.1 用户身份1)用户账号的类别划分:超级用户:root,最高的权限用户普通用户:自定义用户、匿名用户类程序用户:控制程序和服务的,无法登陆2)组账号的类别划分:基本组(私有组):伴随着用户创建而创建与用户同名,但创建一个用户的时候必有其组附加组(公有组):直接创建空组

2020-09-04 10:26:58

Streamsets性能优化

一、Streamsets性能1.1 查看Streamsets 性能点击菜单栏Administrator—SDC Metrics图片:主要是CPU和堆内存的占用情况,当占用很高打开的时候会出现显示延迟的现象。二、相关优化2.1 优化堆内存因为StreamSets使用的配置为java虚拟机分配的1G堆内存,上线时建议根据自己的需求去更改对应的内存大小,修改{$STREAMSETS_HOME}/libexec/sdc-env.sh文件,对应修改内容:export SDC_JAVA_OPTS="-

2020-07-30 10:59:16

Streamsets组件详解

Streamsets优化详解一、Origin类组件详解二、Processor类组件详解三、Destination类组件详解四、Executor类组件使用详解一、Origin类组件详解Amazon S3Amazon SQS ConsumerAzure Data Lake Storage Gen1Azure Data Lake Storage Gen2Azure IoT/Event Hub ConsumerCoAP ServerCron Scheduler // 任务调度组件,用于调度数据流D

2020-08-01 09:41:03

Streamsets之CDH安装

Streamsets之CDH安装一、环境介绍二、下载StreamSets安装包2.1 下载地址2.2 下载内容一、环境介绍组件CDHStreamsets版本5.14.43.12.0所以之后的教程都会以这两个版本去介绍,使用CDH去管理Streamsets二、下载StreamSets安装包2.1 下载地址https://archives.streamsets.com/index.html2.2 下载内容下载如图所框的四个内容!1)上传下载内容manifest.

2020-08-01 09:42:14

Streamsets简介

一、是什么?由Informatica前首席产品官Girish Pancha和Cloudera前开发团队负责人Arvind Prabhakar于2014年创立的公司,总部设在旧金山。streamsets产品做大数据ETL工具,支持包括结构化和半/非结构化数据源,拖拽式的可视化数据流程设计界面...

2020-08-01 09:42:50

idea常用插件及代码注释

插件名称 插件介绍 官网地址 Alibaba Java Coding Guidelines 阿里巴巴代码规范检查插件 https://plugins.jetbrains.com/plugin/10046-alibaba-java-coding-guidelines Key promoter 快捷键提示插件 https://p...

2020-07-06 22:31:33

hue上workflow之shell-sqoop脚本配置实录

workflow之shell-sqoop脚本实录前面讲解了sqoop的密码明文问题解决与sqoop导入分库分表mysql数据问题解决,那么这里就详细介绍下在hue上配置shell-sqoop脚本时所遇到的问题!这里的shell脚本会以上篇的脚本为例!一、配置hue的workflow二、所遇问题2.1 不能加载mysql驱动报错如下:ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could

2020-05-31 14:42:21

mysql分库分表数据导入hive之sqoop-shell脚本

sqoop分库分表shell导入脚本之前的生产集群使用到了mysql的分库分表,所以抽取同一张表的数据就需要从不同的库与表中进行抽取了!话不多说线上图分库:分表:一、sqoop导入脚本#!/bin/bash#coding=UTF-8sqoop=/data/cloudera/parcels/CDH-5.14.4-1.cdh5.14.4.p0.3/bin/sqoop$sqoop import \-Dhadoop.security.credential.provider.path=jce

2020-05-31 14:37:32

sqoop密码明文问题解决

sqoop密码明文问题解决今天优化数仓sqoop导入导出时的密码明文问题!参考博客:https://blog.csdn.net/u011489205/article/details/78966716这里会详细跟大家图文介绍第四种 --password-alias的方式,话不多说开gao!!!一、简介Hadoop2.6.0 之后的版本提供了一个API用于将密码存储和应用程序分离。这个API被称为凭证提供的API,并提供了一个新的命令行工具来管理密码及其别名。密码及其别名一起被存储在密码保护的密钥库中。

2020-05-26 21:39:08

什么你还不会Flink的CEP,那你需要好好看看这篇文章

Flink之CEP详解一、是什么维基百科对CEP的定义为:“CEP是一种事件处理模式,它从若干源中获取事件,并侦测复杂环境的事件或模式,CEP的目的是确认一些有意义的事件(比如某种威胁或某种机会),并尽快对其作出响应”。总结一下也就是CEP是一个事件处理模式,当某项检测需要在多源且复杂的事件流中进行处理,并需要低延迟、秒级或毫秒级的响应时,我们就可以考虑用到它。市场上有多种CEP的解决方案,例如Spark、Samza、Beam等,但他们都没有提供专门的library支持。但是Flink提供了专门的CEP

2020-05-18 18:49:34

Flink之末自定义udf与Sink定义

一、实现UDF函数——更细粒度的控制流1.1 函数类(Function Classes)Flink暴露了所有udf函数的接口(实现方式为接口或者抽象类)。例如MapFunction, FilterFunction, ProcessFunction等等。下面例子实现了FilterFunction接口:class FilterFilter extends FilterFunction[String] { override def filter(value: String): Boolean

2020-05-14 18:39:59

Flink攻略宝典

Flink教程目录做了很久的实时流开发,但是从来没有系统的去做一个技术总结,所以已此篇为起点将逐步写一些关于Flink相关的教程一、Flink介绍1.1 Flink简介二、Flink的运行架构2.1 Flink运行组件2.2 Flink任务提交2.3 Flink调度原理2.4 其他架构相关知识点三、算子篇四、Flink Window API五、Flink中的时间语义和Wate...

2020-05-13 22:12:23

再忙也需要看的Flink状态管理

Flink状态管理上几篇我们讲完了Flink窗口的相关内容,那么问题来了,我们如果在一个开窗的流处理上做求和操作,突然处理凉了,怎么办呢?那我们需要去重新计算吗?所以接下来也就需要去介绍我们的Flink状态管理了。一、 简介流式计算其实分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收温度读数,并在温度超过90度时发出警告。有状态的计算则会基于多个事件输出结果。那么究竟哪些是有状态的呢?如下:所有类型的窗口。例如,计算过去一小时的

2020-05-13 22:11:22

全网最详细Flink之Watermark机制

一、Flink之Watermark在上一篇文章中我们介绍了窗口相关的内容,那么问题来了,假如我们实时处理蒸漂亮同学的行为,结果蒸漂亮恰好网络异常,本来我们窗口设置的5秒一算,而她刚才的行为恰巧属于上一个5秒窗口A计算的,但是网络异常后使得她的这次行为数据进入了到了下一个5秒B中计算。那么我们的计算是不是就存在了问题!!所以这时我们就需要去了解下咱们的Watermark了,当然为了理解的更清晰会再举例介绍!1.1 基本概念之是什么推迟窗口触发的时间,实现方式:通过当前窗口中最大的eventTime-延迟

2020-05-13 21:59:26

你不得不知的Flink窗口

一、Windows详解如果你真的头铁看了上一篇的算子二,那么没有问题,看完这篇你应该会更加清晰的理解窗口,如果没看也没问题,我会适当的引入部分内容,但看完这篇后还是请打开算子二的窗口章节再去细品下相关算子!1.1 图解关系1.2 窗口操作类型分类对于窗口的操作分为两种,一种是keyedstrem,另一种是DataStream;他们的主要区别也仅仅在于建立窗口的时候一个为.window(…),一个为.windowAll(…)。经过keyBy的数据流将形成多组数据,下游算子的多个实例可以并行计算。而对

2020-05-13 21:59:06

Flink万物之中Transform算子二

Flink万物之中Transform算子二2.1 图解关系2.2 开启窗口window与windowAllWindow()经过keyBy的数据流将形成多组数据,下游算子的多个实例可以并行计算。windowAll()不对数据流进行分组,所有数据将发送到下游算子单个实例上。// Keyed Windowstream.keyBy() <- 按照一个Key进行分组.window() <- 将数据流中的元素分配到相应的窗口中// N

2020-05-12 19:06:52

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)
  • 分享小兵
    分享小兵
    成功上传3个资源即可获取