自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

咕噜咕噜大数据

⭐公众号:咕噜咕噜大数据 ⭐大数据开发学习;CDH、CDP、华为FusionInsight HD发行版使用学习;大数据问题解决记录与分享

  • 博客(12)
  • 资源 (3)
  • 收藏
  • 关注

原创 《Kerberos权威指南》中文精读系列:第3章. 协议

Kerberos权威指南第3章. 协议Needham-Schroeder协议Kerberos 5世界上最短的ASN.1教程身份验证服务器(AS)和票据授予服务器(TGS)新的加密选项票据选项预身份验证(Pre-Authentication)其他协议特性和扩展String-to-Key转换密码修改密钥版本号(The Key Version Number)一些与Kerberos有关联的协议的简称通用安全服务API(Generic Security Services API,简称GSSAPI)简单且受保护的GSS

2020-08-11 11:06:59 989

原创 快速获得CDH/CDP/华为FusionInsight HD包含的组件的版本号的方法

在使用商业发行版的过程中,由于需要确认某个特性是否被当前的版本支持,或者是在和其他的同事进行疑难问题交流时,经常会出现需要确定某个组件(比如HBase、Kafka)的版本号的情况。因此这里介绍一下快速获得CDH、CDP以及 FusionInsight HD包含的组件的版本号的方法。CDH检查当前使用的CDH版本1、登录Cloudera Manager2、在界面右上角,点击“支持”,在下拉菜单中,点击“关于”,查看CDH版本信息:方法1(推荐):在CDH的官方帮助文档中获得信息3-A、..

2020-06-07 18:28:01 2080

原创 《Kerberos权威指南》中文精读系列:第2章 - 拼图碎片

Kerberos权威指南第2章. 拼图碎片三个A身份验证授权审计目录(Directories)隐私性和完整性加密消息完整性Kerberos术语和概念领域(Realms)、主体(Principals)和实例(Instances)服务和主机主体Kerberos 5主体密钥、盐(Salts)和密码密钥分发中心身份验证服务器票据授予服务器票据(Tickets)票据(或凭证)缓存把碎片拼在一起第2章. 拼图碎片在前一章中,我们研究了Kerberos网络身份验证系统背后的思想和历史。现在我们将开始了解Kerber

2020-06-07 11:47:08 714

原创 《Kerberos权威指南》中文精读系列:第1章 - 概述

自己的一点说明:《Kerberos: The Definitive Guide(Kerberos权威指南)》一书,由O’Reilly出版社于2003年9月5日出版。距今已经过去了17年的时间。查看这本书在外网的评论,非常有意思,在这本书出版的头几年中(2010年之前)的评论数量,反而是少于2010年后的评论数的。曾经Kerberos对于大部分的开发人员来说都是不必关心的东西,很多人甚至都不知道这个东西的存在,通常只有服务器的运维管理人员在配置Active Directory之类的东西时才会接触到;但是随着

2020-06-06 21:21:34 1573

原创 多次修改CDH集群关联的Kerberos域后,Spark无法正常获得短名称映射的问题排查

环境CDH 6.3.1Oracle JDK 1.8.0_181已开启Kerberos症状表现该集群曾经更换了关联的Kerberos域名称,由XY.COM.CN改为了XY.COM。现在又重新进行了更换,由XY.COM重新改为了XY.COM.CN。 修改完成后,集群重启,Cloudera Manager(以下简称CM)显示一切正常。 但是在使用Spark的过程中,发现在非Kerberos服务端的节点,执行spark的命令行工具(包括spark-shell、spark-submit等),就

2020-05-31 11:46:25 724 1

原创 操作HBase Shell时退格键不好用?也许你应该看看这篇文章!

文章目录问题原因解决方法MobaXtermXShellSecureCRT总结hbase shell作为HBase的主要命令行工具,在平常的开发中是非常常用的。但是有些时候,我们不小心输入错误命令,想进行删除时,却发现没有办法像平常一样顺畅的删除字符。 常见的问题情况有如下两种:①按backspace键,并没有预期中的进行删除和光标的移动。此时只能按下←或者→方向键移动光标,然后再按下backspace键进行删除。②按backspace键,并没有预期中的进行删除和光标的移动。此时按下方向键也没有任

2020-05-30 10:46:12 842 1

翻译 为具有10亿文件系统对象的HDFS启用联邦(Federation)

原文:https://tech.ebayinc.com/engineering/enabling-hdfs-federation-having-1b-file-system-objects作者:Ruchir Shah翻译:咕噜咕噜大数据为具有10亿文件系统对象的HDFS启用联邦Federation问题描述NameNode联邦视图文件系统选择命名空间联邦成果NameNode堆内存使用情况NameNode元数据大小每次循环的GC时间平均操作时间FS Image大小学习附录在这篇博文中,我们将讨论如何.

2020-05-30 09:15:01 461

原创 国产开源建模软件PDMan与国外商业建模软件ERwin的主要功能比较

文章目录主题划分与实体的组织支持的视图关系图功能域功能建模符号模型版本控制导出功能正向引擎逆向引擎查找和替换其他常用功能总结在数据库建模的过程中,我们经常会使用到ERwin或者Power Designer之类的建模软件,来构建我们的逻辑模型和物理模型。但是这类软件都属于商业软件,需要企业购买相应的许可证授权。有些时候,我们会在没有购买这类商业建模软件的环境下工作,这时我们可以采用免费的建模软件来进行相关工作。在这里推荐一款国产的开源数据建模软件,PDMan。对比其他国外的开源建模软件,功能比较齐全,界面

2020-05-28 23:27:26 2319

原创 Hive在SQL标准权限模式下创建UDF失败的问题排查

环境:CDH 5.16Hive 1.1.0已开启KerberosHive 授权使用SQL StandardsBased Authorization模式(以下简称SSBA模式)症状表现:在编译好UDF的jar包之后,上传到HDFS目录。hdfs dfs -mkdir /udfhdfs dfs -put -f my_udf.jar /udf以管理员用户hive,进入beeline客户端。切换到管理员角色,执行:set role admin;提示成功切换角色后,执行创建自定义函数

2020-05-27 07:10:24 6731

原创 一次“奇怪”的Sqoop导入报Zookeeper ConnectionException异常的分析

环境:CDH 6.3.0已开启KerberosJava 版本: 1.8.0_181症状表现:在普通用户edwuser下,在一台CDH客户端节点机器上,执行以下sqoop import命令,将MYSQL数据导入HBASE中:sqoop import \--connectjdbc:mysql://db01:3306/test?characterEncoding=UTF-8 \--username root \--password mysql \--table cust_info \--h

2020-05-26 19:45:43 471

原创 CDH用户及开发者应当关注的CDP组件变化

目录CDP、CDH、HDP中都包含的部分CDH中存在,CDP还在准备中的部分CDP、CDH中都包含的部分HDP中存在,CDP还在准备中的部分CDP、HDP中都包含的部分CDP全新加入的部分在Cloudera和Hortonworks合并后,Cloudera公司推出了新一代的数据平台产品CDP Data Center(以下简称为CDP),在2019年11月30日已经正式GA。CDP的版本号延续了之前CDH的版本号,从7.0开始,目前最新的版本号为7.0.3.0。那么CDP对比之前的Cloudera Ent

2020-05-23 18:13:01 1796 2

原创 启用Kerberos后,Windows上浏览器访问CDH页面的那些事

前言在对Hadoop集群施加安全认证的过程中,往往会有需要开启对应服务组件Web UI认证的需求。在启用认证后,如果直接使用浏览器打开Web UI页面,都会提示需要进行认证。大部分情况下,都会用到下面几个步骤,来在Windows上打开需要认证的Web UI:安装Firefox浏览器安装MIT Kerberos Windows客户端配置krb5.ini文件配置Firefox的高级选项:...

2020-04-03 01:02:55 1661 2

华为 FusionInsight HD V100R002C80SPC200 单机版安装指导.docx

华为 FusionInsight HD V100R002C80SPC200 单机版安装指导。FusionInsight HD V100R002C80SPC200 支持在一台服务器上安装FusionInsight集群。用户可以利用单机版进行产品体验、应用对接等测试活动。 注意:本文档只做技术探讨,非商用支持文档,单机版不提供商用支持服务。

2020-05-23

Kerberos权威指南 Kerberos The Definitive Guide

Kerberos权威指南 ,Kerberos The Definitive Guide。Single sign-on is the holy grail of network administration, and Kerberos is the only game in town. Microsoft, by integrating Kerberos into Active Directory in Windows 2000 and 2003, has extended the large or small. Kerberos makes your network more secure and more convenient for users by providing a single authentication system that works across the entire network. One username; one password; one login is all you need. Fortunately, help for administrators is on the way. This guide shows you how to implement Kerberos for secure authentication. In addition to covering the basic principles behind cryptographic authentication, it covers everything from basic installation to advanced topics like cross-realm authentication, defending against attacks on Kerberos, and troubleshooting. In addition to covering Microsoft's Active Directory implementation, Kerberos: The Definitive Guide covers both major implementations of Kerberos for Unix and Linux: MIT and Heimdal. It shows you how to set up Mac OS X as a Kerberos client. The book also covers both versions of the Kerberos protocol that are still in use: Kerberos 4 (now obsolete) and Kerberos 5, paying special attention to the integration between the different protocols, and between Unix and Windows implementations.

2020-05-23

HCNP-Big Data-Developer教材

华为大数据开发者 HCNP-Big Data-Developer HCNP Big Data Developer 教材

2020-05-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除