- 博客(76)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 trino与ranger集成
集成trino配置 将编译后的ranger-trino插件包拷贝到Trino的coordinator节点，然后解压。 修改install.properties文件： # ranger admin urlPOLICY_MGR_URL=http://nn23.fff.com:6080/REPOSITORY_NAME=trinodev# 审计日志根据需要# trino 安装目录COMPONENT_INSTALL_DIR_NAME=/apps/trino-server-378X
2022-05-12 10:37:48
2645
1
原创 Trino与LDAP集成
生成证书新建openssl.cnf文件，使用subjectAltName生成带有IP的自签名证书：[req]distinguished_name = req_distinguished_namereq_extensions = v3_req[req_distinguished_name]countryName = CNcountryName_default = CNstateOrProvinceName = ZheJiangstateOrProvinceName_default
2022-05-12 10:31:06
1015
原创 Kerberos常用命令
进入kerberos 控制台kadmin.local添加用户，生成实例add_principal, addprinc, ankaddprinc -randkey [email protected]为各实例生成密钥xst -k xxxx.keytab [email protected]或kadmin.local -q "xst -k xxxx.keytab xxxx@xxx...
2019-03-26 09:49:31
14390
原创 Kerberos安装以及使用ambari开启HDP集群Kerberos认证
文章目录环境准备安装KDC MASTER安装KDC SLAVER安装客户端：使用ambari环境准备安装jdk下载Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy File。解压下载后的zip包，将得到的jar包放到所有服务器上的$JAVA_HOME/jre/lib/security/目录下。安装KD...
2019-03-26 09:43:07
5568
3
原创 Yarn Connecting to ResourceManager
18/04/27 09:09:58 INFO RMProxy: Connecting to ResourceManager at cn-bji-p-dmp02/10.86.210.12:805018/04/27 09:09:59 INFO Client: Retrying connect to server: cn-bji-p-dmp02/10.86.210.12:8050. Already t...
2018-04-27 10:03:48
2383
原创 HIVE load数据时 User null does not belong to hadoop
在HUE中新建了一个用户，使用hive editor load数据，或者oozie流程中load数据时报以下错误INFO : Loading data to table test.test01 from hdfs://gdmp/user/gdmp/test_data.loERROR : Failed with exception org.apache.hadoop.security.A...
2018-04-26 11:16:37
3659
翻译 07 配置优化
carbon.sort.intermediate.files.limitData loading 在加载数据期间，使用本地temp来对数据进行排序。 此数字指定必须启动合并排序之后的最小中间文件数。 增加参数到一个更高的值将提高负载性能。 例如，当我们将数值从20增加到100时，它将数据负载性能从35MB / S提高到超过50MB / S。 在加载过程中，此参数值越高，内存消耗越多。carb
2018-02-02 11:35:12
295
翻译 06 分区
创建HASH分区表CREATE TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type , ...)] PARTITIONED BY (partition_col_name data_type) STORED BY 'carbondata' [TBLPROPERTIES
2018-02-02 11:33:07
229
翻译 05 数据压缩
压缩可显着提高查询性能。 在加载数据期间，几个CarbonData文件会被生成，这是因为数据只在每次加载（每个load segment和一个B+ tree 索引）时被排序。频繁的load数据会导致carbon的存储目录生成很多影响查询性能的分散的CarbonData小文件，CarbonData提供了压缩load数据的措施。 压缩过程通过对来自各个分段的数据进行合并排序，将多个分段合并为一个大分段。有
2018-02-02 11:32:37
422
翻译 04 Load Data
将文件Load到CARBONDATA表此命令用于将csv文件加载到carbondata，对于数据加载过程，OPTIONS不是强制性的。 OPTIONS内部用户可以根据需要提供任何选项，如DELIMITER，QUOTECHAR，FILEHEADER，ESCAPECHAR，MULTILINE。carbondata在load数据时。默认必须csv格式，而且必须有header和表中的列对应。 但是可以在l
2018-02-02 11:32:08
859
翻译 03-附 建表时调优和建议
索引调优主要利用这两个属性， SORT-COLUMNS 和 SORT-SCOPE。SORT-COLUMNS 就是把使用最常用的过滤列放入里面，比如 C1 和 C2，假设 C1、C2 是最常用的，因索引有顺序，在业务设计的时候需要将最常用的过滤条件识别出来，按照顺序放入 COLUMNS 选项里面。这对常用的过滤条件有着较高效率。第二个是 SORT-SCOPE，我建议大家在默认情况下使用 LOCAL-S
2018-02-02 11:31:00
247
翻译 03 CarbonData的数据管理（建表）
建表字典编码配置Table Block Size配置Inverted Index配置排序列配置Sort Columns Configuration排序范围配置 Sort Scope Configuration管理表SHOW TABLEALTER TALBEDROP TABLE加载数据将数据文件加载到CARBONDATA表INSERT DATA INTO CARBONDATA
2018-02-02 11:30:11
3655
翻译 02 corborn 配置
系统配置本节提供了CarbonData系统所需的所有配置的详细信息。carbon.properties中的系统配置 Property Default Value Description carbon.storelocation /user/hive/warehouse/carbon.store CarbonData将创建存储的位置，并以自己的格式写入数据。 注意：存储位置应该在
2018-02-02 11:29:13
452
原创 01 安装测试carbondata
下载carbondata源码https://github.com/apache/carbondata/tree/master编译所需环境： 1. linux 2. jdk1.7或者1.8 3. maven 3.3+ 4. thrift 0.93thrift安装：http://blog.csdn.net/qq910894904/article/details/411327
2018-02-02 11:20:12
1250
原创 kafka 1.0 中文文档（十）：kafka streaming
1运行demo1准备输入的主题并启动Kafka生产者2启动Wordcount应用程序3处理一些数据4停止应用程序2流处理程序编程指南建立一个Maven项目编写第二个Streams应用程序Line Split编写第三个Streams应用程序Wordcount9.1运行demoKafka Streams是用于构建关键任务实时应用程序和微服务的客户端库，输入和（或）输出数据存储在Kafk
2018-01-22 18:04:09
1090
原创 kafka 1.0 中文文档（九）：操作
1基本的Kafka操作添加和删除主题修改主题平滑关闭leadership 平衡通过机架平衡副本集群间的数据镜像检查消费者位置管理消费者组集群扩展自动迁移数据到新机器上自定义分区分配和迁移退役经纪人 Decommissioning brokers增加复制因子限制数据迁移过程中的带宽使用ZooKeeperLog configurationOther configura
2018-01-22 18:03:32
1061
原创 kafka 1.0 中文文档（八）：实现
1网络层2消息3消息格式31 Record Batch311 Control Batches32 Record4 日志写读删除保证5分布式消费者偏移量跟踪把offset从ZooKeeper迁移到KafkaZooKeeper目录NotationBroker Node Registry代理节点注册Broker Topic RegistryConsumers an
2018-01-22 18:02:48
1276
原创 KAFKA 1.0 文档（七）：设计
设计1动机2持久化不要害怕文件系统恒定的时间复杂度3效率端到端的批量压缩4生产者负载均衡异步发送5消费者推送 vs 拉取消费位置离线数据加载6消息传递语义7 复本复制日志法定人数ISR和状态机不纯洁的leader选举如果所有副本都失效了怎么办可用性和持久性副本管理8日志压缩日志压缩基础日志压缩提供了什么保证日志压缩细节Configuring The L
2017-12-25 14:10:41
851
原创 KAFKA 1.0 文档（六）：消费者配置
新的消费者配置 Name Description 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers这个列表格式：host1:port1,host2:po
2017-12-20 14:05:38
2751
原创 KAFKA 1.0 文档（五）：生产者配置
从0.11.0.0开始生产者配置block.on.buffer.full，metadata.fetch.timeout.ms和timeout.ms已被删除。 以下是Java生产者的配置： name description default import bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载
2017-12-20 13:54:33
1799
原创 kafka 1.0 中文文档(四)--主题级别配置(Topic-Level Configs)
Kafka topic级别的配置参数。首先是可以在配置文件中设置全局性的topic配置参数，其次是可以在创建topic时使用 –confi设置一个或多个自定义的配置。自定义的配置项优先级别会高于全局配置。 这是在创建一个topic时自定义了最大的消息字节数和消息持久化参数： > bin/kafka-topics.sh –zookeeper localhost:2181 –create
2017-12-20 10:16:14
5665
原创 kafka 1.0 中文文档（三）--Broker的配置
3.1 Broker Configs基本配置如下： 1. broker.id 2. log.dirs 3. zookeeper.connect下面将更详细地讨论主题级别的配置和默认设置。 名称 描述 类型 默认 重要性 zookeeper.connect Zookeeper 主机地址 string high adverti
2017-12-20 10:12:55
6592
原创 kafka 1.0 中文文档（二） -- APIS
1 Producer API2 Consumer API3 Streams API4 Connect API5 AdminClient API6传统的APIkafka包括五个核心apis： 1. Producer API允许应用程序将数据流发送到Kafka集群中的主题。 2. Consumer API允许应用程序从Kafka集群中的主题读取数据流。 3. Streams AP
2017-12-18 16:53:21
3552
原创 KAFKA 1.0 文档（一）：快速入门
1简介主题和日志分布式生产者消费者保证kafka作为消息系统卡夫卡作为存储系统kafka作为数据流处理整合2 使用案例消息处理Metrics度量日志收集流处理事件溯源Event Sourcing提交日志Commit Log3 快速开始Step 1 下载代码Step 2 启动服务Step 3 创建一个主题Step 4 发送消息Step 5 启动消费者Ste
2017-12-18 16:47:41
2249
原创 NIFI 系统属性 System Properties之ZooKeeper Properties
ZooKeeper属性NiFi依靠Apache ZooKeeper来确定集群中的哪个节点应该扮演主节点的角色，哪个节点扮演集群协调器的角色。 必须配置这些属性才能使NiFi加入群集。 Property Description nifi.zookeeper.connect.string 连接到Apache ZooKeeper所需的连接字符串。 这是一个逗号分隔的hostname:port
2017-12-18 14:56:40
718
原创 NIFI 系统属性 System Properties之Cluster Properties
集群通用属性设置NiFi集群时，应在所有节点上以相同的方式配置这些属性。 Property Description nifi.cluster.protocol.heartbeat.interval 节点应该向集群协调器发出心跳的时间间隔。 默认值是5秒。 nifi.cluster.protocol.is.secure 这表示集群通信是否需要安全严证。 默认值是false。集群
2017-12-18 14:56:17
389
原创 NIFI 系统属性 System Properties之Web Properties
Property Description nifi.web.war.directory web war包的目录. The default value is ./lib. nifi.web.http.host web 主机名称。默认空 nifi.web.http.port web端口 8080. nifi.web.http.port.forwarding 将传入的HT
2017-12-18 14:51:23
609
原创 NIFI 系统属性 System Properties之Provenance Repository来源库
来源库 Provenance Repository来源库包含有关数据来源的信息。 接下来的四个部分是Provenance Repository属性。 nifi.provenance.repository.implementation Provenance Repository实现。缺省值是org.apache.nifi.provenance.PersistentProvenanceReposit
2017-12-18 14:47:43
828
原创 NIFI 系统属性 System Properties之FlowFile存储库和内容库
FlowFile存储库FlowFile存储库会跟踪系统中每个FlowFile的属性和当前状态。 默认情况下，该存储库与其他所有存储库安装在同一根安装目录中; 但是，如果可能的话，建议在单独的驱动器上进行配置。 Property Description nifi.flowfile.repository.implementation FlowFile 存储库实现。 缺省值是org.apac
2017-12-18 14:45:09
2830
原创 NIFI 系统属性 System Properties之Core Properties
Core Propertiesnifi.properties文件的第一部分是核心属性。 这些属性作为一个整体适用于核心框架。 Property Description nifi.flow.configuration.file* 流程配置文件的位置（即包含当前显示在NiFi图表上的内容的文件）。 默认值是./conf/flow.xml.gz。 nifi.flow.configurat
2017-12-18 14:43:30
983
原创 NIFI配置 Bootstrap Properties & Notification Services
Bootstrap Propertiesconf目录下的bootstrap.conf文件允许用户配置NiFi应该如何启动的设置。 这包括参数，例如Java堆的大小，运行的Java命令以及Java系统属性。只有在NiFi停止并重新启动之后，对此文件的任何更改才会生效。 Property Description java 指定要运行的完全限定的java命令。 默认情况下，它只是java，但
2017-12-18 14:42:13
1122
原创 maven编译时java.lang.ArrayIndexOutOfBoundsException
java.lang.ArrayIndexOutOfBoundsException: 9480 at org.codehaus.plexus.util.xml.pull.MXParser.parsePI(MXParser.java:2502).....见https://issues.apache.org/jira/browse/MNG-6216升级到apache ma
2017-12-18 14:26:41
4996
5
原创 NIFI 集群状态管理State Management
状态管理NiFi为Processors, Reporting Tasks, Controller Services以及框架本身提供了一种持久化状态的机制。 这允许一个处理器，例如，在NiFi重新启动之后，从它离开的地方恢复。 此外，它允许处理器存储一些信息，以便处理器可以从集群中的所有不同节点访问该信息。 这允许一个节点获取另一个节点离开的位置，或者在集群中的所有节点之间进行协调。Configuri
2017-12-14 17:08:17
1126
原创 NIFI 集群配置 Clustering Configuration
NiFi采用了Zero-Master聚类模式。集群中的每个节点都对数据执行相同的任务，但是每个节点都使用不同的数据集。其中一个节点会自动选择（通过Apache ZooKeeper）作为集群协调器。然后集群中的所有节点将向此节点发送心跳/状态信息,并且此节点负责断开一段时间内没有心跳的节点。另外，当新节点选择加入集群时，新节点必须首先连接到当前选择的集群协调器，以获得最新的流。如果集群协调器确定允许节
2017-12-14 16:59:52
3567
1
原创 NIFI术语
DataFlow Manager DataFlow Manager（DFM）是一个NiFi用户，具有添加，移除和修改NiFi数据流组件的权限。FlowFile FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成：FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有Flo
2017-12-14 16:52:25
1801
原创 NIFI概览
Apache NiFi是一个易用、强大、可靠的数据处理与分发系统。 它支持数据路由，转换等。 NiFi提供web界面，用于设计，控制，反馈和监视数据流。 它有很强的可配置性，如容错与保证交付，低延迟与高吞吐量以及基于优先级的队列。 NiFi为接收到的所有数据提供细粒度的，fork，join，修改，发送，并在达到配置的最终状态时丢弃。简单的说，nifi就是为了自动化系统之间的数据流而建立的。数据流这里
2017-12-14 16:48:36
1596
原创 [centos]使用tarball升级Cloudera Manager 5.13
本文适用使用tar包安装cloudera manager的情况。step 1收集升级信息step 2完成安装前步骤step 3升级JDKstep 4为Cloudera Manager创建和使用package存储库step 5升级Cloudera Navigator数据管理组件step6升级Cloudera Manager服务器和代理第7步验证并测试升级第8步升级Cloudera导航器组
2017-12-14 16:35:39
424
原创 [centos] 使用package升级cloudera manager 5.13
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-14 16:29:52
1162
转载 物化视图日志表被DROP后建立物化视图报错
物化视图尤其是快速刷新的物化视图，依赖于物化视图日志表，所以物化视图日志表被删除后报错是很正常的，不过如果物化视图日志表是直接被DROP，则错误信息比较有意思。 直接看例子：SQL> create table t (id number primary key, name varchar2(30));表已创建。SQL> create materialized view lo
2014-08-29 11:16:31
937
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人