- 博客(24)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 Nifi配置HTTP请求
主要利用ReplaceText和InvokeHTTP，针对某一个业务数据处理服务，去获取数据或者发送数据。本实例是通过HTTP接口获取数据，最后写入Clickhouse。截取部分流程如下：
2021-07-15 16:15:40
1785
1
原创 ARM下编译zookeeper_exporter和clickhouse_exporter
最近项目在用Prometheus+Grafana搭建监控平台，主要用来监控hadoop生态，使用官方jmx_prometheus_javaagent发现很多参数获取不到，最后使用hadoop_exporter和zookeeper_exporter，zookeeper_exporter项目地址：https://github.com/carlpett/zookeeper_exporter，文件是x86的，在ARM下使用必须编译：一、配置代理#使用如下git config --global http.
2021-01-19 14:58:33
857
1
原创 ARM下编译Clickhouse-v20.3.19.4-lts
1. 编译前准备工作1.1 编译环境版本Linux WEB-002 4.4.131-20190726.kylin.server-generic #kylin SMP Tue Jul 30 16:44:09 CST 2019 aarch64 aarch64 aarch64 GNU/LinuxClickhouse v20.3.19.4-ltscmake-3.18.4LLVM 10.0.1 （Clang 10.0.1）gcc-9.2.0gmp-6.1.0isl-0.18m...
2020-11-30 19:51:31
1097
1
原创 Nifi集成ldap之后如何使用Remote Process Group组件
1、Nifi安装略，见安装手册2、Nifi配置1、修改nifi.propertiesnifi@NIFI-001:~/nifi-1.11.4-bin$ vim conf/nifi.properties# 各节点Site2Site协议接口配置nifi.remote.input.host=10.54.35.170nifi.remote.input.socket.port=10443# web ui配置。http.port留空，启用httpsnifi.web.http.port=
2020-11-25 11:35:18
598
原创 Nifi单机安装并集成ldap配置
1. 准备软件安装包nifi-1.11.4-bin.zip2. 解压安装unzipnifi-1.11.4-bin.zip3. Nifi配置3.1 修改bootstrap.confnifi@NIFI-001:~$ cd ~/nifi-1.11.4-binnifi@NIFI-001:~/nifi-1.11.4-bin$ vim conf/bootstrap.conf修改如下配置：# JVM memory settingsjava.arg.2=-Xms10240m.
2020-11-25 11:09:56
1226
原创 ARM下编译HDP 3.1.5-Hadoop 3.1.1
1.环境信息项目 说明 服务器 FT-2000+服务器 CPU Phytium,FT2000PLUS 操作系统 Kylin 4.0.2 内核 4.4.131-20190726.kylin.server-generic 2.配置编译环境2.1安装基本库apt-get install wget patch automake libtool make cmake git gcc openssl libssl-dev ...
2020-08-03 14:53:29
2845
5
原创 元数据管理atlas导入hive和hbase元数据以及生成血缘
本文主要讲解导入hive和hbase元数据遇到的坑，以及hive生成列血缘遇到的问题和解决方式。Atlas版本0.8.4Hive版本1.2.1HBase版本1.3.11.安装和集成略 服务名称 子服务 HDP-001 HDP-002 HDP-003 HDP-004 HDP-005 HDP-006 HDP-
2020-06-21 20:29:09
4835
1
原创 ubuntu安装mysql登录报错ERROR 1698 (28000)
最近在用ansible安装mysql，安装完成之后用空密码登录报错：mysql -uroot -pEnter password:ERROR 1698 (28000): Access denied for user 'root'@'localhost'原因是由于在ubuntu上通过apt-get安装mysql时，MySQL默认使用了UNIX auth_socket plugin插件。下面使用sudo mysql -u root登录，查看root用户在使用auth_socket插件：gw
2020-06-10 10:49:02
640
原创 nifi新节点加入集群操作
原有三个节点组成的Nifi集群，其中一个节点损坏，待修复完成之后，新节点要加入到现有集群中，主要修改的配置文件有：conf/bootstrap.confconf/zookeeper.propertiesconf/state-management.xmlconf/nifi.propertiesconf/authorizers.xmlconf/login-identity-providers.xml还需要重新生成密钥文件：./tls-toolkit.sh standalone -
2020-06-08 12:13:55
1193
原创 phoinex版本升级回滚导致hbase regionserver启动故障，Failed open of region=XXX
现有hbase1.3集群集成了phoenix 4.14.1版本，在nifi的PutSql执行upsert into xxx select xxx from xxx时，等待很久之后返回报错，数据写不进，后用命令行sqlline.py执行也是如此：Error: ERROR 730 (LIM02): MutationState size is bigger than maximum allowed number of bytes (state=LIM02,code=730)尝试解决，按照网上的方法修改如.
2020-05-28 16:58:33
1522
转载 Apache NiFi用户指南
Apache NiFi用户指南介绍Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由，转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计，控制，反馈和监控数据流。它在服务质量的几个方面具有高度可配置性，例如容错与保证交付，低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收，分叉，加入克隆，修改，发送和最终在达到其配置的最终状态时丢弃的数据提供细粒度数据来源。...
2020-05-18 09:53:39
1214
原创 解决hive1.2.1不支持update更新操作
在pk环境下部署了一套原生hadoop环境，hive版本1.2.1，开发在用代码对hive表做update操作时报错：Caused by: org.apache.hadoop.hive.ql.parse.SemanticException: Attempt to do update or delete using transaction manager that does not suppor...
2020-04-30 16:29:26
3276
原创 记一次Elasticsearch连接慢的故障
昨天上午接到研发通知，告知Elasticsearch连接不上，ES集群为1主3从，登录主节点查看进程在，9200端口已无监听，查看最后的日志为：[2020-04-27T09:59:48,063][ERROR][i.n.u.c.D.rejectedExecution] [ES-001] Failed to submit a listener notification task. Event lo...
2020-04-28 11:27:23
4721
原创 CDH安装kerberos后无法启动各组件的解决办法
起因：cm库被误删，导致cm打不开，将历史备份的cm库恢复后，cm管理界面能启动，但是各组件状态不正常（显示红色告警，都是停止状态，实际是启动状态）。解决：1、CMS启动报错，将/var/lib/cloudera-host-monitor，/var/lib/cloudera-service-monitor，/var/lib/cloudera-scm-eventserver删除，重启CMS成功。...
2019-12-16 21:24:16
1393
原创 spark程序跨集群操作的一点思路
现有2个集群如下：1、hdp，使用hive和yarn，有kerberos认证2、cdh，使用kafka和phoenix，无kerberos认证spark程序部署在hdp客户端机器。场景1：spark streaming程序yarn client模式读取cdh kafka数据写入hdp hive，经测试在hdp客户端主机跑local模式可行，跑yarn client模式报错，org....
2019-11-20 21:12:45
1051
原创 nifi-hive to oracle
最近在项目中需要用nifi抽取hive数据到oracle中，hive是配置了kerberos认证的，使用SelectHiveQL处理器，配置如下：另外需要配置这2个控制服务：最后在写数据到oracle中，采用putsql处理大数据量的时候会很慢，后决定采用PutDatabaseRecord，配置如下：附上完整的流程：...
2019-06-26 11:14:05
941
2
原创 nifi-oracle to kafka(new api)
最近在项目中对接华为FusionInsight的kafka_0.11版本，对方是用kafka新api，在使用nifi发送数据时，就不能使用putkafka这个处理器了，改用Publishkafka_0_11，配置如下：附上完整的流程：...
2019-06-26 11:05:13
550
翻译 Apache NiFi入门（翻译官网）
目录谁是本指南？ 本指南中使用的术语 下载和安装NiFi 启动NiFi 对于Windows用户 适用于Linux / Mac OS X用户 作为服务安装 我开始使用NiFi。怎么办？ 添加处理器 配置处理器 连接处理器 启动和停止处理器 获取处理器的更多信息 其他组件 什么处理器可用 数据转换 路由和调解 数据库访问 属性提取 ...
2019-06-26 10:12:29
1724
原创 sparkstreaming使用keberos认证写hbase
最近在项目实施过程中，使用hdp和cdh集群时，hbase配置了kerberos认证之后，通过sparkstreaming程序连接操作hbase时，会出以如下错误：1、ERROR ipc.AbstractRpcClient: SASL authentication failed. The most likely cause is missing or invalid crede...
2019-05-10 11:53:23
968
原创 Python爱好者社区，从零开始系列连载作业
1、设计一个使用分支语句判断登陆密码是否是：'lezi真帅'，输入正确则根据用户是男或者女打印：'多谢夸奖，你也很帅'/'多谢夸奖，你很美腻'，输入错密码则打印：'提示信息，lezi真帅'gender=input('请输入你的性别（男或女）：')pwd=input('请输入你的密码：')if pwd=='lizi真帅': if gender=='男': print...
2019-04-24 11:06:03
360
原创 kafka有台broker挂机之后长时间没重启，导致重启报错
2019-04-23 17:22:42,423 WARN kafka.controller.KafkaController: [Controller 782]: Partition [hjw_test8,6] failed to complete preferred replica leader election. Leader is 2012019-04-23 17:22:42,423 ERR...
2019-04-23 20:48:14
5920
原创 CDH集群启用kerberos之后配置Kafka-manager
由于集群启用了kerberos，kafka-manager需做相应的配置才能使用。Kafka-manager安装详见其它文档。没有启用则不需要配置。1、修改application.confvim conf/application.conf2、修改consumer.propertiesvim conf/consumer.propertiessecurity.proto...
2019-04-10 15:41:28
827
原创 elasticsearch6.1.3启动报错，seccomp unavailable
安装完es6.1.3之后，启动报错如下：[2019-04-10T09:49:57,963][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not co...
2019-04-10 09:53:12
936
原创 CDH5.10.2升级到CDH5.15.0常见的2个错误，Oozie和Hive Metastore
1、在CDH从5.10.2升级到5.15.0之后，oozie警告”Oozie Server 内部版本 (4.1.0-cdh5.15.0) 与 Oozie Server 共享库版本 (4.1.0-cdh5.10.2) 不匹配“此时需要重新安装一下oozie的共享库，完成即可2、Hive的Hive Metastore Server服务启动报错，NestedThrowablesStac...
2019-04-09 15:37:25
429
元数据管理Atlas预研_v0.1.docx
2020-06-21
CDH5.15启用kerberos+Sentry手册_v1.0.docx
2020-04-10
nagios监控网卡流量插件
2013-05-17
nagios监控cpu使用率插件
2013-05-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人