2 豆比米大

尚未进行身份认证

暂无相关简介

等级
TA的排名 35w+

Apache Flume

Apache Flume介绍架构Flume环境搭建配置文件结构快速入门启动Avro SourceMaven依赖代码Avro Source | memory channel| Kafka SinkFlume和log4j整合依赖log4j.properties测试代码Spring Boot logback整合 FlumeSpringBoot项目组引入logback.xml集成 Flume +log...

2019-11-07 09:09:13

Hadoop生态圈-Hive

HiveHive引言Hive的运行原理Hive环境搭建Hive基本操作MetaStore的替换问题Hive引言什么是Hive hive是facebook开源,并捐献给了apache组织,作为apache组织的顶级项目。 hive.apache.org hive是一个基于大数据技术的数据仓库技术 DataWareHouse (数仓) 数据库 DataBas...

2019-08-20 09:21:21

Hadoop生态圈-HBase

HBaseHbase的引言什么是HBaseNoSQL特点NoSQL分类Hbase存储的逻辑结构Hbase伪分布式环境的搭建Hbase的shell命令HBase 集群搭建1.时间同步集群2.Hadoop集群搭建3. Zookeeper集群4. HBase集群HBase JAVA APIMaven依赖方法HBase中的过滤器HBase中列簇相关的属性HBase 体系结构1.RegionServer2....

2019-10-29 19:53:18

Spark 写入带有Kerberos认证的HBase在Yarn-Cluster模式下运行报错

先粘出来报错信息javax.security.sasl.SaslException: GSS initiate failed [Caused by GSSException: No valid credentials provided (Mechanism level: Failed to find any Kerberos tgt)] at com.sun.security.sasl.gss...

2019-09-27 10:36:00

Spark SQL 读取 Hive表中数据 在Cluster模式下找不到库

在Spark On Hive使用SparkSQL读取hive表中的数据,local和client模式下测试都可以通过,但在yarn的cluster模式下测试抛出了如下异常:org.apache.spark.sql.catalyst.analysis.NoSuchDatabaseException: Database ‘test’ not found;最后找出原因:把spark的任务jar放到y...

2019-08-29 17:09:16

Kafka消息队列

Kafka 基础篇消息队列的概念使用消息队列的场景分析异步消息发送:系统间解耦合Kafka 架构Kafka集群安装准备工作安装Zookeeper集群确保Kafka集群的正常运行Kafka安装步骤启动服务测试Topic 和 日志生产者消费者Topic管理篇(DDL)创建TocpicTopic详细信息删除TopicTopic列表Kafka API实战(JDK1.8+)快速入门Maven依赖引入log4...

2019-07-24 19:44:02

Storm 运行jar出错:org.apache.storm.thrift.TApplicationException: getLeader failed: unknownre result

编写完storm的java代码准备在集群环境运行测试,结果报错:起初以为是代码的错误,结果检查半天也没错误后来去UIServer看集群状态,发现有节点宕掉了。最后:重启机群,重新执行storm jar storm-lowlevel-1.0-SNAPSHOT.jar com.msk.demo01.WordCountTopolpgy错误解决如果重启集群出错,先检查zookeeper集群...

2019-06-17 20:33:11

大数据学习(3)-Hadoop 高可用HA-HDFS分布式集群搭建及使用

HDFS分布式集群搭建【高级版】HDFS集群要保证NameNode的高可用性,为了让NameNode更安全,这里选择用ZooKeeper集群来保证环境及准备zookeeper集群的搭建HA-HDFS分布式集群搭建HDFS集群要保证NameNode的高可用性,为了让NameNode更安全,这里选择用ZooKeeper集群来保证环境及准备同上篇普通版zookeeper集群的搭建下载并解压z...

2019-06-05 21:46:10

大数据学习(2)-本地上传到HDFS去重

本地上传文件到HDFS利用Redis去重前言:HDFS存储数据块的同时还会存储数据的MD5加密校验和用来判断该数据是否完整下面代码就是模仿这个特性做了一个小功能进行上传时内容去重技术选型springbootRedisHadoopJSPMavenpom.xml<?xml version="1.0" encoding="UTF-8"?><project x...

2019-06-05 21:01:28

大数据学习(1)-Hadoop HDFS基础分布式集群搭建及使用

HDFS分布式集群搭建【基础版】环境:以CentOS6.5为例(3个节点)准备配置文件修改NameNode格式化启动|停止hadoop【在NameNode节点运行】shell访问HDFS浏览器访问HDFC环境:以CentOS6.5为例(3个节点)防火墙关闭并关闭自启selinux设置关闭设置主机名设置主机映射 jdk1.7ssh免密登陆hadoop-2.5.2准备解压hado...

2019-06-05 20:36:33

Android Studio MainActivity中的R为红色

           在Gradle Scripts下gradle.properties里面加入android.enableAapt2=false位置如图。

2018-04-10 14:10:26
勋章 我的勋章
  • 新人勋章
    新人勋章
    用户发布第一条Blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。