5 王小雷-多面手

尚未进行身份认证

简单而真诚。专注大数据,机器学习,人工智能的多面手,对新兴的技术与知识充满了好奇与渴望!

等级
TA的排名 3k+

Caused by: java.lang.NoSuchMethodException: hello.Receiver.receiveMessage([B)

Causedby:java.lang.NoSuchMethodException:hello.Receiver.receiveMessage([B)SpringAMQ集成RabbitMQ,使用postman调试topic报错报错内容Causedby:org.springframework.amqp.rabbit.listener.exception.ListenerExe...

2019-10-17 16:52:07

Apache Flink:数据流编程模型

ApacheFlink:数据流编程模型|从入门到精通-第2期(每天一期新知识)Flink是最热门的实时计算引擎之一。在动手部署和编程之前,学习Flink的数据流编程模型,可以建立起核心概念的全局架构。方便局部概念深入学习。ApacheFlink:数据流编程模型▾点击播放视频教程▾https://www.bilibili.com/video/av66869896/Flin...

2019-09-07 10:20:12

初识Apache Flink - 数据流上的有状态计算

初识ApacheFlink-数据流上的有状态计算|做大数据实时(流)计算就应该学习Flink。初识Flinkhttps://www.bilibili.com/video/av66770569/点击播放视频|什么是Flink?ApacheFlink是一个框架和分布式处理引擎,用于在无边界和有边界数据流上进行有状态的计算。Flink能在所有常见集...

2019-09-06 10:50:15

数仓表概念

事实表:事务事实表(Transactionfacttable)周期快照表(Periodicsnapshotfacttable)累积快照表(Accumulatingsnapshotfacttable)维度表(Dimensiontable)...

2019-08-27 08:56:37

Pipeline大数据架构

1.Pipeline大数据架构(createby王小雷)Pipeline大数据架构,面向大数据仓库和大数据处理平台。是基于lambda的大数据架构的变种,增加了企业级服务,而并非只是大数据组件的对切,是一种更落地的方案。如同骨架之间使用软骨连接起来一样,是一个完整可执行的架构设计。形成Pipeline架构。Pipeline大数据架构由一个源、四个层(1+4)组成。2.数据源数据源...

2019-04-03 13:18:28

Hive之UDFs(User-Defined Functions )

1.Hive之UDFs(User-DefinedFunctions)1.1HiveUDFs(UserDefinedFunctions)可以在SQL处理比较繁琐或者无法胜任时,解决比较复杂数据处理手段。1.2Hive的功能函数有哪些?内置操作(UDO)内置功能(UDF)内置聚合功能(UDAF)内置的表-生成功能(UDTF)自定义UDFs(本次主要是讲解自定义UDF)...

2019-03-22 11:17:56

什么是rubick?如何从零构建大数据平台?

rubick(拉比克)1.简介拉比克是一个开源大数据平台构建方案,其已稳定应用于50台生产大数据集群。戳开源地址2.特点可从零构建分布式存储与分布式计算。融合apache大数据开源组件,特定的配置,如Hadoop、Hive、Hbase、zookeeper等,类CDH。支持不同开源组件的配置文件与配置方法,可以自由添加apache基金组件。3.拉比克支持的组件有cassand...

2019-02-12 17:05:51

星型模型与雪花模型比对(区别)

星型模型与雪花模型比对(区别)区别项星型模型雪花模型事实表一个或多个集中式维度表一级维度表多级维度表(子维度表)存储空间多少数据冗余度大小表宽度宽窄扩展性差好Join复杂度低高查询逻辑简单难查询性能高低可读性简单难OLAP建模工具优化度低高共同点非标准化设计无...

2019-02-12 16:15:25

什么是雪花模型

1.什么是雪花模型Snowflakeschema雪花模型是多维数据库中的表的逻辑排列方式,使得实体关系图类似于雪花形状。雪花模型由连接到多个维度的集中式事实表组成。“Snowflaking”是一种在星型模型中规范化维度表的方法。当它沿着所有维度表完全标准化时,结果结构类似于雪花,其中事实表位于中间。雪花背后的原理是通过删除低基数属性和形成单独的表来对维度表进行规范化。雪花模型类似于星型模...

2019-02-12 15:27:20

什么是星型模型

1.什么是星型模型?Starschema星型模型是最简单的数据集市模型,是最广泛用于开发数据仓库和维度数据集市的方法。星型模型由一个或多个引用任意数量的维度表的事实表组成。星型模型是雪花模型的一个重要特例,对于处理更简单的查询更有效。星型模型的名称来自物理模型与星形的相似之处,其中心有一个事实表,周围的维度表代表星的点。2.优点星型模型是非规范化的,这意味着应用于事务性关系数...

2019-02-12 15:18:36

本地idea开发mapreduce程序提交到远程hadoop集群执行

通过idea开发mapreduce程序并直接run,提交到远程hadoop集群执行mapreduce。简要流程:本地开发mapreduce程序–>设置yarn模式-->直接本地run–>远程集群执行mapreduce程序;完整的流程:本地开发mapreduce程序——>设置yarn模式——>初次编译产生jar文件——>增加job.setJar(&quo

2018-11-22 16:02:10

启动HBase2.1.0报错Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder

启动HBase2.1.0报错Causedby:java.lang.ClassNotFoundException:org.apache.htrace.SamplerBuilder1.问题描述2.解决1.问题描述hadoopHA3.1.0Hbase2.1.0启动报错Causedby:java.lang.ClassNotFoundException:org.apache.htr...

2018-10-09 09:16:40

Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6

问题:spark实时处理数据报错SparkStructuredStreamingkafka报错Causedby:com.fasterxml.jackson.databind.JsonMappingException:IncompatibleJacksonversion:2.9.6问题在于spark目前使用的Jackson是2.6+,而storm-kafka-cli...

2018-09-05 17:15:11

storm-core使用gradle打包找不到 ring-cores问题Could not find ring-cors:ring-cors:0.1.5.

问题storm-core使用gradle打包找不到ring-cors:ring-cors:0.1.5.FAILURE:Buildfailedwithanexception.Whatwentwrong:Couldnotresolveallfilesforconfiguration‘:compileClasspath’.Couldnotfind...

2018-08-30 23:00:36

14.4 Spark-SQL基于Cassandra数据分析编程实例

14.4Spark-SQL编程-PostgreSQL-Cassandra数据分析“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容:Spark对Canssandra数据库数据的处理,通过SparkSQL对结构化数据进行数据分析。创建Gradle项目,引入依赖创建SparkSession连接写入Cassandra数据库读取Cassandra数...

2018-07-15 22:39:39

14.3 Spark-SQL基于PostgreSQL数据分析编程实例

14.3Spark-SQL编程-PostgreSQL-Cassandra数据分析“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容:Spark对PostgreSQL数据源数据的处理,通过SparkSQL对结构化数据进行数据分析。创建Gradle项目,引入依赖创建连接读数据库写数据库完整源码Spark2PostgreSQL.java完...

2018-07-15 22:08:35

14.1 Apache Spark 简介快速入门

14.1ApacheSpark简介快速入门“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容:速度简单易用Spark架构到处运行多种数据源14.1.1速度百倍的运行速度。Spark使用先进的DAG调度系统,查询优化器与物理执行引擎,实现了批处理与流处理的高性能。14.1.2简单易用、支持开发语言丰富df=...

2018-07-15 22:03:00

12.6 Cassandra开启远程连接

12.6Cassandra开启远程连接“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容:Cassandra开启远程连接12.6.1修改Cassandra配置文件vimcassandra.yaml12.6.2修改如下内容star_rpc:truelisten_address:192.168.56.110rp...

2018-07-15 21:59:01

12.5 Cassandra安全配置--密码认证

12.5Cassandra安全配置–密码认证“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容:Cassandra密码模式配置12.5.1打开配置文件vimcassandra.yaml12.5.2修改如下内容authenticator:PasswordAuthenticator12.5.3重启Cassa...

2018-07-15 21:57:39

12.4 Cassandra数据模型

12.4Cassandra数据模型“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新没有JOIN操作Cassandra没有表的连接操作,跟关系型数据库设计相比最好的方式是,反(非)规范化设计,设计为两个表连接后的结果表。没有参照完整性(外键)虽然表中可以存储别的表的ID,但是没有级联删除的操作,所以没有外键操作。非规范化的设计在Cassandra数据库...

2018-07-08 17:08:05

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。