- 博客(181)
- 资源 (12)
- 收藏
- 关注
RSS订阅原创 免费为域名生成证书
目的后台需要https或者前端需要https访问。需要有域名证书，介绍如何生成https证书。域名任意前缀都支持。本例子使用certbot签发letsencrypt证书，让spring boot后端使用。达到后端https的目的。资料https://letsencrypt.org/https://certbot.eff.org/lets-encrypt/ubuntubionic-nginx1.安装certbotsudo apt-get updatesudo apt-get install .
2020-05-15 14:18:29
2253
原创 2.antlr4开发
2.antlr4开发antlr4.7.21.通过MyHelloVisitor实现HelloVisitorpackage wang.xiaolei.lei;import org.antlr.v4.runtime.tree.ErrorNode;import org.antlr.v4.runtime.tree.ParseTree;import org.antlr.v4.runtime.tr...
2019-12-12 15:50:21
1157
1
原创 1.ANTLR4 helloworld基础开发与IDEA插件使用
antlr4 helloworld基础开发与IDEA插件使用无需antlr4任何安装，基于IDEA创建一个Java项目，开发antlr的helloworld，使用antlr插件测试规则。输入hello后，才算匹配，然后显示world内容。1.基于gradle或者maven创建一个Java工程gradle内容如下plugins { id 'java'}group 'wang....
2019-12-11 16:18:23
1703
2
原创 Caused by: java.lang.NoSuchMethodException: hello.Receiver.receiveMessage([B)
Caused by: java.lang.NoSuchMethodException: hello.Receiver.receiveMessage([B)Spring AMQ 集成 RabbitMQ，使用postman调试topic报错报错内容Caused by: org.springframework.amqp.rabbit.listener.exception.ListenerExe...
2019-10-17 16:56:12
1408
原创 Apache Flink：数据流编程模型
Apache Flink：数据流编程模型| 从入门到精通 - 第 2 期（每天一期新知识）Flink是最热门的实时计算引擎之一。在动手部署和编程之前，学习Flink的数据流编程模型，可以建立起核心概念的全局架构。方便局部概念深入学习。Apache Flink：数据流编程模型▾点击播放视频教程▾https://www.bilibili.com/video/av66869896/Flin...
2019-09-07 10:35:05
888
原创 初识Apache Flink - 数据流上的有状态计算
初识Apache Flink - 数据流上的有状态计算 | 做大数据实时（流）计算就应该学习Flink。 初识Flink https://www.bilibili.com/video/av66770569/点击播放视频 | 什么是Flink?Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集...
2019-09-06 11:01:32
586
原创 数仓表概念
事实表：事务事实表（Transaction fact table）周期快照表（Periodic snapshot fact table）累积快照表（Accumulating snapshot fact table）维度表 （Dimension table）...
2019-08-27 08:56:37
766
原创 Pipeline大数据架构
1.Pipeline大数据架构（create by 王小雷）Pipeline大数据架构，面向大数据仓库和大数据处理平台。是基于lambda的大数据架构的变种，增加了企业级服务，而并非只是大数据组件的对切，是一种更落地的方案。如同骨架之间使用软骨连接起来一样，是一个完整可执行的架构设计。形成Pipeline架构。Pipeline大数据架构由一个源、四个层（1+4）组成。2.数据源数据源...
2019-04-03 13:18:28
4094
原创 Hive之UDFs(User-Defined Functions )
1.Hive之UDFs(User-Defined Functions )1.1 Hive UDFs (User Defined Functions) 可以在SQL处理比较繁琐或者无法胜任时，解决比较复杂数据处理手段。1.2 Hive的功能函数有哪些？内置操作(UDO)内置功能(UDF)内置聚合功能(UDAF)内置的表-生成功能（UDTF）自定义UDFs(本次主要是讲解自定义UDF)...
2019-03-22 11:17:56
1666
原创 什么是rubick？如何从零构建大数据平台？
rubick（拉比克）1.简介拉比克是一个开源大数据平台构建方案，其已稳定应用于50台生产大数据集群。戳开源地址2.特点可从零构建分布式存储与分布式计算。融合apache大数据开源组件，特定的配置，如Hadoop、Hive、Hbase、zookeeper等，类CDH。支持不同开源组件的配置文件与配置方法，可以自由添加apache基金组件。3.拉比克支持的组件有cassand...
2019-02-12 17:05:51
1329
1
原创 星型模型与雪花模型比对（区别）
星型模型与雪花模型比对（区别）区别项星型模型雪花模型事实表一个或多个集中式维度表一级维度表多级维度表（子维度表）存储空间多少数据冗余度大小表宽度宽窄扩展性差好Join复杂度低高查询逻辑简单难查询性能高低可读性简单难OLAP建模工具优化度低高共同点非标准化设计无...
2019-02-12 16:15:25
5010
原创 什么是雪花模型
1.什么是雪花模型 Snowflake schema雪花模型是多维数据库中的表的逻辑排列方式，使得实体关系图类似于雪花形状。雪花模型由连接到多个维度的集中式事实表组成。“Snowflaking”是一种在星型模型中规范化维度表的方法。 当它沿着所有维度表完全标准化时，结果结构类似于雪花，其中事实表位于中间。雪花背后的原理是通过删除低基数属性和形成单独的表来对维度表进行规范化。雪花模型类似于星型模...
2019-02-12 15:27:20
10208
原创 什么是星型模型
1.什么是星型模型？ Star schema星型模型是最简单的数据集市模型，是最广泛用于开发数据仓库和维度数据集市的方法。星型模型由一个或多个引用任意数量的维度表的事实表组成。 星型模型是雪花模型的一个重要特例，对于处理更简单的查询更有效。星型模型的名称来自物理模型与星形的相似之处，其中心有一个事实表，周围的维度表代表星的点。2.优点星型模型是非规范化的 ，这意味着应用于事务性关系数...
2019-02-12 15:18:36
9449
1
原创 本地idea开发mapreduce程序提交到远程hadoop集群执行
通过idea开发mapreduce程序并直接run，提交到远程hadoop集群执行mapreduce。简要流程：本地开发mapreduce程序–>设置yarn 模式 --> 直接本地run–>远程集群执行mapreduce程序；完整的流程：本地开发mapreduce程序——> 设置yarn模式——>初次编译产生jar文件——>增加 job.setJar(&quo
2018-11-22 16:02:10
4508
2
原创 启动HBase2.1.0报错Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder
启动HBase2.1.0报错Caused by: java.lang.ClassNotFoundException: org.apache.htrace.SamplerBuilder1.问题描述2.解决1.问题描述hadoop HA 3.1.0Hbase 2.1.0启动报错Caused by: java.lang.ClassNotFoundException: org.apache.htr...
2018-10-09 09:16:40
5083
原创 Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6
问题：spark实时处理数据报错 Spark Structured Streaming kafka 报错 Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6问题在于spark目前使用的Jackson是2.6+，而storm-kafka-cli...
2018-09-05 17:15:11
9503
1
原创 storm-core使用gradle打包找不到 ring-cores问题Could not find ring-cors:ring-cors:0.1.5.
问题storm-core使用gradle打包找不到ring-cors:ring-cors:0.1.5.FAILURE: Build failed with an exception.What went wrong: Could not resolve all files for configuration ‘:compileClasspath’. Could not find ...
2018-08-30 23:00:36
1988
原创 14.4 Spark-SQL基于Cassandra数据分析编程实例
14.4 Spark-SQL编程-PostgreSQL-Cassandra数据分析“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：Spark对Canssandra数据库数据的处理，通过Spark SQL对结构化数据进行数据分析。创建Gradle项目，引入依赖创建Spark Session连接写入Cassandra数据库读取Cassandra数...
2018-07-15 22:39:39
3059
原创 14.3 Spark-SQL基于PostgreSQL数据分析编程实例
14.3 Spark-SQL编程-PostgreSQL-Cassandra数据分析“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：Spark对PostgreSQL数据源数据的处理，通过Spark SQL对结构化数据进行数据分析。创建Gradle项目，引入依赖创建连接读数据库写数据库完整源码Spark2PostgreSQL.java完...
2018-07-15 22:08:35
1622
原创 14.1 Apache Spark 简介快速入门
14.1 Apache Spark 简介快速入门“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：速度简单易用Spark架构到处运行多种数据源14.1.1 速度百倍的运行速度。Spark使用先进的DAG调度系统，查询优化器与物理执行引擎，实现了批处理与流处理的高性能。14.1.2 简单易用、支持开发语言丰富df = ...
2018-07-15 22:03:00
692
原创 12.6 Cassandra开启远程连接
12.6 Cassandra开启远程连接“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：Cassandra开启远程连接12.6.1 修改Cassandra配置文件vim cassandra.yaml12.6.2 修改如下内容star_rpc: truelisten_address: 192.168.56.110rp...
2018-07-15 21:59:01
4842
原创 12.5 Cassandra安全配置--密码认证
12.5 Cassandra安全配置–密码认证“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：Cassandra密码模式配置12.5.1 打开配置文件vim cassandra.yaml12.5.2 修改如下内容authenticator: PasswordAuthenticator12.5.3 重启Cassa...
2018-07-15 21:57:39
2418
原创 12.4 Cassandra数据模型
12.4 Cassandra数据模型“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新没有JOIN操作Cassandra没有表的连接操作，跟关系型数据库设计相比最好的方式是,反（非）规范化设计，设计为两个表连接后的结果表。没有参照完整性（外键） 虽然表中可以存储别的表的ID，但是没有级联删除的操作，所以没有外键操作。非规范化的设计在Cassandra数据库...
2018-07-08 17:08:05
457
原创 12.3 Cassandra数据定义
12.3 Cassandra数据定义“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：数据定义12.3.1 Cassandra Query Language (CQL)CQL是Cassandra提供的接近SQL的模型，因为数据包含在行列的表中，CQL中的表，行，列的定义与SQL是相同的。12.3.2 启动cqlshcqlsh...
2018-07-08 17:05:16
554
原创 12.2 Cassandra安装
12.2 Cassandra安装“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：安装Canssandra下载、解压、移动Cassandrawget https://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/3.11.2/apache-cassandra-3.11.2-bin.tar.g...
2018-07-08 16:59:17
505
原创 7.2 Sqoop2示例数据从PostgreSQL导入到HDFS
7.2 Sqoop2示例数据从PostgreSQL导入到HDFS“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：创建源数据PostgresSQL表与目标数据文件设置Sqoop2 server创建HDFS link，jdbc link创建job，执行job7.3.1 开启Hadoop集群sbin/start-dfs.shsbin/s...
2018-07-08 16:57:30
2591
4
原创 7.2 Sqoop2安装
7.2 Sqoop2安装“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：Sqoop2环境变量设置Sqoop2配置文件修改Sqoop2数据库初始化与验证开启Sqoop2关闭Sqoop2在此之前已经部署好Hadoop（伪分布式或者完全分布式），并设置了Hadoop环境变量（参考第二章 Linux）。7.2.1 Sqoop环境变量设置...
2018-07-08 16:51:15
378
原创 4.2 ApacheAvro编程Java示例
4.2ApacheAvro编程Java示例“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：创建Gradle项目、创建Avro模式使用Avro命令行工具生成Java代码不使用Avro命令行工具生成Java代码4.2.1 创建Gradle项目、创建Avro模式 Github源码创建Gradle项目 添加Avro依赖compile gr...
2018-07-08 16:47:05
1130
原创 4.1 数据存储格式
4.1 数据存储格式“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新Avro是一个序列化系统。特点：支持丰富的数据结构紧凑、快速的二进制数据格式持久化存储的容器文件远程过程调用（RPC）动态语言的简单集成下载 https://mirrors.tuna.tsinghua.edu.cn/apache/avro/avro-1.8.2/java/avro...
2018-07-08 16:43:33
547
原创 2.5 Linux(Ubuntu18.04)安装数据库PostgreSQL
2.5 Linux(Ubuntu18.04)安装数据库PostgreSQL“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：创建一台database虚拟机（本章称为服务器）安装PostgreSQL2.5.1 创建Database服务器Ubuntu18.04serverHostname为databaseUsername为busuanzi静...
2018-07-08 16:41:08
1564
原创 2.4 Hadoop伪分布式快速部署
Hadoop伪分布式快速部署“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：依赖安装、免密登录安装Java伪分布式——Hadoop MapReduce配置配置Hadoop环境变量伪分布式——Hadoop MapReduce开启伪分布式——YARN配置伪分布式——YARN开启Hadoop 开启历史查看服务Hadoop 停止伪分布式集群命令...
2018-07-08 16:32:49
539
原创 2.2Virtualbox高级应用构建本地大数据集群服务器
2.2 Virtualbox高级应用构建本地大数据集群服务器“卜算子·大数据”一个开源、成体系的大数据学习教程。——每周日更新本节主要内容：创建4台虚拟机（本章中称虚拟机亦称服务器）分别命名为(busuanzi.org,master,worker1,worker2)设置Host-only网络分别安装Linux服务器（Ubuntu18.04 Server版） 用于伪分布式的服务器...
2018-07-08 16:23:24
612
原创 卜算子·大数据简介 一个开源、成体系的大数据学习教程
第1章 卜算子·大数据简介“卜算子·大数据”，是一个开源、成体系的大数据学习教程。从基础数据采集到顶层架构设计。最新梳理出大数据知识体系共计12个部分，42个章节。每周日更新，金九银十际，助你上青天！本章主要内容:特点“卜算子·大数据”架构项目更新写作目的原创声明1.1 特点* 关于 * ——“卜算子·大数据”，其中“卜算子”是中国诗词中唯一包含计算、占卜、...
2018-06-29 11:50:52
2461
原创 2.3 基于IDEA开发第一个MapReduce大数据程序WordCount
2.3 基于IDEA开发第一个MapReduce大数据程序WordCount 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录 开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、z...
2018-06-24 15:02:22
4325
原创 Ubuntu18.04主题更换为 Mac OS high Sierra美化教程与Mac book pro键盘问题
Ubuntu18.04完全美化教程 Ubuntu18.04主题更换为 Mac OS high Sierra昨天MBP去换键盘…需要一周左右(2017MBP键盘真的不敢恭维…我居然能把空格键给敲塌陷了，敲的代码有那么多吗…)，所以这几天赶紧启用另一个thinkpad(离开计算机如同废人的我…)，装的是Ubuntu18.04最新版，不太喜欢原始界面（可能时习惯问题）。。。我美化一下，上图githu...
2018-06-24 10:56:19
16978
2
原创 2.2 Hadoop3.1.0完全分布式集群配置与部署
2.2 Hadoop3.1.0完全分布式集群配置与部署 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录 开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oo...
2018-06-20 20:50:19
4645
1
原创 1.3 virtualbox高级应用构建本地大数据集群服务器
1.3 virtualbox高级应用构建本地大数据集群服务器 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录 开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper...
2018-06-20 13:29:09
1309
原创 2.1 Hadoop伪分布式安装部署
2.1 Hadoop伪分布式安装部署 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录 开源“卜算子·大数据”系列文章、源码，面向大数据（分布式计算）的编程、应用、架构——每周更新！Linux、Java、Hadoop、Spark、Sqoop、hive、pig、hbase、zookeeper、Oozie、flink…et...
2018-06-15 08:42:58
1221
原创 1.2 linux使用技巧快速入门
1.2 linux使用技巧快速入门 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录为大数据知识做基础准备，首先要对Linux有初步的了解，接下来就讲解一些Linux常用的技巧命令。1.2.1 debian/ubuntu常用命令# 更新软件sudo apt updatesudo apt upgrade...
2018-06-14 13:16:34
520
原创 1.1 Virtualbox虚拟机快速入门
1.1 Virtualbox虚拟机快速入门virtualbox安装、配置、安装Ubuntu 18.04过程详细记录 开源地址 https://github.com/wangxiaoleiAI/big-data卜算子·大数据 目录1.1.1 关闭BIOS安全启动项、开启BIOS中允许CPU虚拟选项、下载virtualbox、下载Linux Ubuntu 18.04镜像1...
2018-06-14 12:35:54
3215
OBS Mac版 安装包下载 obs-mac-21.0.3-installer
2018-03-10
git 桌面版Mac版 下载GitHubDesktopSetup
2018-02-10
git 最新版下载 git windows 32位下载
2018-02-10
postgresql数据库建模工具pgmodeler-0.9.1-alpha1-demo-macos
2018-01-19
.rncache React-Native 0.47第三方包
2017-08-22
Git64位windows版Git-2.10.1-64-bit.exe
2016-10-05
phantomjs-2.1.1-linux-x86_64.tar.bz2
2016-07-15
hadoo2.6.4 hadoop.dll winutils.exe
2016-07-05
pandoc-1.17.1-1-windows.msi
2016-06-30
Decentraleyes(firefox扩展)
2016-01-21
cloudsim3.0.3
2014-12-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人