2 云 祁

尚未进行身份认证

我要认证

我是「云祁」,一枚热爱技术、会写诗的大数据开发猿,专注数据中台和 Flink / Spark / Hive 等大数据技术,欢迎一起交流学习。生命不是要超越别人,而是要超越自己!加油 (ง •_•)ง

等级
TA的排名 1k+

读《离线和实时大数据开发实战》,揭开 Hive 优化实践的神秘面纱

1024,1GB,一级棒!程序仔们节日快乐!

2020-10-24 18:02:02

《离线和实时大数据开发实战》(四)Hive 原理实践

文章目录前言一、Hive 基本架构二、Hive SQLHive 关键概念1. Hive 数据库前言我们都知道,Hive SQL 实际上是翻译为 MapReduce 执行的, 那么它具体过程如何呢?这就是本次章节想探讨的——Hive SQL 背后的执行机制和原理。而进一步 理解和掌握 Hive SQL 的执行原理对于平时的离线任务开发和优化非常重要,直接关系到 Hive SQL 的执行效率和时间,可谓是非常重要了。一、Hive 基本架构作为基于 Hadoop 主要数据仓库解决方案, Hive SQL

2020-10-19 22:42:12

JVM 从入门到精通(八)JVM运行时数据区——本地方法栈

一、本地方法栈的特点Java虚拟机栈用于管理Java方法的调用,而本地方法栈用于管理本地方法(一般非Java实现的方法)的调用。本地方法栈,也是线程私有的。允许被实现成固定或者是可动态拓展的内存大小。(和Java虚拟机栈在内存溢出方面情况是相同的)如果线程请求分配的栈容量超过本地方法栈允许的最大容量,Java虚拟机将会抛出一个StackOverFlowError异常。如果本地方法栈可以动态扩展,并且在尝试扩展的时候无法申请到足够的内存,或者在创建新的线程时没有足够的内存去创建对应的本地方

2020-10-10 17:00:51

《离线和实时大数据开发实战》(三)Hadoop原理实战

前言接着前两章 构建大数据开发知识体系图谱 和 大数据平台架构技术概览 ,本次继续分享邦中老师的《离线和实时大数据开发实战》读书笔记 。讲讲大数据开发的主战场 —— 离线数据开发。...

2020-10-07 14:11:54

JVM 从入门到精通(七)本地方法接口

文章目录一、本地方法接口二、为什么要使用 Native Method?2.1 与Java环境的交互2.2 与操作系统的交互2.3 Sun’s Java三、现状一、本地方法接口在讲Java虚拟机运行时数据区中本地方法栈之前,我们先来说说 运行时数据区之外 的一个叫本地方法接口的东西简称JNI(Java Native Interface)。什么是本地方法?简单地讲,一个Native Method是一个Java调用非Java代码的接囗一个Native Method是这样一个Java方法:该

2020-10-06 17:08:22

《离线和实时大数据开发实战》(二)大数据平台架构 & 技术概览

什么是数据平台呢?或者更时髦点,什么是大数据平台呢?目前业界并没有对数据平台的精确定义,但通常所说的数据平台主要包含以下三部分:数据相关的工具、产品和技术:比如批量数据采集传输的 Sqoop 、离线数据处理 Hadoop 和 Hive 、实时流处理的 Storm、Spark 以及数据分析的 R 等;数据资产:不仅包含公司业务本身产生和沉淀的数据,还包括公司运作产生的数(如财务、行政),以及从外界购买、交换或者爬虫等而来的数据等;数据管理:有了数据工具,也有了数据资产,但是还必须对它们进行管理才

2020-09-27 23:57:03

《离线和实时大数据开发实战》(一)构建大数据开发知识体系图谱

前言通过阅读本书,大家能建立自己的大数据开发知识体系和图谱,掌握数据开发的各种技术(包括有关概念 原理、架构以及实际的开发和优化技巧等),并能对实际项目中的数据开发提供指导和参考,个人觉得邦中老师的这本书还是有很精彩的,值得一读 ( •̀ ω •́ )✧接下来,我会从离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等角度进行总结学习。第一篇:数据大图和数据平台大图数据大图主要是从数据整体角度,结合数据从采集到消费的四大流程,对相关的数据技术进行介绍和刻画。数据

2020-09-21 22:10:58

JVM 从入门到精通(六)JVM运行时数据区——虚拟机栈

由于跨平台性的设计,Java的指令都是根据栈来设计的。不同平台CPU架构不同,所以不能设计为基于寄存器的。根据栈设计的优点是跨平台,指令集小,编译器容易实现,缺点是性能下降,实现同样的功能需要更多的指令。

2020-09-20 23:54:08

通俗易懂 !Kafka 开发快速入门看这篇就够了

有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。

2020-09-15 23:58:07

【Kafka】(二十四)轻量级流计算 Kafka Streams 实践总结

文章目录一、概述1.1 Kafka Streams1.2 Kafka Streams 特点1.3 为什么要有 Kafka Streams一、概述1.1 Kafka StreamsKafka Streams。Apache Kafka 开源项目的一个组成部分。是一个功能强大,易于使用的 库。用于在 Kafka 上构建高可分布式、拓展性,容错的应用程序。1.2 Kafka Streams 特点1. 功能强大高扩展性,弹性,容错2. 轻量级无需专门的集群一个库,而不是框架3. 完全集成

2020-09-15 11:39:25

【MySQL】(十三)浅谈 MySQL 索引优化分析

写在前面:我是「云祁」,一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句 [ 云之祁祁,或雨于渊 ] ,甚是喜欢。写博客一方面是对自己学习的一点点总结及记录,另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 数据中台、数据建模、数据分析以及Flink/Spark/Hadoop/数仓开发 感兴趣,可以关注我的动态 https://blog.csdn.net/BeiisBei ,让我们一起挖掘数据的价值~每天都要进步一点点,生命不是要超越别人,而是要超越自己! (ง •_•)ง.

2020-09-11 17:25:17

【Flume】(六)Flume 开发实战案例分享

文章目录一、监控端口数据官方案例1.1 案例需求:1.2 需求分析:1.3 实现步骤:1.安装 telnet 工具2.判断 44444 端口是否被占用3.创建 Flume Agent 配置文件 flume-telnet-logger.conf4.先开启 flume 监听端口5.使用 telnet 工具向本机的 44444 端口发送内容6.在 Flume 监听页面观察接收数据情况二、实时读取本地文件到HDFS案例2.1 案例需求:2.2 需求分析:2.3 实现步骤:1.Flume 要想将数据输出到 HDFS,

2020-09-08 15:41:31

云计算之概念——IaaS、SaaS、PaaS、Daas

文章目录一、前言二、IaaS三、PaaS四、SaaS五、DaaS一、前言云计算通俗来说就是输入/输出和计算不在一个主机上。计算要用到计算设备,计算设备一般是指CPU、内存和硬盘,输入/输出设备一般是指键盘、鼠标、显示器、耳机、音响、话筒等外设。而我们的个人计算机是使用主板将这些东西连接到一起来协调工作。一个软件在执行以完成某项任务的时候,如果用到的计算设备和输入/输出设备不是通过主板连接,而是通过网络连接,那么这个过程就叫云计算。举几个例子来说明一下:1、我远程到客户电脑给客户处理问题,输入/输

2020-09-07 19:25:04

Postgresql之split_part()切割函数

一、前言数据库表字段有一个格式是:1|2|3.以竖线分割的,现在想取其中的第2个,pg提供这样的函数,记录如下,以下是我的SQL。二、代码SELECT COUNT (*) AS "count", split_part(tree_t.node_path, '|', 2) AS "id", name_t.node_name

2020-09-07 16:09:51

建设中台:难点是技术问题?不!其实是认知问题

前言随着企业的快速发展,在规模不断扩大的同时业务逐渐变的多元化,有更多的业务数据产生,为企业进一步实现业务数据化和数据业务化提供了更多的可能性。但是,由于各种历史原因,导致企业数据烟囱林...

2020-09-03 18:05:47

数据仓库架构以及多维数据模型的设计

作者 |云祁封图| CSDN下载于视觉中国一、前言作者最近看了《Hadoop构建数据仓库实践》这本书,收获很多,把一些关于数仓实践的心得整理出来,方便大家共同学习。二、数据仓库的定义数...

2020-08-26 21:23:01

数据仓库系列(一)什么是维度建模以及维度建模的基本要素

文章目录一、前言二、什么是维度建模三、维度建模的基本要素3.1 事实表3.2 维度表一、前言学习数据仓库,你一定会了解到两个人:数据仓库之父比尔·恩门(Bill Inmon)和数据仓库权威专家Ralph Kimball。Inmon和Kimball两种DW架构支撑了数据仓库以及商业智能近二十年的发展,其中Inmon主张自上而下的架构,不同的OLTP数据集中到面向主题、集成的、不易失的和时间变化的结构中,用于以后的分析;且数据可以通过下钻到最细层,或者上卷到汇总层;数据集市应该是数据仓库的子集;每个数据集

2020-08-25 21:38:42

没有中台的命,却得了中台的病

这两年,业内有个乱象:乙方拼命造“中台”,甲方扎堆上“中台”。他们的日常是这样的…中台,彻底火了。然鹅却有相当一部分人,压根没整明白,到底中台是啥。▌那么,到底什么是中台?是这吗?看完更...

2020-08-25 21:00:00

简单了解一下电商系统中的SPU、SKU、ID,它们都是什么意思,三者又有什么区别和联系呢?

电商时代,数据为王。

2020-08-17 11:22:35

【Kylin】(二)Apache Kylin 环境搭建

文章目录一、安装地址二、安装部署一、安装地址1)官网地址http://kylin.apache.org/cn/2)官方文档http://kylin.apache.org/cn/docs/3)下载地址http://kylin.apache.org/cn/download/二、安装部署1)将apache-kylin-2.5.1-bin-hbase1x.tar.gz 上传到Linux2)解压apache-kylin-2.5.1-bin-hbase1x.tar.gz 到/opt/module[

2020-08-11 15:47:45

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到王者
    签到王者
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证
    技术圈认证
    用户完成年度认证,即可获得
  • 推荐红人
    推荐红人
    发布高质量Blink获得高赞和评论,进入推荐栏目即可获得
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv3
    阅读者勋章Lv3
    授予在CSDN APP累计阅读博文达到30天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)
  • 1024勋章
    1024勋章
    #1024程序员节#连续参与两年活动升级勋章,当日发布原创博客即可获得
  • 1024达人勋章
    1024达人勋章
    10月24日粉丝/获赞/评论/收藏累计达到1024,即可获得“1024达人”勋章
  • 分享学徒
    分享学徒
    成功上传1个资源即可获取