1 云 祁

尚未进行身份认证

我要认证

有态度的 Flink / Spark / BigData

等级
TA的排名 2k+

【Flink】(04)Apache Flink 漫谈系列 —— 实时计算 Flink 与 Alibaba Cloud Realtime Compute 剖析

Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算。可部署在各种集群环境,对各种大小的数据规模进行快速计算。而阿里云实时计算(Alibaba Cloud Realtime Compute)则是一套基于Apache Flink构建的一站式、高性能实时大数据处理平台,广泛适用于流式数据处理、离线数据处理等场景。

2020-07-09 22:06:30

【Flink】(03)Apache Flink 漫谈系列 —— Flink 1.11 Unaligned Checkpoint 解析

作为 Flink 最基础也是最关键的容错机制,Checkpoint 快照机制很好地保证了 Flink 应用从异常状态恢复后的数据准确性。同时 Checkpoint 相关的 metrics 也是诊断 Flink 应用健康状态最为重要的指标,成功且耗时较短的 Checkpoint 表明作业运行状况良好,没有异常或反压。然而,由于 Checkpo.

2020-07-09 15:12:15

【Flink】(十二)Flink Table API 和 Flink SQL 编程(更新中....)

Table API 和Flink SQL课程学习笔记,通过对Flink Table API和Flink SQL理论基础、调用方式和自定义函数的详细讲解,将Flink技能点的最后一块拼图补上,笔记随课程学习的进度持续进行更新~.

2020-07-07 00:33:47

【Flink】(02)Apache Flink 漫谈系列 —— 流批一体的实践与探索

自 Google Dataflow 模型被提出以来,流批一体就成为分布式计算引擎最为主流的发展趋势。流批一体意味着计算引擎同时具备流计算的低延迟和批计算的高吞吐高稳定性,提供统一编程接口开发两种场景的应用并保证它们的底层执行逻辑是一致的。对用户来说流批一体很大程度上减少了开发维护的成本,但同时这对计算引擎来说是一个很大的挑战。作为 Dataflow 模型的最早采用者之一,Apache Flink 在流批一体特性的完成度上在开源项目中是十分领先的。本文将基于社区资料和笔者的经验,介绍 Flink 目前(1.1

2020-07-06 10:26:15

【Flink】(01)Apache Flink 漫谈系列 —— 概述

我们用一句话聊聊什么是 Apache Flink 的命脉?我的答案是:Apache Flink 是以"批是流的特例"的认知进行系统设计的。

2020-07-05 14:51:30

《大数据时代:生活、工作与思维的大变革》:看“大数据时代预言家”的真知灼见

莎士比亚曾写道:“凡是过去,皆为序曲。”大数据通过运算将这句话铭刻,无论结果好坏——无论这句话是否会浇熄我们迎接下一个日出的热情,是否会打击我们留名于世的渴望。

2020-06-29 21:56:25

《大数据大创新:阿里巴巴云上数据中台之道》:解密阿里数据中台建设

早在今年四月份,便开始看《大数据之路:阿里巴巴大数据实践》一书,再迅速过了邓中华老师这本《大数据大创新:阿里巴巴云上数据中台之道》,基本上可以窥见阿里数据中台的建设过程以及一些技术细节。其中宗华作为一位阿里老数据人的经验分享和心路历程,更是让我这个后辈受益匪浅。

2020-06-25 14:03:03

新零售企业如何借助全域数据中台方法论进行自有用户洞察

文章目录一、前言二、用户洞察三、分析介绍3.1 企业用户资产分析3.1.1 用户生命周期状态分析-FULL分析3.1.2 用户销售洞察3.2 AIPL分析3.3 RFM分析3.3.1 用户价值分析3.3.2 用户复购分析一、前言完善的数据分析体系,是企业数字化转型必备的基础,企业在发展过程中,无论规模、性质如何,都离不开对用户(顾客/客户)的洞察,在新零售行业更是如此。全域数据中台能够提供:用户洞察数据模型、用户洞察分析、用户画像体系,帮助企业更加深入的了解用户,企业可以通过深度分析给用户提供更好的服务

2020-06-24 15:58:32

阿里云MVP:阿里云高可用架构的设计

本文来自于2018年深圳云栖大会 阿里云云计算架构师(ACE级)专场 《阿里云高可用架构的设计》的分享。

2020-06-22 10:57:44

《金字塔原理》:只有思考清晰,才能表达有力

如何整理自己的思维逻辑,表达自己想表达的内容;如何能让对方看懂、听明白、记住我们想表达的;如何让对方顺着我们的思路一起思考。这是值得我们深究的一门学问。

2020-06-21 12:44:30

从数仓到数据中台,且看马蜂窝数仓研发总监谈技术选型最优解

本文根据马蜂窝数仓研发总监颜博老师在线上分享演讲内容整理而成,围绕数据仓库架构和研发方方面面,学习!

2020-06-20 13:46:12

《数据中台架构:企业数据化最佳实践》:感受数据中台建设五步法

数据中台可以说是当下非常火热的话题,在BATJ等互联网大厂大肆推广中台建设成果的当下,各个行业的企业似乎都想做数字化转型,建设业务中台,但是中台到底是啥,需要我们提前了解和学习,本文是我学习张旭老师《数据中台架构:企业数据化最佳实践》一书的总结,希望能对你初步的理解中台这个概念有所帮助。...

2020-06-17 00:17:52

JVM 从入门到精通(五)JVM运行时数据区——程序计数器(PC寄存器)

JVM中的程序计数寄存器(Program Counter Register)中,Register的命名源于CPU的寄存器,寄存器存储指令相关的现场信息。CPU只有把数据装载到寄存器才能够运行。JVM中的PC寄存器是对物理PC寄存器的一种抽象模拟。

2020-06-09 23:25:37

JVM 从入门到精通(四)运行时数据区概述及JVM中的线程说明

文章目录一、前言一、前言内存是非常重要的系统资源,是硬盘和CPU的中间仓库及桥梁,承载着操作系统和应用程序的实时运行。JVM内存布局规定了Java在运行过程中内存申请、分配、管理的策略,保证了JVM的稳定高效运行。不同的JVM对于内存的划分方式和管理机制存在着部分差异。结合JVM虚拟机规范,来探讨一下经典的JVM内存布局。...

2020-06-07 16:11:28

JVM 从入门到精通(三)类加载子系统

文章目录一、内存结构概述二、类加载器和类的加载过程2.1 类加载子系统作用2.2 类加载器ClassLoader角色2.3 类的加载过程2.3.1 加载2.3.2 链接(即验证、准备、解析)2.3.3 初始化三、类加载器分类4.1 自定义类与核心类库的加载器4.2 虚拟机自带的加载器3.3 用户自定义加载器四、ClassLoader的使用说明五、双亲委派机制一、内存结构概述复杂版的详细图本文针对Class Loader SubSystem这一块展开讲解类加载子系统的工作流程。如果自己手写一个Ja

2020-06-06 20:25:42

JVM 从入门到精通(二)JVM和Java体系结构

文章目录一、Java 和 JVM 简介1.1 Java:跨平台的语言1.2 JVM:跨语言的平台1.3 Java 及 JVM 历史上重大事件1.4 计算机系统当中JVM所处的位置二、JVM的整体结构三、JVM的架构模型四、JVM的生命周期4.1 启动4.2 执行4.3 退出五、JVM的发展历程一、Java 和 JVM 简介1.1 Java:跨平台的语言1.2 JVM:跨语言的平台Java不是最强大的语言,但是JVM是最强大的虚拟机。1.3 Java 及 JVM 历史上重大事件在 JDK11

2020-06-06 13:25:46

【Flink】(十一)Flink CEP 入门

文章目录一、前言二、Flink CEP一、前言什么是复杂事件处理 CEP?简而言之,就是由一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据,满足规则的复杂事件。特征:目标:从有序的简单事件流中发现一些高阶特征输入:一个或多个由简单事件构成的事件流处理:识别简单事件之间的内在联系,多个符合一定规则的简单事件构成复杂事件输出:满足规则的复杂事件CEP 用于分析低延迟、频繁产生的不同来源的事件流。CEP 可以帮助在复杂的、不相关的事件流中找出有意义的模式和复杂的

2020-06-03 22:02:55

【阿里云】互联网、电商行业实时大数据分析及大屏 DataV 展示最佳实践学习

文章目录一、前言一、搭建电商网站Demo1.1.通过阿里云管理控制台部署云上资源1.1.1.创建专有网络VPC1.1.2.创建云服务器ECS1.1.3.申请弹性公网IP并绑定ECS1.1.4.配置安全组规则1.1.5 创建云数据库RDS1.2.通过Terraform部署云上资源1.3.电商网站初始化1.3.1.电商应用环境初始化1.3.2.电商网站账号注册二、同步数据至DataHub2.1.创建DataHub项目2.2.通过DTS同步数据至DataHub2.3.验证订单数据同步功能三、使用Blink实时处理

2020-06-02 17:02:14

【阿里云】基于 MaxCompute 的大数据 BI 分析最佳实践学习

文章目录一、前言二、搭建电商网站Demo2.1.创建专有网络VPC2.2.创建并配置ECS2.3.创建RDS数据库2.4.电商网站初始化2.5.构造用户数据一、前言本文以电商行业为例,将业务数据和日志数据同步到ADB之后通过QuickBI做快速可视化展现,其中对业务场景数据的ETL采用MaxCompute处理。本文提供全流程完整的Demo演示,可作为客户、架构师PoC验证使用。应用范围互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景。可扩展到各类网站BI分析场景使用。方案架

2020-06-02 11:08:32

【Flink】(十)Flink Table API 和 Flink SQL 入门

Table API 是流处理和批处理通用的关系型 API,Table API 可以基于流输入或者批输入来运行而不需要进行任何修改。Table API 是 SQL 语言的超集并专门为 Apache Flink 设计的,Table API 是 Scala 和 Java 语言集成式的 API。与常规 SQL 语言中将查询指定为字符串不同,Table API 查询是以 Java 或 Scala 中的语言嵌入样式来定义的,具有 IDE 支持如:自动完成和语法检测。

2020-06-01 23:07:12

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到王者
    签到王者
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 技术圈认证
    技术圈认证
    用户完成年度认证,即可获得
  • 推荐红人
    推荐红人
    发布高质量Blink获得高赞和评论,进入推荐栏目即可获得
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 阅读者勋章Lv3
    阅读者勋章Lv3
    授予在CSDN APP累计阅读博文达到30天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)
  • 分享学徒
    分享学徒
    成功上传1个资源即可获取