10 DataFlow范式

尚未进行身份认证

我要认证

透过技术圈百态,体会世间冷暖,树立正确的技术观、人生观、价值观和世界观

等级
TA的排名 2k+

非你想的那个 CDC,实为我这个 CDC 也

背景CDC,Change Data Capture,直译为变更数据捕获,反正能理解就对了。答案在哪里你是否在调研数据库数据实时复制方面,遇到以下问题:基于 binlog(transact...

2020-06-06 18:31:49

来,换个轻松话题,深度学习

今天,笔者将和读者一起聊聊一个令人轻松愉快的话题,关于深度学习。题外话最近,笔者取关了不少微信公众号,套路太深且广告太多,难道不明白大部分人的时间都不够用吗!说什么文正香,意更深,甚荒唐...

2020-05-23 18:52:37

Hadoop 3.x 时代,EC 露个脸呗!

在本文中,笔者将详细研究 HDFS EC(Erasure Coding,纠删码),讲解什么是 HDFS EC,引入 EC 的原因,用于 EC 的算法,以及在 Hadoop 社区中为 EC...

2020-05-15 19:00:00

推荐升级四部曲之 CDH 手动升级,奔涌吧!

插曲在上篇文章《推荐升级四部曲之 CDH 升级重头戏,收藏了!》中,一些人因为善良而容易相信初次看到的事情,觉得升级过程那么那么那么地顺风顺水,正准备养精蓄锐,大干一场,升级换代,大数据...

2020-05-07 21:59:41

推荐升级四部曲之 CDH 升级重头戏,收藏了!

特别提醒为了保证文章整体的阅读性,笔者并没有将升级过程中遇到的所有问题都记录在本篇文章中,比如 Phoenix 版本不兼容和数据迁移,Hive 集成 Atlas 等。特别需要注意,HBa...

2020-04-29 07:00:00

推荐升级四部曲之 CM 升级,收藏了!

概要笔者最近在研究 CDH 大版本升级(CDH 5.16.2 -> CDH 6.3.3)的细节内容,涉及到每个组件的方方面面,确保升级过程中出现各种意外情况能够自主可控,降低未来生...

2020-04-28 07:00:00

Apache NiFi 如何从入门到不放弃?

既然来了,就留下呗。笔者在之前的文章《物联网遇到流计算》中介绍过 Apache NiFi,虽比不上 StreamSets 华丽的外表,但是功能却很强大,在开源方面,NiFi 的企业级功能...

2020-04-18 09:40:17

物联网遇到流计算

今天,笔者和大家聊一聊物联网(IoT),不少人都说物联网开启了万物互联时代,尤其是 5G 的逐渐普及和应用,将会构建万物互联的智能世界,实现物理世界的数...

2020-03-26 23:01:02

ClickHouse 新特性 Live View 体验

今天笔者来聊一聊 ClickHouse 中的一个新特性,即 Live View 表。MA(Moving Average)提到 MA,估计大家最先想到的应...

2020-03-19 21:38:40

2020 MIT 6.824 分布式系统课程

MIT 6.824,笔者在几年前刷完了一遍,过程还是相当折磨人的,但受益颇多。如今已是 2020 年了,这个特殊的一年,笔者想和大家一起拿起小板凳,准备好笔记本,再来完整地学习 MIT ...

2020-02-26 19:00:00

Spark SQL 自适应执行优化引擎

在本篇文章中,笔者将给大家带来 Spark SQL 中关于自适应执行引擎(Spark Adaptive Execution)的内容。在之前的文章中,笔者介绍过 Flink SQL,目前 ...

2020-02-22 17:13:21

涅槃重生:KRPC 实现 Impala 的飞跃

据不完全统计,在生产环境中部署 Impala 集群时,大部分大数据工程师也会赠送一套 Kudu 环境,当然用不用另说。如果只部署了 Impala 而没有 Kudu,那应该是一个意外。如果...

2020-02-16 10:41:38

Flink 与 Hive 的磨合期

风雨送春归,飞雪迎春到。已是悬崖百丈冰,犹有花枝俏。俏也不争春,只把春来报。待到山花烂漫时,她在丛中笑。选自《卜算子·咏梅》图片来自网络,如侵权,请联系删除有不少读者反馈,参考上篇文章《...

2020-02-07 23:29:49

Hive 终于等来了 Flink

等疫情过去了,我们一起看春暖花开。Apache Spark 什么时候开始支持集成 Hive 功能?笔者相信只要使用过 Spark 的读者,应该都会说这是很久以前的事情了。那Apache...

2020-02-04 23:01:28

只争朝夕,不负韶华

图片来自网络,如侵权,请联系删除人生天地之间,若白驹过隙,忽然而已。对于每个人来说,每一年总会有那么一两件让自己铭记不忘的事情,或大或小,或轻或重。对笔者来说,其中一件就是开始坚持不定期...

2020-01-25 17:53:31

PostgreSQL 复制方案(管够)

流感无情,人间有情,总会有雨过天晴的时候。希望大家都能够平平安安,一切顺利。一些读者在公众号后台留言,希望笔者能对 PostgreSQL 的主备进行比较全面的介绍。正好春节前,笔者计划再...

2020-01-22 23:22:06

PostgreSQL Replication 101 - 故障转移

众所周知,PostgreSQL 在国内的整体份额比不上 MySQL/MariaDB,但是号称世界上功能最为强大(没有更强,只有更强)的开源数据库之一,它在国内近几年发展势头明显。在大数据...

2020-01-15 22:14:22

所见即所得式数据探索,让数据价值更美丽

在大数据生态系统里面,分析型数据库产品众多,那么如何展示和洞察其中的数据价值呢?最直观的当然是可视化方式,如果没有可视化,再好的数据分析看起来也是苍白无力的,不完美的。数据可视化也是 B...

2020-01-09 07:10:47

ClickHouse - 创建漂亮的 Grafana 仪表盘

今天笔者给大家带来 Grafana 在 ClickHouse 项目中的应用。为了内容的完整性,笔者会从 Grafana 讲起,简单普及一下,毕竟业界使用度已经非常高了。GrafanaGr...

2019-12-29 18:54:46

实时流计算中躲不开的 Time 和 Watermark

最近笔者忙着发布 ClickHouse 生产环境,应用于一些业务需求,以及丰富 ClickHouse 周边的生态系统,包括集成 BI 报表、数据迁移、数据备份、监控运维、分析数据可视化平...

2019-12-26 22:20:26

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享精英
    分享精英
    成功上传11个资源即可获取