- 博客(6)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点 aliyun-bigdata-01 aliyun-bigdata-02 aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启...
2021-11-25 16:59:24
895
转载 大数据中台-什么是中台一文详解就够了
怎么又提到数据中台了，现在不是都在拆中台了吗？ 这是一个疑惑，我一直也疑惑，也没有认真想过，以前也是道中途说。没有想到面试的时候，面试官又问道这个问题了。 我一开始的理解是：数据中台整合了数据仓库、数据平台等，直到网上查阅了一些资料才知道，原来中台和平台、数仓是平行的，并没有什么直接的关系，看图： 三者的关键区别有以下几方面： 数据中台是企业级的逻辑概念，体现企业 D2V（Data to Value）...
2021-11-10 16:54:52
2135
转载 调研 FlinkSql功能测试及实战演练
【调研】FlinkSql功能测试及实战演练槐序i 2021-05-12 17:39:24 573 收藏分类专栏： flink版权flink专栏收录该内容14 篇文章0 订阅订阅专栏FlinkSql功能测试及实战演练前言：Flink在国内的占有率逐步提升的情况下，各项组件的功能与稳定性也得到逐步提升。为了解决目前已有的复杂需求，尝试研究flinksql的特性与功能，作为是否引入该组件的依据。同时尝试将现有需求通过简单demo的形式进行测试。本次测试主要集中在Kafka、mysql、Imp
2021-07-22 15:13:56
1035
原创 【备忘】hive 调优
–1.开启hive中间传输数据压缩功能set hive.exec.compress.intermediate=true;–2）开启mapreduce中map输出压缩功能set mapreduce.map.output.compress=true;–3）设置mapreduce中map输出数据的压缩方式set mapreduce.map.output.compress.codec= org.apache.hadoop.io.compress.SnappyCodec;–4.开启hive最终输出数据压缩
2021-07-22 15:05:06
162
转载 我们在学习 Flink 的时候，到底在学习什么？
我们在学习 Flink 的时候，到底在学习什么？大数据与机器学习文摘 今天以下文章来源于大数据技术与架构 ，作者大数据技术与架构这是一篇指南和大纲性质的文章。Flink经过2年左右的官方和社区的大规模推广，现在国内的一众大小企业基本都在使用。我们在学习Flink的时候，到底重点学习哪些东西呢？从个人的学习经历来看，在学习任何一个新出现的框架或者技术点的时候，核心方法就是：【先看背景，整理大纲，逐个击破】。核心背景和论文知其然且知其所以然。Flink框架自提出到实现，是有深厚的理论作为背书的
2021-07-22 14:35:09
311
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人