11 过往记忆

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1k+

2020 年最新 Elasticsearch 7.x 使用教程

搜索是软件工程师的一项必备技能。而 Elasticsearch 就是一款功能强大的开源分布式搜索与分析引擎,在同领域几乎没有竞争对手——近三年 DB-Engines 数据库评测中,ES ...

2020-08-11 20:30:00

Flink x Zeppelin ,Hive Streaming 实战解析

Flink 1.11 正式发布已经三周了,其中最吸引我的特性就是 Hive Streaming。正巧 Zeppelin-0.9-preview2 也在前不久发布了,所以就写了一篇 Zep...

2020-08-11 20:30:00

逼自己玩命学了6个多月,吃透这31个大数据知识点!分享给你,让你今年进个大厂!...

2020年魔幻开局,上半年疫情肆虐,逼自己学完了这套Kafka 源码深度剖析课程视频,通过对Kafka高性能的消息封装流程源码剖析,服务端高性能架构设计源码剖析等,看完彻底掌握了Kafk...

2020-08-10 08:40:00

Zeta:eBay 基于 Apache Spark 开发的新一代数据开发分析平台

供稿 |eBay DSSTeam作者| 田川晓阳编辑 | 顾欣怡本文4490字,预计阅读时间14分钟导读新一代数据开发分析平台Zeta由eBay DSS(Data Services...

2020-08-10 08:40:00

Presto on Spark:扩展 Presto 以支持大规模 ETL

前言Facebook 的数据仓库构建在 HDFS 集群之上。在很早之前,为了能够方便分析存储在 Hadoop 上的数据,Facebook 开发了 Hive 系统,使得科学家和分析师可以使...

2020-08-09 22:13:15

K8S成精了!

2020,上云之年,产品云端化成为一种趋势。在一线城市,很多公司都已经构建了自己的私有云环境,比如阿里云、网易云、华为云等。而Kubernetes 作为基于容器编排领域的王者,具备扩展...

2020-08-08 20:21:39

这个公众号到底有没有好文章?我整理了300篇,觉得不好我跪榴莲!

花了6个小时,总算整理好了,嗯,榴莲,真香!大数据成神之路Spark/Kafka/Flink/ElasticSearch/Hadoop/Hbase/Hive/Yarn/Kylin/Red...

2020-08-07 08:25:00

Spark SQL 物化视图技术原理与实践

导言本文将基于 SparkSQL(2.4.4) + Hive (2.3.6), 介绍物化视图在SparkSQL中的实现及应用。什么是物化视图物化视图主要用于预先计算并保存表连接或聚合等耗...

2020-08-06 11:55:28

从 0 到 1 搭建一套 Flink 的监控系统

本文带大家讲解一下如何搭建一套完整的 Flink 监控系统,如果你所在的公司没有专门的监控平台,那么可以根据本文的内容来为公司搭建一套属于自己公司的 Flink 监控系统。利用 API ...

2020-08-05 08:30:00

大厂的 Redis 都是怎么搞的?

如果你是一位后端工程师,面试时八成会被问到 Redis,特别是那些大型互联网公司,不仅要求面试者能简单使用 Redis,还要深入理解其底层实现原理,具备解决常见问题的能力。可以说,熟练使...

2020-08-04 20:45:00

Apache Hudi应用调优指南

通过Spark作业将数据写入Hudi时,Spark应用的调优技巧也适用于此。如果要提高性能或可靠性,请牢记以下几点。输入并行性:Hudi对输入进行分区默认并发度为1500,以确保每个S...

2020-08-04 20:45:00

光大银行分布式实战:国内最大缴费平台的数据库架构转型

于树文光大银行资深DBA目前在中国光大银行信息科技部数据库管理团队主要负责分布式数据库建设项目,推进行内技术架构转型等相关工作。从事数据库运维管理工作十余年,在数据库的性能优化,升级迁移...

2020-08-03 09:18:25

面试必知的 Spark SQL 几种 Join 实现

Join作为SQL中一个重要语法特性,几乎所有稍微复杂一点的数据分析场景都离不开Join,如今Spark SQL(Dataset/DataFrame)已经成为Spark应用程序开发的主流...

2020-08-02 20:20:47

Kafka 是靠什么机制保持高可靠,高可用的?

这个 Acks 参数在 Kafka 的使用中,是非常核心以及关键的一个参数,决定了很多东西。所以无论是为了面试还是实际项目使用,大家都值得看一下这篇文章对 Kafka 的 Acks 参数...

2020-08-01 20:15:55

如何使用 Spark 3.0 中新加的 Structured Streaming UI 来进行异常分析

本文为阿里巴巴技术专家余根茂在社区发的一篇文章。Structured Streaming 最初是在 Apache Spark 2.0 中引入的,它已被证明是构建分布式流处理应用程序的最佳...

2020-07-31 08:28:00

面对无代码 / 低代码带来的技术变革,开发者该如何拥抱变化?

预计到2024年,65%的应用将在无代码 / 低代码平台中开发——华为云董鑫武真正实现全民开发,是无代码 / 低代码平台的愿景。当下的数字化趋势使得客户对商业需求更具个性化,且变化加...

2020-07-30 08:30:00

基于Apache Iceberg打造T+0实时数仓

导语大数据处理技术现今已广泛应用于各个行业,为业务解决海量存储和海量分析的需求。但数据量的爆发式增长,对数据处理能力提出了更大的挑战,同时对时效性也提出了更高的要求。业务通常已不再满足滞...

2020-07-29 08:30:00

马蜂窝数据仓库的架构、模型与应用实践

Part.1马蜂窝数据仓库与数据中台最近几年,数据中台概念的热度一直不减。2018 年起,马蜂窝也开始了自己的数据中台探索之路。数据中台到底是什么?要不要建?和数据仓库有什么本质的区别?...

2020-07-28 19:59:00

后端,还是大数据?

最近到了招聘旺季,发现一些朋友很纠结一个问题:做后端开发和做大数据开发?这个问题还是比较普遍的。其实,后端开发,更专注于一种技术栈的开发,对于成熟的开发框架而言,的确市面上的竞争压力会比...

2020-07-27 20:00:00

Kafka原理和实践

背景最近要把原来做的那套集中式日志监控系统进行迁移,原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kiba...

2020-07-27 20:00:00

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 分享王者
    分享王者
    成功上传51个资源即可获取