3 大数据星球-浪尖

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 4k+

如何设计实时数据平台(设计篇)

导读:本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论,即“实时数据平台”。在上篇设计篇中,我们首先从两个维度介绍实时数据平台:从现代数仓架构角度看待实时数据平台,从典型数...

2020-06-06 00:08:21

JVM: JVM 内存划分

转载自:https://www.cnblogs.com/paulwang92115/p/12251476.html概述如果在大学里学过或者在工作中使用过 C 或者 C++ 的读者一定会发...

2020-06-06 00:08:21

“不要害怕 RAID!”-kafka磁盘必备

作者 | louwrentius@gmail.com译者 |苏本如,责编 | 郭芮头图 | CSDN 下载自视觉中国出品 | CSDN(ID:CSDNnews)以下为译文:我在互联网上...

2020-06-05 00:04:48

Spark 如何摆脱java双亲委托机制优先从用户jar加载类?

1.起源spark的类加载及参数传递过程还是很复杂的,主要是因为他运行环境太复杂了,不同的集群管理器完全不一样,即使是同一集群管理器cluster和client也不一样,再加上这块探究...

2020-06-05 00:04:48

java类加载器学习必备

一,Java类的加载、链接与初始化1,加载:查找并加载类的二进制数据• 通过一个类的全限定名来获取定义此类的二进制字节流• 将这个字节流所代表的静态存储结构转化为方法区的运行时数据结构•...

2020-06-04 00:04:24

QQ音乐PB级ClickHouse实时数据平台架构演进之路

导语 |OLAP(On-Line Analytical Processing),是数据仓库系统的主要应用形式,帮助分析人员多角度分析数据,挖掘数据价值。本文基于QQ音乐海量大数据实时分...

2020-06-04 00:04:24

如何画出牛逼的、高大上的架构图?

来源 |公众号「阿里巴巴云原生」当我们想用一张或几张图来描述我们的系统时,是不是经常遇到以下情况:对着画布无从下手、删了又来?用一张图描述我的系统,并且让产品、运营、开发都能看明白?画...

2020-06-02 00:00:50

到底如何设置 Java 线程池的大小?

来源:ifeve.com/how-to-calculate-threadpool-size/在我们日常业务开发过程中,或多或少都会用到并发的功能。那么在用到并发功能的过程中,就肯定会碰到...

2020-06-01 00:04:13

用 Apache Pulsar SQL 查询数据流

????️ 阅读本文需要大约 7 分钟Apache Pulsar 越来越受欢迎,尤其在成为 Apache 软件基金会的顶级项目后。用户不仅将 Pulsar 用于发布/订阅消息,还利用其可...

2020-06-01 00:04:13

十款性能最佳的压缩算法

数据压缩是保留相同或绝大部分数据前提下减小文件大小的过程。它的原理是消除不必要的数据或以更高效的格式重新组织数据。在进行数据压缩时,你可以选择使用有损方法或无损方法。有损方法会永久性地擦...

2020-05-31 00:05:22

2020年5月程序员工资统计,平均14542元,我又拖后腿了!

作者:有数可据来源:https://blog.csdn.net/juwikuang/article/details/105875849今天,看到一篇关于程序员工资统计的文章,给大家分享一...

2020-05-31 00:05:22

如何用一套引擎搞定机器学习全流程?

来源:Flink 中文社区作者:阿里技术专家陈戊超(仲卓)本文由阿里技术专家陈戊超(仲卓)分享。深度学习技术在当代社会发挥的作用越来越大。目前深度学习被广泛应用于个性化推荐、商品搜索、人...

2020-05-30 00:00:29

IntelliJ IDEA 调试技巧,比 Eclipse 强太多了!

来自:光年https://www.cnblogs.com/jun1019/p/9741224.html一、条件断点循环中经常用到这个技巧,比如:遍历1个大List的过程中,想让断点停在某...

2020-05-30 00:00:29

同样是服务注册中心,Eureka为什么比ZooKeeper优秀?

1. 前言服务注册中心,给客户端提供可供调用的服务列表,客户端在进行远程服务调用时,根据服务列表然后选择服务提供方的服务地址进行服务调用。服务注册中心在分布式系统中大量应用,是分布式系统...

2020-05-29 08:45:13

Java 处理 Exception 的 9 个最佳实践!

在Java中处理异常并不是一个简单的事情。不仅仅初学者很难理解,即使一些有经验的开发者也需要花费很多时间来思考如何处理异常,包括需要处理哪些异常,怎样处理等等。这也是绝大多数开发团队都会...

2020-05-29 08:45:13

spark改七行源码实现高效处理kafka数据积压

1. 劳力士spark streaming消费kafka,大家都知道有两种方式,也是面试考基本功常问的:a.基于receiver的机制。这个是spark streaming最基本的方式...

2020-05-28 08:37:25

盘点开发中那些常用的MySQL优化

作者:jian链接:https://www.cnblogs.com/jian0110/p/9410981.html1、大批量插入数据优化(1)对于MyISAM存储引擎的表,可以使用:DI...

2020-05-28 08:37:25

kafka|使用Interceptors实现消息端到端跟踪

现在,Kafka指标的采集都仅包括客户端或broker,这使得用户跟踪消息在集群内的传递路径,构建系统端到端的性能和行为画像变的困难。从技术上讲,通过修改应用以收集或跟踪额外的信息来测量...

2020-05-27 07:51:30

一文搞定分布式系统ID生成方案

来源 |8rr.co/zY2H系统唯一ID是我们在设计一个系统的时候常常会遇见的问题,也常常为这个问题而纠结。生成ID的方法有很多,适应不同的场景、需求以及性能要求。所以有些比较复杂的...

2020-05-26 00:02:36

HDFS卷(磁盘)选择策略

昨天,发了一篇文章,讲的是磁盘均衡的策略,浪尖是以增加大磁盘的目录数的方式,来提升大磁盘的写入概率。这其实只适合,磁盘大小不一导致的datanode节点数据写入磁盘生成的不均衡。对于有相...

2020-05-26 00:02:36

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。