自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(23)
  • 收藏
  • 关注

原创 云计算时代,你还不会 Docker?史上最全 Docker 教程

史上 Docker 最全教程

2022-04-03 10:54:48 1402

原创 Spark shuffle 机制,一万字总结,建议反复看

带你揭开 Spark shuffle 机制迷雾!

2022-03-27 14:29:47 4686 9

原创 Spark 调度系统,内部原来是这样搬砖的

Spark 调度系统详解!

2022-03-15 22:31:29 3088

原创 RDD 常用一些常用算子的区别,什么是持久化?

RDD 一些常用算子的区别

2022-02-08 22:03:26 2332

原创 Spark 进程模型与分布式部署:什么是分布式计算?

什么是分布式计算?

2022-01-25 22:51:18 2897

原创 Spark 数据依赖图是啥?

Spark 数据依赖、逻辑执行!

2022-01-16 22:07:04 2336

原创 Spark 中 的RDD该怎么理解?

Spark 开篇!

2022-01-09 22:02:12 2423 2

原创 Hadoop 生态最牛逼的组件,HDFS 排第二,它排第一!

Yarn 是目前大数据领域最流行的资源管理系统,也是 Hadoop 2.0 版本改动最大的一个特性!YARN 必须要学会!

2021-10-10 15:43:22 928

原创 HDFS 读写异常容错机制与调优技巧

HDFS 读写容错与调优!

2021-09-20 01:03:46 1575

原创 金九银十,校招简历该如何写,这篇文章告诉你答案!

非科班如何准备简历,如何投递简历,如何面试,如何与 HR 博弈谈薪?

2021-09-11 18:13:41 1805

原创 HDFS 底层交互原理,看这篇就够了!

HDFS 架构模型,源码级读写流程,故障转移切换!

2021-09-07 08:21:53 1045 1

原创 2021最全大数据学习路线(建议收藏)

大数据是未来的趋势,在数字化转型时代,把握大数据是关键的!

2021-05-12 21:27:23 92725 104

原创 小林秋招大数据面试题汇总(下)

所有的面试题,都是小林亲身经历,之后总结的,希望给大家一个参考!

2021-05-07 10:27:12 1003 1

原创 小林秋招大数据面试题汇总(上)

大厂大数据面试真题

2021-04-25 15:52:40 1029

原创 单链表系列问题

. 问题描述这道题目主要讨论单链表相交的一系列问题。在本题中,单链表可能有环,也可能无环。给定两个单链表的头节点 head1 和 heda2 ,这两个链表可能相交,也可能不相交。请实现一个函数,如果两个链表相交,请返回相交的第一个节点;如果不相交返回 null 即可。要求:如果链表 1 的长度为N,链表 2 的长度为 M,时间复杂度请达到 O(N+M),空间复杂带请达到 O(1)。

2020-08-09 08:46:08 687

原创 双端队列,生成窗口最大值数组!

微信公众号:小林玩大数据如果你觉得本文对你有帮助,拉到文末点个在看题目描述解题思路代码实现题目描述【生成窗口最大值数组】有一个整形数组 arr,和一个大小为 w 的窗口从最左边滑到最右边,窗口每次向右边滑动一个位置。例如,数组为[4,3,5,4,3,3,6,7],窗口大小为3[4 3 5] 4 3 3 6 7 窗口最大值为54 [3 5 4] 3 3 6 7 窗口最大值为54 3 [5 4 3] 3 6 7 窗口最大值为54 3 5 [4 3 3] 6 7 窗口最大值为.

2020-07-13 10:40:23 697

原创 由两个栈组成的队列,你玩过嘛?

题目描述【题目】:编写一个类,用两个栈实现队列,满足队列的基本操作要求:enqueue(入队)、出队(dequeue),peek:获取队列中对头元素。【解答】栈数据结构的特点是先进后出,而队列数据结构的特点是先进先出。用两个栈正好能把顺序反过来实现类似队列的操作。 具体实现上是一个栈作为压入数据栈,在压入数据栈时,只往这个栈中压入数据(入队),记为 stackPush,另一个栈只作为弹出栈,在弹出数据(出队)只从这个栈弹出,记为 stackPop。 因为数据压入栈的时候,顺序时先进后出的。

2020-07-02 15:26:59 695

原创 设计一个具有 getMin 功能的栈,看这里!

题目描述【问题:】 实现一个特殊的栈,在实现栈的基本功能上,再实现返回栈中的最小元素。 【要求:】pop(),push(),getMin()时间复杂度都为 O(1); 设计的栈类型可以使用可以使用现成的栈结构。【解答:】 在设计上可以考虑使用两个栈,一个存放数据的栈称为 dataStack ;另一个存放数据栈中的最小值称为 minStack ;具体有两种实现方式。实现方案一【算法描述】入栈规则假设当前入栈数据为 newData ,先将其压入 dataStack ,然后判断 min

2020-07-01 15:19:47 735

原创 2 PC 有它,你就够了!

微信公众号:小林玩大数据作者:林中鸟如果你觉得此篇文章对你有帮助,欢迎点赞!一致性协议概述Two-Phase-Commit(2PC)一致性协议概述在分布式系统中,每一个机器节点虽然都能明确地知道自己在进行事务过程中的结果是成功或失败,但却无法获得其它节点的操作结果。因此,为了保持事务处理的 ACID 特性,就需要引入一个称为“协调者”的组件来统一调度所有分布式节点的执行逻辑,这些被调度的分布式节点被称为“参与者”。协调者负责调度参与者的行为,并最终决定这些参与者把事务真正进行提交。.

2020-06-01 22:32:51 777

原创 MapReduce 内部实现机制,你真的懂吗?

微信公众号:小林玩大数据作者:林中鸟如果你觉得此文对你有帮助,欢迎点赞!1. MapReduce 简介2. MapReduce 的处理特点3. MapReduce 内部实现机制 3.1 MapReduce 执行流程 3.2 Map阶段 3.3 Reduce 阶段1. MapReduce 简介MapReduce 编程范式将数据处理拆分成了两个基本阶段:Map 阶段与 Reduce 阶段。每个阶段的输入和输出均为键值对。Map 阶段对应的进程为Ma...

2020-05-24 17:53:34 1377 1

原创 实战 | 史上最详细Hadoop大数据集群搭建,不看后悔系列

这里写自定义目录标题搭建环境软件环境依赖部署jdk安装及配置ssh免密钥配置Hadoop部署合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入搭建环境实验环境本文基于HA分布式文件系统,搭建MapReduce on yarn大数据集群。

2020-05-15 19:29:32 1163 1

原创 Linux基础之文件管理篇一

1文件系统1.1 Linux 文件系统目录结构

2020-02-16 14:04:13 338

原创 Java基础之异常体系梳理

1异常的基本概念异常是导致程序中断运行的一种指令流。如果不对异常进行正确的处理,则可能导致程序的中断执行,造成不必要的损失,所以要在程序的设计中必须要考虑各种异常的发生,并正确做好相应的处理这样才能保证程序正常的执行。2异常类的继承结构在Java的异常体系中,Throwable可以用来表示任何可以作为异常抛出的类,分为两种:Error和Exception。其中Error用来表示JVM无法处...

2020-02-09 17:00:26 223 1

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除