- 博客(15)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 HDFS读写数据流程
1.HDFS读数据流程HDFS客户端通过Distributed FileSystem向Namenode请求下载文件，Namenode通过查询元数据，找到文件所在的地址；Distributed FileSystem返回一个FSDataInputStream对象给客户端以便读取数据（FSDataInputStream中封装着DFSInputStream对象，该对象管理着namenode与datanode的I/O），接着，客户端对这个对象调用read方法；存储着文件起始几个块的datano.
2020-07-15 19:42:56
525
原创 大数据开发必读书目（持续更新）
1.HadoopHadoop大数据开发案例教程与项目实战.pdfHadoop技术内幕 深入解析YARN架构设计与实现原理.pdfHadoop技术内幕 深入理解MapReduce架构设计与实现原理.pdfHadoop技术内幕：深入解析Hadoop Common和HDFS架构设计与实现原理.pdfHadoop权威指南.大数据的存储与分析.第4版.修订版&升级版.pdf2.Zookeeper从Paxos到Zookeeper 分布式一致性原理与实践.pdfZooKeeper分布式过.
2020-07-10 18:44:45
831
原创 数据仓库——数据同步策略
文章目录一.表的种类及其概念1.实体表2.维度表3.事实表二.数据同步策略1.全量同步策略2.增量同步策略3.新增及变化策略4.特殊策略一.表的种类及其概念1.实体表一般是指一个现实中存在的业务对象，实体表它放的数据一定是一条条客观存在的事物数据，比如用户，商家，商品等（某东上的某某人参丸就是一个实体）3。2.维度表一般是指业务中的一些状态，代码的解释表（也称为码表）。维度表可以看成是用户用来分析一个事实的窗口，它里面的数据应该是对事实的各个方面描述。维度表还可以分为一般维度表和固定维度表。
2020-07-09 20:58:47
1673
原创 Spark消费Kafka如何实现精准一次性消费？
1.定义精确一次消费（Exactly-once） 是指消息一定会被处理且只会被处理一次。不多不少就一次处理。如果达不到精确一次消费，可能会达到另外两种情况：至少一次消费（at least once），主要是保证数据不会丢失，但有可能存在数据重复问题。最多一次消费 （at most once），主要是保证数据不会重复，但有可能存在数据丢失问题。如果同时解决了数据丢失和数据重复的问题，那么就实现了精确一次消费的语义了。2. 问题如何产生数据何时会丢失： 比如实时计算任务进行计算.
2020-07-21 08:21:32
3630
原创 深入理解Spark远程通信组件RPC及消息处理机制
1.简介在Spark中，不同组件像driver，executor，worker，master（stanalone模式）之间的通信是基于RPC来实现的。Spark 1.6之前，Spark的RPC是基于Akka来实现的。Akka是一个基于scala语言的异步的消息框架。Spark1.6后，spark借鉴Akka的设计自己实现了一个基于Netty的rpc框架。本文主要对spark1.6之后基于nett...
2020-07-15 19:47:34
745
原创 数据仓库与数仓建模
1.数据仓库1.1 什么是数据仓库数据仓库，英文名为Data Warehouse，简写为DW或DWH。数据仓库，是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持1。它是单个数据存储，出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制2。1.2 数据仓库的四个特点面向主题：数据仓库是按照一定的主题来组织，仅存储与主题相关的数据。主题是指用户在构建数仓时考虑决策时所关注的重点方面，方便以后的数据.
2020-07-11 17:46:04
1796
原创 数据仓库——范式理论
1.什么是范式（Normal Form）？1.1 定义按照教材定义，范式是“符合某一种级别的关系模式的集合，表示一个关系内部各属性之间的联系的合理化程度”。这样的定义太过晦涩，简单点来说，就是一张数据表的表结构所符合的某种设计标准的级别和要求。1.2 优点设计关系型数据库，必须遵照一定的准则，目的在于降低数据的冗余。为什么要降低数据冗余？为了减少磁盘存储，十几年前，磁盘是十分昂贵的以前没有分布式系统，多存储数据就得加磁盘一次修改，需要修改多个表，很难保证数据一致性1.3 缺点获取数.
2020-07-11 11:36:55
432
原创 Java方法的重载与重写
方法重载在Java中，同一个类中的多个方法可以有相同的方法名称，但是有不同的参数列表，这就称为方法重载（method overloading）。参数列表又叫参数签名，包括参数的类型、参数的个数、参数的顺序，只要有一个不同就叫做参数列表不同。1. 方法重载的规则方法名称必须相同。参数列表必须不同。方法的返回类型可以相同也可以不相同。仅仅返回类型不同不足以称为方法的重载。2. 方法重载的注意事项参数类型的自动转换。即当参数个数与顺序相同，方法执行时无法找到与传递参数完全相同的类型时，可按
2020-05-25 21:02:25
758
1
原创 深入解析ArrayList
1. ArrayList的底层数据结构List接口的可调整大小的数组实现。transient Object[] elementData;特点：增删慢：每次增删非末尾元素，都要调整数组大小，拷贝及移动元素位置。查询快：数组在内存中是一块连续的空间，因此可以根据地址+索引的方式快速获取对应位置的元素。2.ArrayList源码分析2.1 属性介绍属性名类型描述...
2020-03-31 22:10:26
200
原创 二叉搜索树——Java实现
特点若它的左子树不为空，则左子树所有节点的值均小于它根节点的值；若它的右子树不为空，则右子树所有节点的值均小于它根节点的值；它的左右子树也均为二叉搜索数。Java中节点定义 //节点定义 private class Node{ int data; Node left; Node right; } ...
2020-03-10 12:07:42
118
原创 Java内存区域详解——程序计数器
Java虚拟机在执行Java程序时会把它所管理的内存划分为如干个不同的数据区域。这些区域都有各自的用途以及创建和销毁的时间，有的区域随着虚拟机的启动而存在，有的区域则依赖用户线程的启动和结束而创建和销毁。## 程序计数器...
2019-05-21 17:12:54
951
1
原创 java反射——获取及调用方法
获取某一个类的方法找到获取方法所在类的字节码对象找到需被获取的方法Class类常用的方法： 1.public Method[] getMethods(); //获取自身以及继承过来的所有public方法 2.public Method[] getDeclaredMethods();//获取自身所有的方法(不包括继承的,和访问权限无关) 3.public Method getMethod(S
2017-09-12 15:08:27
871
原创 Java反射——获取构造器以及创建对象
获取某一个类的所有构造器实例明确操作的是哪一个类（严格的说是类编译后的字节码）获取构造器Class类常用获取构造器的方法： 1.Class类的public Constructor获取构造器创建实例Constructor类：表示类的构造器类型，Constructor实例就是某一个类的某个构造器常用方法： public T newInstance(Object…initargs) 参
2017-09-01 21:14:53
810
原创 Java反射——获取Class对象
反射简介能够分析类能力的程序称为反射，它允许运行中的Java程序获取自身的信息，并且可以操作类或对象的内部属性。反射功能及其强大，它可以用来：在运行中分析类的能力。在运行中查看对象，例如，编写一个toString方法工所有类使用。实现通用的数组操作代码。利用Method对象，这个对象很想c++中的函数指针。反射是一种功能强大且复杂的机制，使用它的主要是工具构造者，而不是应用程序员。 简而
2017-08-26 11:55:47
288
原创 我的conky安装与配置——基于ubuntu 16.04 LTS
“Yeah,I just do it ”前言本人的第一篇博客终于正式上线，也不枉我这两天的辛苦。期间经历的种种，真是让人心累啊！好了，闲话休烦，步入正题。conky简介Conky是一种自由软件，用于X视窗系统的系统监视，可以在FreeBSD、OpenBSD和各种Linux发布上使用的自由软件。Conky具有很高的可配置性，可以监视许多系统参数，如：CPU、内存、交换内存、硬盘使用情况等状态；各种硬
2017-08-02 21:05:53
1933
servlet 4.0 API(English).chm
2019-11-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人