3 大数据研习社

尚未进行身份认证

暂无相关简介

等级
TA的排名 2w+

大数据架构师+精英必备技能

(一)架构师技能树大数据基础巩固(录播)HDFS分布式文件系统1.HDFS架构设计2.HDFS设计思想3.数据块4.机架感知5.容错策略6.数据本地性策略7.读写流程分析8.HDFS高可用原理MapReduce分布式计算模型1.基本原理2.作业执行流程3.深入理解shuffle流程4.MapReduce执行流程5.Partition分区6.Join算法7....

2020-01-01 22:10:55

Linux系统安装

2.1Linux系统介绍1.操作系统(英语:operating system,缩写作OS)是管理计算机硬件与软件资源的计算机程序,同时也是计算机系统的内核与基石。操作系统需要处理如管理与配置内存、决定系统资源供需的优先次序、控制输入与输出设备、操作网络与管理文件系统等基本事务。操作系统也提供一个让用户与系统交互的操作界面。操作系统是硬件基础上的第一层软件, 应用软件都需要安装到操作系统上使...

2019-12-30 10:54:37

VMware虚拟机安装

1.1虚拟机是什么?简单地说,你可以把虚拟机理解为虚拟的机器,这个虚拟的机器和真实的机器在功能实现上几乎完全一样,只是说虚拟机的硬盘是在一个磁盘文件中虚拟出来的。1.2如何搭建虚拟机?虚拟机的搭建实际上就是通过安装虚拟化的软件来实现的。即在你的真实电脑上通过安装一个虚拟化软件就可以实现虚拟机的搭建。1.3虚拟化软件有哪些?常见的虚拟化软件有VMware workst...

2019-12-30 10:13:32

大数据运维:大数据平台+海量数据

大数据开发独揽大权大数据技术很早就在BAT这些公司生根发芽,但直到14、15年大数据技术才广泛应用在各大互联网公司,大数据技术由此深入各行各业。此时大数据开发人才非常紧缺,很多公司大数据从立项,到大数据平台构建,到项目整个流程开发,到后期大数据项目的运维,都是由大数据开发人员一手完成(此时少有专业大数据运维人才)。但随着公司数据越来越多,业务越来越复杂,大数据集群规模越来越大,大数据团队...

2019-12-25 15:44:16

数据中台的产生背景、核心理念、发展阶段

2019年是数据中台元年,中国整个IT行业在这一年掀起一股新的浪潮,数据中台这股潮流正席卷IT界的各个角落,并通过各种自媒体发酵渗透到各行各业。数据中台在大数据时代的背景下格外引人注目,一些有前瞻性的企业都在探讨和摸索数字化转型之路,热议有关数据中台的话题。有人认为这又是一波炒作,从而收取企业智商税,类似于最近这两年炒作的人工智能、区块链,也有人认为这是企业应对危机的自我驱动力。利用数据进行变...

2019-12-24 22:05:58

大数据运维 | 集群_监控_CDH_Docker_K8S_两项目_云服务器

说明:大数据时代,传统运维向大数据运维升级换代很常见,也是个不错的机会。如果想系统学习大数据运维,个人比较推荐通信巨头运维大咖的分享课程,主要是实战强、含金量高、专注度高,有6个专题+2个大型项目+腾讯云服务器,真枪实弹传授上千大数据集群运维经验。课程介绍:这是专门为IT运维人员设计的高端大数据课程,可能也是目前的 onlyon...

2019-12-18 11:37:18

【笔记】hbase有几个region始终无法上线

现象日志报错:#4, table=null, attempt=1/0 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRegionException: Region TraceV2查询偶尔也会报错:...

2019-11-04 14:56:47

【总结笔记】kafka工作常见问题汇总

没有禁用"自动创建topic"的功能已经增加参数auto.create.topics.enable=false,否则任何人只要发数据给kafka,没有对应的topic都会自动创建,一旦生产者多了会乱套。数据保留周期过短已经修改为3天,log.retention.hours=72。默认是3小时,阿里云的破环境有时候网络出问题就得三小时,来不及消费的消息就没了。节点有点少(一主一备,最小集...

2019-10-24 16:14:34

【数仓大全】传统数仓、大数据数仓、离线数仓、实时数仓、数仓Lambda架构、Kappa架构、数据湖

数仓架构演变(场景驱动)离线大数据架构典型案例离线数仓分层离线大数据架构典型案例Lambda架构Lambda架构进一步理解Lambda架构典型案例Lambda架构典型案例(有赞广告团,基于Druid)Lambda架构存在的问题Kappa架构Kappa架构典型案例Kappa架构典型案例(以Kylin...

2019-10-22 10:45:09

【全集】IDEA入门到实战

课程介绍IDEA是一款功能强悍、非常好用的Java开发工具,近几年编程开发人员对IDEA情有独钟。虽然IDEA功能很强大,但目前市面讲解的不细致、不系统,导致很多IDEA初学者要么无从下手,要么耗费太多时间。本套课程分知识点进行录制讲解,大家可以精准找到想学的模块,方便大部分同学的学习和使用。课程视频下载地址(视频完整,无加密)1.关注微信公众号“大数据研习社”,回复 “i...

2019-10-13 10:23:18

【全集】大数据Linux基础

课程介绍本课程是由猎豹移动大数据架构师,根据公司大数据平台的运维情况,精心设计和打磨的大数据必备Linux课程。通过本课程的学习大数据新手能够少走弯路,快速掌握Linux常用命令及Shell编程,为后续大数据课程的学习奠定了坚实的基础。适用人群1.缺乏Linux基础的学员2.转行想学大数据的学员课程视频下载地址(视频完整,无加密)1.关注微信公众号“大数据研习社...

2019-10-13 10:04:35

【全集】大数据Java基础

课程介绍本课程是由猎豹移动大数据架构师,根据Java在公司大数据开发中的实际应用,精心设计和打磨的大数据必备Java课程。通过本课程的学习大数据新手能够少走弯路,以较短的时间系统掌握大数据开发必备语言Java,为后续大数据课程的学习奠定了坚实的语言基础。适用人群1.想学大数据没有语言基础的学员2.想学大数据没有Java语言基础的学员3.转行想学大数据的学员4.了解Java,大数据Ja...

2019-10-12 22:58:26

【大数据】年薪百万架构师必备技能

搞Java开发的同学,目标都想成为Java架构师;搞大数据开发的同学,目标都想成为大数据架构师。成为大数据架构师有什么好处呢?归其原因:1.技术上能达到一定的高度,被公司认可,也被社会认可,有成就感;2.待遇好,薪资高,生活质量高;3.随着年龄越大,经验越丰富越值钱,避免IT程序员35岁后失业的焦虑。那么成为大数据架构师,需要具备哪些技能呢?搞Ja...

2019-10-03 17:43:05

【经典】一个大数据学习的解决方案

从0基础小白到架构师,对于一个没入行的小白来说,想都不敢想,它不仅需要时间的磨炼,开发经验的积累,更需要有合适的机遇与平台。对于大数据技术应用方面,无论是传统行业还是互联网行业,经过这几年的发展已经相当成熟。很多有IT基础的小伙伴冲着大数据薪资高、待遇好、就业前景不错,都争先恐后的加入到大数据技术学习的行列中来,特别是有Java基础的同学,因为Java行业已趋近饱和,薪资干了几年没见涨,职位晋升也...

2019-10-03 17:36:47

2019云栖大会头版头条 六位大咖提到最多的字眼就是“数据”

当我看到这个结果的时候,我是惊讶的。虽然我坚信数据对未来发展的重要性,但是这么高频次的提及。实属震惊。 很显然,未来已经很明确。未来的经济发展需要大量数字或数据相关的人才,尤其是高级人才。当别人在这个方向几年如一日的坚持努力,越走越高。你还在观望等待,那么当别人拿着年薪百万、甚至几百万的时候,你也只能眼巴巴说句“卧槽,真高”。哪有什么天才?一鸣惊人背后哪个不是...

2019-09-26 18:08:37

Apache Flink 漫谈系列(14) - DataStream Connectors之Kafka

聊什么为了满足本系列读者的需求,在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前,我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例,向大家介绍在Apache Flink中如何使用Kafka。Kafka 简介Apache Kafka是一个分布式发布-订阅消息传递系统。 它最初由LinkedIn公司开...

2019-04-30 17:46:22

Apache Flink 漫谈系列(13) - Table API 概述

什么是Table API在《Apache Flink 漫谈系列(08) - SQL概览》中我们概要的向大家介绍了什么是好SQL,SQL和Table API是Apache Flink中的同一层次的API抽象,如下图所示:Apache Flink 针对不同的用户场景提供了三层用户API,最下层ProcessFunction API可以对State,Timer等复杂机制进行有效的控制,但用户使用...

2019-04-29 11:01:49

Apache Flink 漫谈系列(12) - Time Interval(Time-windowed) JOIN

说什么JOIN 算子是数据处理的核心算子,前面我们在《Apache Flink 漫谈系列(09) - JOIN 算子》介绍了UnBounded的双流JOIN,在《Apache Flink 漫谈系列(10) - JOIN LATERAL》介绍了单流与UDTF的JOIN操作,在《Apache Flink 漫谈系列(11) - Temporal Table JOIN》又介绍了单流与版本表的JOIN,...

2019-04-29 10:59:35

Apache Flink 漫谈系列(11) - Temporal Table JOIN

什么是Temporal Table在《Apache Flink 漫谈系列 - JOIN LATERAL》中提到了Temporal Table JOIN,本篇就向大家详细介绍什么是Temporal Table JOIN。在ANSI-SQL 2011中提出了Temporal 的概念,Oracle,SQLServer,DB2等大的数据库厂商也先后实现了这个标准。Temporal Table记录了...

2019-04-28 17:06:49

Apache Flink 漫谈系列(10) - JOIN LATERAL

聊什么上一篇《Apache Flink 漫谈系列 - JOIN算子》我们对最常见的JOIN做了详尽的分析,本篇介绍一个特殊的JOIN,那就是JOIN LATERAL。JOIN LATERAL为什么特殊呢,直观说因为JOIN的右边不是一个实际的物理表,而是一个VIEW或者Table-valued Funciton。如下图所示:本篇会先介绍传统数据库对LATERAL JOIN的支持,然后介...

2019-04-28 17:04:27

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。