- 博客(99)
- 收藏
- 关注
RSS订阅
原创 月薪30-50K的大数据工程师们，他们背后是如何学习的
这两天小编去了解了下大数据开发相关职位的薪资，主要有hadoop工程师，数据挖掘工程师、大数据算法工程师等，从平均薪资来看，目前大数据相关岗位的月薪均在2万以上，随着项目经验的增长工资会越来越高。那么对于新手来说，应该如何开始学习，才能够早日的实现月薪2万多的目标。就小编了解的来说，新手一般需要一年以上的时间才能够达到2万以上的薪资，目前很多人选择参加培训然后快速进入工作岗位，积累经...
2018-09-03 13:25:28
2383
原创 大数据就业前景如何？马云曾经说过大数据是未来顶峰时代应验了
根据教育部的数据，35所高校在中国开设了大数据专业。也就是说，高考报考可以直接汇报专业的主要数据。我要推荐下我自己建的大数据开发学习群：119599574，专注大数据分析方法,大数据编程，大数据仓库，大数据案例，人工智能,数据挖掘都是纯干货分享都是学大数据开发的，如果你正在学习大数据，欢迎初学和进阶中的小伙伴。2017年度主要数据就业展望根据大数据人才报告的报告，全国大数据人才...
2018-07-27 11:14:14
7173
1
原创 四种大数据分析方法 ，大数据学习入门必须掌握！
当刚涉足大数据挖掘分析领域的分析师被问及，大数据挖掘分析人员最重要的是什么时结果给出了答案是五花八门的答案。其实大数据挖掘分析领域最重要的能力是：能够将大数据转化为非专业人士也能够清楚理解的有意义的见解。理解大数据分析在挖掘大数据价值方面的重要性，是十分有必要的。简单地来说在大数据挖掘分析领域中，最常用的四种大数据分析方法：描述型分析、诊断型分析、预测型分析和指令型分析。一、大数据分析...
2019-09-23 11:00:41
3382
转载 如何更有效率的去学习大数据！
这段时间有很多人问小编如何学习大数据？ 既然这么多人问我，那就写篇文章，告诉大家，当然写这篇文章也是经过思考的，不是提笔就写，先介绍下我的基本情况，第一小编本人只是大数据中学习的小学生而已，不是什么大牛，也不是什么技术牛逼的神人，如果贸然动笔肯定会贻笑大方；另一方面大数据它本身领域博大精深，涵盖之广，技术种类之多确实很难用一篇文章说明。文章的目的就是希望给所有学习大数据规划一条比较清晰的学...
2018-11-28 13:16:33
449
转载 大数据主要学习什么？
学习大数据需要的基础1、java SE、EE（SSM） 90%的大数据框架都是Java写的2、MySQL SQL on Hadoop3、Linux 大数据的框架安装在Linux操作系统上- 需要学什么大数据离线分析 一般处理T+1数据（T：可能是1天、一周、一个月、一年） a、Hadoop ：一般不选用最新版本，踩坑难解决 （...
2018-11-26 14:51:00
1075
转载 大数据入门 是什么样的学习流程？
首先要学习Java语言和Linux操作系统，这两个是学习大数据的基础！javase要熟练掌握这是最基础的大数据是以编程为基础的Linux因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些。Hadoop的一些组件学明白你就能做大数据的处理了Zookeeper用来存放一些相互协作的信息让其它软件正常的run起来Mysql只需要掌握能在Linux上把它安装好，...
2018-11-25 13:03:33
320
原创 大数据要掌握哪些语言？怎样才能学好大数据？
大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。但是，大数据需要学习什么？ 01 思维导图我还是要推荐下我自己创建的大数据分享群142973723，这是大数据学习交流的地方，不管你是小白还是大牛，小编都欢迎，不定期分享干货，包括我整理的一份适合零基础学习的大数据资料和入门教程。下面的...
2018-11-11 14:33:28
824
原创 程序员如何转型热门大数据工程师
中关村，被称为中国硅谷，此间程序员比比皆是。然而一眼望去，大多数一线程序员的年龄均在20至30岁左右，40、50岁的人在这个行业内颇为罕见。相较于国外五六十岁仍奋斗在一线岗位的老程序员，国内为什么会出现这种现象？01国内四五十岁的程序员去哪儿了？造成这种现象的原因是多方面的。首先，程序员的工作大致可划分为两类：开发和研发，相对应的岗位则是开发工程师和研发工程师。开发工程师直接为产品贡献代码...
2018-10-12 12:04:40
269
原创 年薪50万大数据架构师教你Hadoop如何安装！还不快来看！
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high thro...
2018-10-11 12:54:44
237
原创 最详细的大数据之Hadoop分布式系统架构解析！没有之一！
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS（对于本文）的上一层是MapReduce引擎，该引擎由 JobTrackers 和 TaskTrackers 组成。通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具H...
2018-10-10 13:12:48
1034
1
原创 从业大数据方向，需要掌握哪些技能，具体学习路线是什么？
一、大数据相关工作介绍大数据方向的工作目前主要分为三个主要方向:1. 大数据工程师2. 数据分析师3. 大数据科学家4. 其他（数据挖掘等）二、大数据工程师的技能要求附上大数据工程师技能图：大数据学习资料分享群119599574 必须掌握的技能11条1. Java高级(虚拟机、并发)2. Linux 基本操作3. Hadoop（HDFS...
2018-10-09 12:18:42
1502
原创 想要学习大数据技术 这些基础你都掌握了吗
大数据技术前景我们是毋庸置疑的，而对于学习更是争先恐后。在这些人中，不乏有已经在it圈混迹好几年的程序员，自然也有初出茅庐的零基础小白。说实话，大数据不比编程学习，还是需要一定的基础的，那些说根本不需要基础的人，你出来，保证不打死你。在学习大数据技术之前，掌握编程是必须的，linux基础也是很有必要的。主要分析如下：大数据学习群119599574大数据技术学习，需要的基础之一：编程...
2018-10-08 13:20:09
261
原创 大数据学习系列——HIVE学习分区
分区查询Hive查询执行分区语法SELECT day_table.* FROM day_table WHERE day_table.dt>= '2008-08-08';分区表的意义在于优化查询。查询时尽量利用分区字段。如果不使用分区字段，就会全部扫描。Hive查询表的分区信息语法：SHOW PARTITIONS day_hour_table;大数据学习群119599574...
2018-10-07 11:38:08
285
原创 大数据怎么学习，在学习大数据之前，需要具备什么基础？
大数据又称黑暗数据，是指人脑无法处理的海量数据聚合成的信息资产，在民生、IT、金融、农业、通信等方面都有广泛应用。未来5年大数据行业呈井喷趋势，人才需求火爆，2018年大数据人才缺口更是高达900万。以后想要做大数据相关的工作，需要学习哪些技术知识?罗马不是一天建成的，大数据工程师也不是短时间能锻造的。想要成为大数据开发工程师，也要看你是否骨骼惊奇，天赋过人!在学习大数据之前，你还需要有一定的...
2018-10-06 12:04:53
1739
原创 大数据学习之小白快速了解flume
flume的整体基础架构包括三个，分别是source,chanel, sink. 下面是官网的截图：因此，优化要从三个组件的角度去分别优化。大数据学习群1195995741、sourcesources是flume日志采集的起点，监控日志文件系统目录。其中最常用的是 Spooling Directory Source ， Exec Source 和 Avro Source 。...
2018-10-05 11:49:57
242
原创 一步一步学习大数据：Hadoop 生态系统与场景
Hadoop概要到底是业务推动了技术的发展，还是技术推动了业务的发展，这个话题放在什么时候都会惹来一些争议。随着互联网以及物联网的蓬勃发展，我们进入了大数据时代。IDC预测，到2020年,全球会有44ZB的数据量。 传统存储和技术架构无法满足需求 。在2013年出版的《大数据时代》一书中，定义了大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Val...
2018-10-04 12:22:40
217
原创 大数据学习入门看什么书？大数据新手怎么入门？
大数据，big data，大数据是指不能用随机分析法(抽样调查)这样捷径，而采用所有数据进行分析处理。这句话至少传递两种信息：大数据是海量的数据，另外大数据处理无捷径，对分析处理技术提出了更高的要求。其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大...
2018-10-03 11:28:48
2845
原创 spark-使用总结-大数据基础入门
1、partition数目spark的输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Ta...
2018-10-02 11:35:44
293
原创 大数据入门级学习：SQL与NOSQL数据库
这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？大数据学习群119599574安装运行环境这样的坑，那些做...
2018-10-01 10:35:08
291
原创 弄清Spark、Storm、MapReduce的这几点区别才能学好大数据
很多初学者在刚刚接触大数据的时候会有很多疑惑，比如对MapReduce、Storm、Spark三个计算框架的理解经常会产生混乱。哪一个适合对大量数据进行处理？哪一个又适合对实时的流数据进行处理？又该如何来区分他们呢？我对比整理了这3个计算框架的基本知识，大家可以了解一下以便对这个3个计算框架有一个整体的认识。大数据学习群119599574MapReduce 分布式离线计算框...
2018-09-30 11:13:13
1531
原创 什么是大数据？大数据有什么用？【看大神来分析！】
什么是大数据大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。换而言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加工”实现数据的“增值”。随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，...
2018-09-29 10:00:40
326
原创 还在为那几千的工资起早贪黑，学好大数据年薪30万不是梦
2018年6月19日，备受关注的个人所得税法修正案草案迎来第七次大修，个税起征点由每月3500元提高至每月5000元(每年6万元)。对于大多数人来说这绝对是个好消息，但人们更愿意参加培训班实现高薪。近年来，随着互联网的飞速发展以及企业需要处理的数据不断增多，大数据人才成为急缺人才，薪资一再飙升。很多人想要学习大数据，不过要学习大数据需要哪些基础呢?下面就来给大家详细的分析一下。大数据学习群...
2018-09-28 10:29:08
265
原创 2018年大数据开发最新学习路线「学习资料」
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。大数据学习资料分享群119599574作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop...
2018-09-27 10:09:58
235
原创 大数据学习的三个“敲门砖”
“第一砖”从相认到相识什么是大数据？可能有人会说写字楼的所有人的资料信息就是个大数据。NO！这里的数据只能说比较大，但却不能称之为大数据。百度百科上给出了很明确的解释“大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”大数据学习资料分享群11...
2018-09-26 19:17:13
238
原创 大数据初学者怎样学习？Java工程师怎么转行大数据？
最近好多人都在问我，大数据怎么学，java怎么转大数据，今天就给大家分享一下。大数据初学者怎样学习 或Java工程师怎么转大数据大数据现在很火很热，但是怎么学习呢？下面我给大家分享一下：大数据学习群119599574首先给大家普及一下大数据相关知识大数据的4大特征：1.数据在体量方面很大，比如说文字，有各种各样的来源，有电子书|实体书|杂志|报刊等，它们的数据大吧。2.数...
2018-09-21 11:37:37
521
原创 大数据学习之Hadoop如何高效处理大数据
Hadoop与Google一样，都是小孩命名的，是一个虚构的名字，没有特别的含义。从计算机专业的角度看，Hadoop是一个分布式系统基础架构，由Apache基金会开发。Hadoop的主要目标是对分布式环境下的“大数据”以一种可靠、高效、可伸缩的方式处理。设想一个场景，假如您需要grep一个100TB的大数据文件，按照传统的方式，会花费很长时间，而这正是Hadoop所需要考虑的效率问题。大数据学习群...
2018-09-20 11:12:30
1495
原创 大数据Hadoop学习之了解Hadoop
关于大数据，一看就懂，一懂就懵。大数据的发展也有些年头了，如今正走在风口浪尖上，作为小白，我也来凑一份热闹。大数据经过多年的发展，有着不同的实现方案和分支，不过，要说大数据实现方案中的翘楚，那就是Hadoop了，因其开源、稳定等因素，受到了业界的承认和欢迎，那我们就来窥视一下Hadoop。大数据学习资料分享群119599574一、什么是Hadoop？ 1、 Hadoop是Apa...
2018-09-19 12:40:00
205
原创 大数据入门学习：SQL与NOSQL数据库
这几年的大数据热潮带动了一激活了一大批hadoop学习爱好者。有自学hadoop的，有报名培训班学习的。所有接触过hadoop的人都知道，单独搭建hadoop里每个组建都需要运行环境、修改配置文件测试等过程。对于我们这些入门级新手来说简直每个都是坑。国内的发行版hadoop那么多，似乎都没有来填这样的坑？不知道是没法解决，还是没有想到？安装运行环境这样的坑，那些做国产大数据底层开发的，如果不能解...
2018-09-18 12:35:12
1310
原创 从0开始学大数据-（Java基础开篇）
我们从零开始学习大数据技术，从java基础，到Linux技术涉猎，再深入到大数据技术的Hadoop、Spark、Storm技术，最后到大数据企业平台的搭建,层层递进，由点到面！希望技术大牛能过来指导学习。一、序言：2017年，这一年人才市场发生了巨大的变化，经历了O2O、P2P、互联网+、共享经济、大数据、AI和区块链等，互联网行业的各大公司也都走在风口浪尖，不断的寻求突破。传统企业更加不...
2018-09-17 12:43:34
1475
原创 大数据技术学习路线，该怎么学？
如果你看完有信心能坚持学习的话，那就当下开始行动吧！一、大数据技术基础 1、linux操作基础linux系统简介与安装linux常用命令–文件操作linux常用命令–用户管理与权限linux常用命令–系统管理linux常用命令–免密登陆配置与网络管理linux上常用软件安装linux本地yum源配置及yum软件安装linux防火墙配置linux高级文本处理命令cut、se...
2018-09-16 11:53:44
159
原创 快速学习hadoop需要哪些基础？
“学习hadoop需要什么基础”这已经不是一个新鲜的话题了，随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗？用一句特别让人无语的话回答就是：难不会，会不难！大数据学习资料分享群119599574写了一些hadoop学习分享的文章。刚开始写的几篇稍微有点乱，其中有一篇就是在说学习hadoop需要什么样基础的。所谓的难...
2018-09-15 14:45:01
1151
原创 大数据学习|小白学习大数据需要满足这六个条件你就能学好大数据
有很多学习大数据的朋友，在初期学习时，通常会对如何学习而感到迷茫。我经常收到零基础的朋友关于如何入门、如何规划学习大数据、大数据的学习流程是什么的一些问题。今天我就粗浅的总结几点学习大数据方法。大数据学习资料分享群119599574一、兴趣建立兴趣是可以让一个人持续关注一个事物的核心动力,那么兴趣的培养就非常重要了。如果你把写程序单纯作为赚钱手段，久而久之疲劳感会越来越强，会给今后的工作...
2018-09-14 12:55:05
440
原创 大数据学习之路（跟着大神学习一波）
前言：一、背景介绍二、大数据介绍正文：一、大数据相关的工作介绍二、大数据工程师的技能要求三、大数据学习规划四、持续学习资源推荐（书籍，博客，网站）五、项目案例分析（批处理+实时处理） 大数据学习群：119599574前言一、背景介绍本人目前是一名大数据工程师，项目数据50T，日均数据增长20G左右，个人是从Java后端开发，经过3个月的业余自学成...
2018-09-13 12:22:38
12853
原创 超详细的大数据学习误区全在这，看完想走弯路都难！
本次就和大家分享到底要怎么学习大数据，以及怎么避免大数据学习的误区，以供参考。 （1）大数据学习要业务驱动，不要技术驱动：数据科学的核心能力是解决问题。大数据的核心目标是数据驱动的智能化，要解决具体的问题，不管是科学研究问题，还是商业决策问题，抑或是政府管理问题。所以学习之前要明确问题，理解问题，所谓问题导向、目标导向，这个明确之后再研究和选择合适的技术加以应用，这样才有针对性，言必had...
2018-09-12 12:10:01
311
原创 Java软件开发者，如何学习大数据？
正常来讲学习大数据之前都要做到以下几点1.学习基础的编程语言(java,python)2.掌握入门编程基础（linux操作，数据库操作、git操作）3.学习大数据里面的各种框架（hadoop、hive、hbase、spark）这是正常学习大数据必须要做到的三个步骤，如果有了java基础再去学习基本上已经成功了一半，起码不用为了基础语言的学习而恼火了。真正的大数据的学习不能仅...
2018-09-11 12:46:07
1665
原创 什么条件下 零基础转行学大数据容易成功
近年来，大数据以迅猛的发展速度渗透进人们生活的方方面面。大数据是信息化发展的新阶段，随着信息技术和人类生产生活交汇融合，互联网飞速普及，全球数据呈现爆发增长、海量集聚的特点，对经济发展、社会治理、人民生活都产生了重大影响。大数据掀起了科技发展的浪潮，学习大数据的人越来越多，由之前的计算机专业逐渐像零基础跨度，零基础大数据培训班去哪个好呢？大数据学习资料分享群：119599574谈起零基...
2018-09-10 12:03:50
1030
原创 Linux基础入门---学习心得
之前一直以为Linux和Windows差不多，但是学习了Linux基础入门之后才发现两种操作系统之间差距非常大。 Linux只是在硬件之上的内核和系统调用，就连我们在Windows里习以为常的图形界面都是Linux上的软件。在使用Linux的时候，我们都习惯于使用终端和命令行进行操作，而不是像Windows那样的图形界面里的鼠标键盘的共同操作。物理机系统可通过[Ctrl]+[Alt]+[F...
2018-09-09 11:43:45
468
原创 我们应该如何学习大数据?大数据大牛都是怎么学习的？
前言： 对于大数据的学习，很多人都觉得这种技术性知识的学习，更多的是需要专业讲师的知道才能更加高效的学习，那么对于大数据的学习，很多人都觉得这种技术性知识的学习，更多的是需要专业讲师的知道才能更加高效的学习，那么专业讲师又是以怎样的方式教授知识的呢?今天我们就跟随小编一起来看看大数据技术是如何学习的？大数据学习系列分享群119599574”大数据学习路线”，大致氛围五大阶段，主要内容如下：...
2018-09-08 12:50:45
526
原创 学习大数据要什么基础知识？学到什么程度才能从事大数据行业？
因为大数据前景好，薪资高，很多人想通过参加学习大数据，然后进入大数据行业发展。但是因为大数据的门槛较高，对于学习人员有一定的要求，那么学习大数据需要什么基础知识呢？首先我们了解下对于大数据学习者本身的学历水平的要求目前大多数的机构，对于大数据学习者要求必须是大专学历以上，而且大专学历还要求是计算机相关专业的，如果是本科及本科以上的，则对专业要求适当的放宽。同时大数据分为两大方向：大数据...
2018-09-07 11:58:17
4055
1
原创 大数据时代，从零学习数据思维
为什么选择数据分析其实直到3个月前，我还不知道数据分析是什么。不知道的原因是一直以来我从事的都是医学相关专业。在这里我想推荐漫画家蔡志忠老师的演讲——《我觉得努力是没有用的》（不是打广告），我就是在看了这场演讲之后，毅然决定从新选择一条职业道路。大数据学习资料分享群119599574努力的前提，是先选好自己要走的路，这点很重要。最近一段时间我陆续了解过很多行业，从工作内容、...
2018-09-06 12:41:35
243
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人