- 博客(156)
- 收藏
- 关注
RSS订阅
原创 大数据平台安全建设实践
一、概述在大数据平台建设初期，安全也许并不是被重点关注的一环。大数据平台的定位主要是服务数据开发人员，提高数据开发效率，提供便捷的开发流程，有效支持数仓建设。大数据平台的用户都是公司内部人员。数据本身的安全性已经由公司层面的网络及物理机房的隔离来得到保证。那么数据平台建设过程中，需要考虑哪些安全性方面的问题？环境隔离，数据开发人员应当只需关注自己相关业务域的数据，也应该只能访问这一部分数据...
2019-02-27 11:44:56
7580
原创 大数据人才如此稀缺，学什么专业才能从事大数据？
随着国家对大数据政策的倾向，越来越多的人听说过这个名词，但是对它可能也是一知半解。今天时代兴华留学为大家精心整理了大数据相关的所有知识，以及美国开设数据科学专业学校的资料，希望对大家有所帮助。01什么是大数据？麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值...
2019-01-07 10:23:49
2723
1
原创 大数据平台建设方案(项目需求与技术方案)
一、项目背景 “十三五”期间，随着我国现代信息技术的蓬勃发展，信息化建设模式发生根本性转变,一场以云计算、大数据、物联网、移动应用等技术为核心的“新 IT”浪潮风起云涌，信息化应用进入一个“新常态”。***(某政府部门)为积极应对“互联网+”和大数据时代的机遇和挑战，适应全省经济社会发展与改革要求，大数据平台应运而生。在这里我还是要推荐下我自己建的大数据学习交流qq裙： 957205...
2018-12-27 10:47:30
47632
原创 十大开源技术让大数据工程师年薪百万不是梦
而第 95 百分位数（排名前 5%）则为 156,250 美元。2. 应用开发多年来，应用开发一直是 IT 招聘中最热门的领域之一，熟悉开源技术的开发者尤其有价值。在 Linux 基金会的调查中，59% 的管理人员将应用开发列为最受欢迎的开源技能之一。IT 专业人士也对应用开发进行了高度的评价，其中 44% 表示这是最抢手的技能之一。此外，有 77% 的 IT 专业人士表示，基于开源技术构...
2019-05-10 15:58:08
560
原创 如何成功转行大数据开发工程师？
首先，我个人进入大数据行业也纯属偶然，当年实习的时候做的是纯纯的Java开发，后来正式毕业了以后找了份Java开发的工作，本以为和大多数Java猿一样天天搞增删改查了，但是巧的是搞好部门有个做大数据开发的离职了，数据开发缺人手，然后领导就让我顶上了。刚开始什么Hadoop，HDFS也是各种不懂，只会写hive，因为毕竟有SQL基础嘛。再后来发现hive实现一些东西很麻烦，就开始学习spa...
2019-05-10 15:51:19
897
原创 大数据四大常识，不会你敢说自己在做大数据？
业务分析师，他们更像是随性的用户，想要用数据来实现主动数据发现，或者实现现有信息和部分预测分析的可视化。 企业经理，他们想要了解模型和结论。 IT开发人员，他们为以上所有类用户提供支持。如何选择最适合的大数据分析软件？分析师的专业知识和技能。有些工具的目标受众是新手用户，有的是专业数据分析师，有的则是针对这两种受众设计的。分析多样性。 根据不同的用户案例和应用，企业用户可能需要支持不...
2019-05-10 15:49:37
913
原创 如何成为月薪30-50K的大数据开发工程师？你看了吗？
这两天小编去了解了下大数据开发相关职位的薪资，主要有hadoop工程师，数据挖掘工程师、大数据算法工程师等，从平均薪资来看，目前大数据相关岗位的月薪均在2万以上，随着项目经验的增长工资会越来越高。那么对于新手来说，应该如何开始学习，才能够早日的实现月薪2万多的目标。就小编了解的来说，新手一般需要一年以上的时间才能够达到2万以上的薪资，目前很多人选择参加培训然后快速进入工作岗位，积累经...
2019-05-06 19:43:18
454
原创 自学大数据者请进：大数据学习线路及各阶段学习书籍、视频推荐
大数据学习路线及各阶段学习书籍推荐！废话不多说，直接切入主题，有需要的小伙伴可以参考学习！阶段一、大数据基础——java语言基础方面自学大数据者请进：大数据学习线路及各阶段学习书籍、视频推荐（1）Java语言基础Java开发介绍、熟悉Eclipse开发工具、Java语言基础、Java流程控制、Java字符串、Java数组与类和对象、数字处理类与核心技术、I/O与反射、多线程、Swin...
2019-05-03 11:01:25
471
原创 2019 JAVA工程师转大数据必备学习路线
简介人类正在从IT时代走向DT（Data Technology）的时代。以互联网、云计算、大数据和人工智能为代表的技术革命正在渗透至各行各业，改变着我们的生活。本文主要针对从事大数据开发的程序员们整理了整套的大数据学习相关的路线图和知识材料，希望能帮助到大家。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想...
2019-04-30 21:16:50
346
原创 BIG DATA（大数据）学习，开发者都在看这些
这里简单介绍几种我认为用的比较多的技术，因为我也仅仅是个大数据爱好者，所以有些观点可能不太标准，建议你对照着看。一、Hadoop可以说，hadoop几乎已经是大数据代名词。无论是是否赞成，hadoop已经是大部分企业的大数据标准。得益于Hadoop生态圈，从现在来看，还没有什么技术能够动摇hadoop的地位。这一块可以按照一下内容来学习：1、Hadoop产生背景2、Hado...
2019-04-29 21:59:12
510
原创 大数据能做什么
Hadoop和大数据是这两年最火的词儿们之一，越来越多的公司对这个东西感兴趣，但是我接触到的大多数公司里的人，无论是技术人员还是老板。都不知道怎么能把这些东西用于改善自己公司的业务。在解答的过程中，提炼出几个要点，记录一下。大数据和云是不是一回事？很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解加QQ...
2019-04-28 20:40:46
267
原创 大数据行业薪资有多少 如何去学习大数据开发
大数据行业薪资有多少？如何去学习大数据开发？现在很多想要学习大数据的小伙伴，都要首先了解的一个问题就是大数据的就业薪资问题。不是不舍得为自己投资，而是不敢冒然为自己投资，因为不了解投资能为自己带来多大的回报。所以，投资学习一门技术之前一定要先了解自己能不能将自己的回报率提高，能不能达到自己理想的成果。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学...
2019-04-26 21:46:41
367
原创 看或者不看，小白学习大数据的最详细的学习路线图就在这里
现如今大数据已经上升到国家战略层面，企业对于大数据的关注和重视程度也在不断提升。想要成为大数据工程师，大需要很多种基础理论知识与编程框架、分布式服务器等来支撑，这也是使得一个大数据工程师的人才要比做应用开发、做业务系统编程的人才缺的多。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解加QQ群740041381，有大...
2019-04-26 21:44:06
290
原创 如何进行大数据入门的学习
目前区块链行业在降温，但大数据行业依旧火爆，很多人都对大数据充满了兴趣，但其中有大部分人都是以前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不好大数据呢？答案当然是否定的。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，就算零基础的朋友也是完全可以掌握大数据的。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，...
2019-04-25 16:39:42
279
原创 2019最全大数据学习资源整理（值得收藏）
关系数据库管理系统(RDBMS)MySQL：世界最流行的开源数据库;PostgreSQL：世界最先进的开源数据库;Oracle 数据库：对象-关系型数据库管理系统。框架Apache Hadoop：分布式处理架构，结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统);Tigon：高吞吐量实时流处理框架。分布式编程AddTh...
2019-04-24 21:29:58
1351
1
原创 最全大数据学习资料，自取不谢！
“最近几年，大数据大热，预测2017年大数据将持续火爆下去。所以，大数据的学习已经刻不容缓了。不知道从何学起？别慌，小编已经帮你整理好了，最全大数据学习资料，自取不谢！”实验楼大数据学习https://www.shiyanlou.com/paths/bigdata系统化的大数据课程学习，你值得拥有。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什...
2019-04-24 19:49:13
1989
原创 零基础，在30岁学习大数据开发还有机会吗？
生活压力越来越大，家庭、房贷、车贷等压力像一座座大山压在30岁这批而立之年的人群。面对着行业的不景气，加薪、升职似乎都成为了遥不可及的事情。因此，很多从业者开始走向了转型的道路，纵观目前市场的发展，大数据开始成为首选。从去年开始，互联网上一直存在着这样的言论，比如：云服务普及了，运维工程师就要失业了；等DevOps或者SRE落地了，运维工程师也要失业了；容器技术普及了，...
2019-04-23 20:51:59
1832
原创 大数据开发学习路线图，你都学会了吗？
知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解加QQ群740041381，有大量干货（零基础以及进阶的经典实战）分享给大家，并...
2019-04-23 20:47:10
373
原创 学习大数据从何学起？大数据脑图+学习路线清晰的告诉你！
近些年，大数据的火热可谓是技术人都知道啊，很多人呢，也想学习大数据相关，但是又不知道从何下手，所以今天柠檬这里分享几个大数据脑图，希望可以让你清楚明白从哪里入门大数据，知道该学习以及掌握哪些知识点；当然还有自学教程分享哦！很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解加QQ群740041381，有大量干货（零基...
2019-04-22 22:43:24
318
原创 哪些人适合学习大数据呢？有难度吗？
在科技的一次次冲击之下，传统行业面临的困境也越来越多，寻求变革已经成为了一种必然。无论是电商行业的产生，还是移动营销模式的出现，都让传统行业感到压力，而如今，随着大数据出现，传统行业想要不被时代抛弃，转型已经迫在眉睫。而相对应的，大数据的出现也让众多的从业者看到来了新的发展机会。随着国家战略的支持和大数据技术的快速发展，大数据的应用场景在不断的深入，产生的影响也在不断的加大。马...
2019-04-22 21:28:24
474
原创 如何学习大数据？这才是完整的大数据学习体系！！
整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另：目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段：大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源头，数据从而而来，继而更好的了解大数据。通过...
2019-04-22 16:31:49
363
原创 转行进入IT行业，0基础学习大数据开发必备的基础有哪些？
IT行业发展速度快，市场需求大，而且，程序员薪酬高、福利待遇高，成为很多从业者向往的职业，当然，也刺激了很多非计算机专业的从业者进入该领域。转行进入IT行业在最近的几年一直是个热门，那么对于0基础的求学者，入行大数据开发需要什么基础呢？推荐下我自己建的大数据学习交流群:740041381，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（...
2019-04-21 18:41:24
323
原创 22个大数据开发处理框架平台和工具
1、MongoDB——最受欢迎的，跨平台的，面向文档的数据库。https://www.mongodb.com/MongoDB是一个基于分布式文件存储的数据库，使用C++语言编写。旨在为Web应用提供可扩展的高性能数据存储解决方案。应用性能高低依赖于数据库性能，MongoDB则是非关系数据库中功能最丰富，最像关系数据库的，随着MongDB3.4版本发布，其应用场景适用能力得到了进一步拓...
2019-04-21 18:29:32
2417
原创 人工智能和大数据开发需要注意的12点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点? 人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。 在我们新近翻译的《智能Web算法》中，对Pedro Domingos教授的观点进行了高度的概括，提炼出12个注意点，为行业开发实...
2019-04-21 18:19:17
320
原创 最全面的大数据学习路线图
一、入门准备1、linux操作基础Linux的介绍，Linux的安装：VMware Workstation虚拟软件安装过程、CentOS虚拟机安装过程Linux的常用命令：常用命令的介绍、常用命令的使用和练习（文件操作、用户管理与权限、免密登陆配置与网络管理）Linux系统进程管理基本原理及相关管理工具如ps、pkill、top、htop等的使用；Linux启动流程，运行级别详解，...
2019-04-19 18:37:56
312
1
原创 完整的大数据知识体系，大数据学习路线图
任何学习过程都需要一个科学合理的学习路线，才能够有条不紊的完成我们的学习目标。大数据所需学习的内容纷繁复杂，难度较大，有一个合理的大数据学习路线图帮忙理清思路就显得尤为必要。一、Java语言以java语言为基础掌握面向对象编程思想所涉及的知识，以及该知识在面向对象编程思想中的应用，培养学生设计程序的能力。掌握程度：精通。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个...
2019-04-18 18:29:06
203
原创 写给大数据开发初学者的话 | 附教程(转)
第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第十章：牛逼高大上的机器学习 互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网...
2019-04-16 11:14:42
227
原创 大数据、人工智能、机器学习与深度学习都是什么？有什么关系？
大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。大数据是人工智能的基础，而使大数据转变为知识或生产力，离不开机器学习（Machine Learning），可以说机器学习是人工智能的核心，是使机器具有类似人的智能的根本途径。互联网...
2019-04-15 10:23:01
399
原创 大数据经典学习路线，必看！！
1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要...
2019-04-11 21:49:05
343
原创 Docker系列教程04-Docker镜像常用命令
我们首先来讨论Docker镜像的常用命令。搜索镜像可使用docker search命令搜索存放在Docker Hub中的镜像。命令格式：dockersearch[OPTIONS]TERM参数：Name, shorthand Default Description --automated false 只列出自动构建的镜像 --filt...
2019-04-10 06:16:58
116
原创 王坚十年前的坚持，才有了今天世界顶级大数据计算平台MaxCompute
如果说十年前，王坚创立阿里云让云计算在国内得到了普及，那么王坚带领团队自主研发的大数据计算平台MaxCompute则推动大数据技术向前跨越了一大步。数据是企业的核心资产，但十年前阿里巴巴的算力已经无法满足当时急剧增长数据量的需求。基于Hadoop搭建集群是当时解决大规模数据计算的主流方案，Hadoop生态已经比较成熟，而且在规模上也可以解决当时阿里遇到的性能瓶颈。但刚加入阿里的王坚却另辟蹊径，决...
2019-04-09 11:35:40
143
原创 常见的七种Hadoop和Spark项目案例
大数据中比较火爆的Hadoop、Spark和Storm，最常见的七种项目你们是否已经了解到位了呢，下面一起了解一下吧一、数据整合称之为“企业级数据中心”或“数据湖”，这个想法是你有不同的数据源，你想对它们进行数据分析。这类项目包括从所有来源获得数据源(实时或批处理)并且把它们存储在hadoop中。 “企业级数据中心”通常由HDFS文件系统和HIVE或IMPALA中的表组成二、专业分析...
2019-04-04 12:17:47
184
原创 #大数据和云计算技术#: "四有"社区介绍
#大数据和云计算技术#社区，是专业技术社区。由一群来自BAT，华为等大厂资深架构师，技术人员业余自发组建，目的是共同学习，一起进步。社区“有文化”、“有分享”、“有美女”、“有红包”，谐称“四有”社区，下面分别来看看“四有”的内涵：①有文化①社区目前有9个微信群，2个QQ群，群人员有2500+，2个公众号《大数据和云计算技术&《hadoop技术学习》，粉丝1000...
2019-04-01 13:50:39
521
原创 大数据学习难度大吗？哪些人适合学习呢？
在科技的一次次冲击之下，传统行业面临的困境也越来越多，寻求变革已经成为了一种必然。无论是电商行业的产生，还是移动营销模式的出现，都让传统行业感到压力，而如今，随着大数据出现，传统行业想要不被时代抛弃，转型已经迫在眉睫。而相对应的，大数据的出现也让众多的从业者看到来了新的发展机会。随着国家战略的支持和大数据技术的快速发展，大数据的应用场景在不断的深入，产生的影响也在不断的加大。马...
2019-03-29 11:48:28
1049
1
原创 大数据零基础可以学吗?
学习大数据已然成为社会的大势所趋，随着传统公司的被迫更新，新兴公司的数据人才增多，大数据技术显得格外的重要。很多人想要站在大数据时代的风口却无从下手，不知道去哪学习大数据，哪里的大数据教的好。当大数据的大浪凶猛袭来时，要么你冲上浪尖，做时代的弄潮儿，要么被打入海底，做鱼儿的晚餐。大数据与云计算的未来发展趋势和前景已经非常的广阔， 未来的互联网就是大数据和云计算的天下，大数据和云计算技术将是每一...
2019-03-29 11:40:56
177
原创 大数据学习：带你从多个维度来分析大数据发展趋势
如今“大数据”已不再是单纯描述数据特征的词汇，而是一个多学科交融的热点研究领域，其背后有着复杂和深刻的新理念。今天我们带大家从“技术、工程、科学和应用”这四个维度分析大数据的研究现状与挑战，探讨未来研究的侧重点和发展趋势，如图3所示。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的人。我自己整理的一份最新的...
2019-03-26 11:23:08
1033
原创 2019怎样进行大数据的入门级学习？
大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）由于本人目前是是大数据工程师的角色，我就这个方向做一些介绍本回答目录:一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐（书籍、博客、网站）互联网科技发展蓬勃兴起，人工智能时代来临，抓住...
2019-03-18 12:33:08
131
原创 大数据入门，为什么到北京去学习更高效？
大数据如今正在快速发展，正在吸引着大批的从业者进入该领域。目前大数据人才供给指数仅为0.05，属于高度稀缺，且在BAT企业招聘的职位里，60%以上都在招大数据人才。人才的高端稀缺，意味着更好的发展前景。那么对于转型者该如何快速实现大数据入门呢？为什么众多的人会认为到北京去学习更高效呢？随着互联网时代的到来，北京成为了互联网的中心，当然，也成为了程序员的天堂。这里不想辩解什么，你...
2019-03-14 10:18:59
304
原创 2019年各大机构大数据学习路线
2019年5G手机将慢慢商业化，网速的提升将带动VR游戏连网、人工智能等产品的发展，而大数据将作为依托起重要作用。大数据人才的缺口依然很大，又一批高校开了大数据的课程足以说明大数据的重要性。很多想学大数据的朋友不知从何入手，而以下将显示几个知名机构的课程计划，让大家更快速知道目前流行的大数据学习方向。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联...
2019-03-10 14:32:33
265
原创 面试大数据分析师，你需要掌握的基础技术栈。
写在前面本文主要面向的读者是在校计算机/软件相关专业想踏足大数据领域寻找相关实习机会的学生，以及刚工作1-2年想转大数据方向的同学。读完本文，你将收获大数据技术学习的基本方向，以及在面试前需要准备和复习的常见面试题。❖正文：在数据时代的今天，大数据行业是最热门的行业之一。在大数据行业中，大数据分析师是需求量最大的岗位，很多高校也都专门开设了大数据专...
2019-03-08 10:22:37
2256
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人