- 博客(150)
- 收藏
- 关注
RSS订阅
原创 大数据系列 1：大数据技术发展历程
2014 年，马云提出，“人类正在从 IT 时代走向 DT 时代”。如果说在 IT 时代是以自我控制、自我管理为主，那么到了 DT（Data Technology） 时代，则是以服务大众、激发生产力为主。在 DT 时代，人们比以往任何时候更能收集到更丰富的数据。数据正在变革我们的生活，催生了大数据行业的发展。百度百科中这样定义大数据（big data），指无法在一定时间范围内用常规软件...
2018-12-30 14:14:23
6783
原创 数据治理怎么做？这篇万字长文终于讲清楚了！
引言：股份制改革对我国银行业来说只是一个开始，企业在风险管理、创造价值等方面还有很长的路要走。风险管理要求提供精准的数据模型、创造价值要求充分银行数据资产，这是数据治理的外部推动因素。此外，随着第三次工业革命的到来，银行业也需要进入定制化时代，以更低的成本，生产多样化的金融产品，从而满足不同顾客的不同需求。对数据本身而言，业务发展加快了数据膨胀的速度，也带来了数据不一致等问题，业务部门的频繁增...
2018-10-27 13:53:01
68939
4
原创 大数据开发都需要什么技术？
大数据是对海量数据存储、计算、统计、分析等一系列处理手段，处理的数据量是TB级，甚至是PB或EB级的数据，是传统数据处理手段无法完成的，大数据涉及分布式计算、高并发处理、高可用处理、集群、实时性计算等等，汇集的是IT最热门、最流行的IT技术，大数据是机器学习、深度学习、AI等尖端可以领域的基础架构。 大数据技术为决策提供依据，在政府、企业、科研项目等决策中扮演着重要的角色，在社会治理和企业管...
2019-05-09 19:46:00
652
原创 大数据开发过程中的5个必备通用步骤
大数据的开发过程，如图1-1所示。图 1-1大数据开发通用步骤图上图只是一个简化后的步骤和流程，实际开发中，有的步骤可能不需要，有的还需要增加步骤，有的流程可能更复杂，因具体情况而定。下面以Google搜索引擎为例，来说明以上步骤。1. 大数据采集Google的数据来源于互联网上的网页，它们由Google Spider（蜘蛛、爬虫、机器人）来抓取，抓取的原理也很...
2019-05-09 19:43:07
598
原创 新手如何学习大数据？完整的大数据学习体系你看了吗？
整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另：目前企业中无疑例外是使用Linux来搭建或部署项目的第二阶段：大型网站高并发处理本阶段的学习是为了让大家能够了解大数据的源头，数据从而而来，继而更好的了解大数据。...
2019-05-09 19:38:24
607
原创 大数据发展和就业前景好吗大数据人才缺口有多大？
马上就高考了，大多考生都会面临与高考同样重要的问题：志愿填报。今年有一个获批的新增专业备受瞩目——数据科学与大数据技术。“大数据”概念再火热，填报志愿的学生和家长也要冷静，这几个问题必须先想好：当前大数据行业真的是人才稀缺吗?学了几年后，大数据行业会不会产能过剩?大数据行业最终需要什么样的人才?“热门专业”填报，有哪些注意点?接下来科多大数据就带你们看看分析结果：当前大数据行业真的是人才...
2019-05-09 19:33:48
606
原创 0基础小白如何轻松学习大数据？这些必备的学习路线你都知道吗？
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。希望能为你开始学习大数据的征程提供帮助，以及在大数据产业领域找到工作指明道路。推荐下我自己建的大数据学习交流群:957205962，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包...
2019-05-06 21:42:36
318
原创 BAT的大数据开发工程师学习心得，年薪50W不是梦
大数据是眼下最带感的技术名称之一，大数据行业的火爆发展也自然也衍生出了一些与大数据相关的职业，比如互联网数据分析师、数据工程师等等，通过对数据的挖掘分析来影响企业的商业决策已屡见不鲜作为IT类职业中的“大熊猫”，大数据开发工程师的收入待遇可以说达到了同类的顶级，国内IT、通讯、行业招聘中，有10%都是和大数据相关的，而据了解，在国内顶尖互联网类公司，同一个级别大数据开发工程师的薪酬可能要比其他...
2019-05-06 15:02:03
271
原创 什么是大数据？怎么理解大数据？有哪些作用和应用场景？
想必大家听到大数据这个词，已经如同家常便饭这么频繁了吧？可大数据究竟是个什么东东？大数据可以用来做什么？目前大数据有哪些应用呢？大数据的概念是什么？最早提出大数据的是麦肯锡公司，当时的定义是：渗透在每一个行业和业务领域的数据，通过人们对这些海量数据的挖掘和运用，产生出一波新的生产率增长和消费者盈余浪潮。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，...
2019-05-03 18:20:14
6407
原创 大数据技术知识的学习及其切入点
大数据在越来越多的领域得到了关注，将成为今后很长时间内科研、技术、产业、市场的焦点。作为大数据技术的学习者和应用开发者，应该从哪个角度入手掌握大数据技术? 在目前纷繁复杂的各类教材和参考书中如何选择适合自己的书籍? 本文介绍并分析了学习大数据技术时，需要考虑的问题。很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解，想...
2019-04-30 21:12:39
289
原创 零基础学习大数据开发，自学不如这样学更能事半功倍！
大数据作为当下高薪、高就业率的热门行业，吸引了众多想要入行的学习者，如想从传统行业转型的，还有刚刚毕业的大学生等，其中不乏很多0基础者，面对全新的行业，全新的知识领域，怎样学习才能更快的了解行业，掌握从业技能呢？作为零基础者学习大数据，不建议自学，因为目前市面上、网络上的学习资料较少，相关书籍虽然有但适宜入门的又少之又少，知识获取途径比较狭窄，加之行业内人才量少，也就没有那么多专业人士可以...
2019-04-29 22:04:24
278
原创 学习大数据是否有前途 大数据整个行业怎么样
学习大数据是否有前途？大数据整个行业怎么样？近几年，大数据不可谓不火，尤其是今年，发展大数据产业被写入政府工作报告中，大数据开始不只是出现在企业的战略中，也开始出现在政府的规划之内，可以说是互联网世界的宠儿。那想要掌握大数据技术，大数据发展前景怎么样，这个行业有前途吗？很多初学者，对大数据的概念都是模糊不清的，大数据是什么，能做什么，学的时候，该按照什么线路去学习，学完往哪方面发展，想深入了解...
2019-04-26 21:58:30
2148
2
原创 大数据认知阶段——如何学习大数据相关技术
已经看了大数据相关知识一阵时间了，自己也是从新手开始的，所以看了大量的大数据如何入门的技术，下面记录总结下自己学习的内容。一、大数据学习前期知识储备在学习大数据前，需要对云计算、虚拟化、Linux、JAVA这几个方面都需要了解，下面简单阐述下这几个方面的概念。1.云计算所谓的云计算，指的就是把你的软件和服务统一部署在数据中心，统一管理，从而实现高伸缩性。云计算的部署方...
2019-04-26 21:48:35
479
原创 最详细的大数据学习路线图，【新手必备】
一、入门准备1、linux操作基础在这里还是要推荐下我自己建的大数据学习交流群:740042381，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。Linux的介绍，L...
2019-04-24 21:38:43
624
原创 2019大数据学习路线指南
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据入门，需要学习以下这些知识点：先附上一张自己总结的学习线路图1、Java编程技术Java编程技术是大数据学...
2019-04-24 21:34:28
230
原创 学习大数据，公司常用开发的编程语言是什么？
近有不少初学者来问到，学习大数据，学习spark公司主要使用那些语言编写，每听到这一个问题，起码还是很不错的，证明你已经开始学习大数据了，并了解大数据Spark是可以使用多种语言来实现开发的，那就是Java、Scala、Python和R语言都可以使用，那简单分析一下：首先Java，是现阶段使用较为居多，为什么呢？是由于玩Java转到大数据人数太多人的缘故，所以很多人都喜欢使用Java...
2019-04-23 20:41:16
319
原创 最新Hadoop大数据开发学习路线图
Hadoop发展到今天家族产品已经非常丰富，能够满足不同场景的大数据处理需求。作为目前主流的大数据处理技术，市场上很多公司的大数据业务都是基于Hadoop开展，而且对很多场景已经具有非常成熟的解决方案。作为开发人员掌握Hadoop及其生态内框架的开发技术，就是进入大数据领域的必经之路。下面详细介绍一下，学习Hadoop开发技术的路线图。Hadoop本身是用java...
2019-04-23 20:38:00
242
原创 学习大数据必须掌握这些基础！
身处21世纪的今天，数据分析行业急剧发展，越来越多的企业已经意识到大数据分析的重要性和发展潜力，同时越来越多的传统行业公司开始转型升级，开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生，基于自己的文科背景担忧自己能否零基础入门大数据行业，毕竟隔行如隔山，到时学不进去又误了自己找工作的时间，也是左右皆空啊；或许你刚毕业一两年，当初浑浑...
2019-04-22 21:20:33
328
原创 如何转型成为年薪40万的大数据开发工程师
前几天，网易云音乐公布了一份年度音乐总结。结果中有暖心的，自然也有扎心的。然而，让我更惊叹的是在这个大数据时代底下，比起我们自己，大数据似乎更懂得我们。如果科技更进一步，就像《奇葩说》中一集辩题里所说的，它有可能可以帮我们匹配到那个灵魂相契的人。有人觉得这个现象很恐怖，但在我看来，人的恐惧是源自于未知。如果能顺应着时代的步伐，一起向前，对它了解再加深一点，也许我们就会爱上它。...
2019-04-21 17:56:18
412
原创 Java开发者想尝试转行大数据，系统学习方向分享？
前言相信很多Java开发者都对大数据有一定的了解，随着大数据时代的到来，也有很多Java程序员想要转行大数据。大数据技术中大多数平台使用的都是Java语言，因此，对于大数据技术的学习来说，Java程序员已经占尽了先机。但是很多人对大数据该怎么学，学哪些内容和方向不是很了解，下面就给大家来详细讲一下。在这里还是要推荐下我自己建的大数据学习交流群:740041381，群里都是学大...
2019-04-21 17:50:55
261
原创 从小白到大数据技术专家的学习必经之路！！
最近有很多人问我，大数据是怎么学?需要学什么技术以及这些技术的学习顺序是什么?今天有时间我把这个问题总结成文章分享给大家。大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。大数据是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长!大数据学习群：7400413...
2019-04-19 18:46:45
238
原创 完整的大数据知识体系，大数据学习路线图
任何学习过程都需要一个科学合理的学习路线，才能够有条不紊的完成我们的学习目标。大数据所需学习的内容纷繁复杂，难度较大，有一个合理的大数据学习路线图帮忙理清思路就显得尤为必要。一、Java语言以java语言为基础掌握面向对象编程思想所涉及的知识，以及该知识在面向对象编程思想中的应用，培养学生设计程序的能力。掌握程度：精通互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为...
2019-04-15 10:26:11
209
原创 ,大数据分析项目实战,还不快看
随着大数据相关技术的发展，大数据在行业内的应用越来越广泛，大数据又分为数据采集、数据清洗、数据存储、数据建模、数据呈现等多个环节。由于缺乏对应的大数据人才，以及国家对大数据的支持，目前很多人都开始关注大数据领域。考虑到很多人想了解大数据，我们特地准备了一个关于大数据可视化分析的项目实战课，里面包含多个大数据分析项目的讲解和演示，每周两到三次。具体的信息说明在最后。在这里还是要推荐下我自己...
2019-04-13 16:35:21
1094
1
原创 大数据的入门级学习详细路线，初学者必看！！
已经火了很久了，一直想了解它学习它结果没时间，了解了一些资料，结合我自己的情况，整理了一个学习路线。想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群740041381，欢迎想学习，想转行的，进阶中你加入学习。1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件...
2019-04-11 22:09:13
624
1
原创 【眼前一亮！】看Hadoop底层算法如何优雅的将大规模集群性能提升10倍以上？
一、前情概要这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下，大量客户端并发写数据的时候，文件契约监控算法的性能优化。二、背景引入先给大家引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，大家觉得这个事儿能成吗？明显不可以接受啊，兄弟们，HDFS上的文件是不允许并发写的，比如并发的追加一些数据什么的。所以说，HDFS里有一个机制，叫做文件...
2019-04-10 07:06:24
207
原创 2019应该怎样正确学习大数据?
在技术论坛中或知乎上，看到近几万的冤家都在疑惑，学习Java应该选择什麼展开方向，这个我们在之前的文章中有提到过，Java展开在范围上有三个选择方向：这是全国最大的大数据学习交流的地方，2000人聚集，不管你是小白还是大牛，小编我都挺欢迎，今天的已经资讯上传到群文件，不定期分享干货，在这里还是要推荐下我自己建的大数据学习交流群:740041381，群里都是学大数据开发的，如果...
2019-04-09 10:36:12
220
原创 云HBase之OpenTSDB时序引擎压缩优化
本文根据演讲视频以及PPT整理而成。本文将主要围绕以下四个方面进行分享：OpenTSDB的介绍 OpenTSDB的常见问题 OpenTSDB的压缩优化 云OpenTSDB的使用模式 想要在大数据这个领域汲取养分，让自己壮大成长。分享方向，行动以前先分享下一个大数据交流分享资源群740041381 ，欢迎想学习，想转行的，进阶中你加入学习。本文首先会对OpenTSDB简...
2019-04-04 12:59:33
349
原创 还在追剧《都挺好》？学习大数据要趁早
最近热播的家庭伦理电视剧《都挺好》已收官，搞得都没有剧可追了，每个人物角色的塑造，都是大家茶余饭后讨论的热点。《都挺好》最作的苏大强boss都“沉默”了；最浪的苏明成二公子都道歉了，也努力工作了；最缺乏家的幸福感的苏明玉小姐姐也过上幸福的年了；最希望一家人团圆的苏明哲大哥哥也如愿以偿了。这一切的结局确实印证了片名“都挺好”，确实都挺好。 想要在大数据这个领域...
2019-04-01 13:46:51
657
原创 279.11G 大数据学习资料分享
为什么是 279.11G ？小编本来打算分开分享的，想了下太麻烦了，还是一次性分享的比较好，所以看了下整理的大数据资料，除了电子版外，总共 279.11G，所以后面很长一段时间会不考虑分享大数据资料，需要的同学抓紧了。总共是几份教程呢？总共 6 份教程这 6 份教程并不都是纯粹的讲解大数据具体知识点的，其中有的是针对大数据的趋势作分析，还有对大数...
2019-03-29 11:37:13
255
1
原创 入门科普：Python、R、大数据、云计算最全学习资源都在这里
导读：本文写给有抱负的新兴数据科学家、知道各种专业知识的程序员，还有那些不懂任何编程技巧的初学者。本文提供了简单的教程和可实践的分析，而不是理论。我还试图将Python与R结合起来，为学习者提供对比的方法。01 什么是PythonPython是一种编程语言，可以让你更快地工作，并且能够更有效地集成系统。Python语言由Guido van Rossum开发。你...
2019-03-26 11:47:53
405
原创 大数据工资这么高，零基础可以学习吗?
大数据工资这么高，零基础可以学习吗? 目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢?答案当然是否定的。 大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。 零基础学习大数据一般有以下几步： 了解大数...
2019-03-26 11:36:02
387
原创 大数据学习方向，从入门到精通
很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，...
2019-03-18 12:26:37
279
原创 学习大数据需要什么基础？
身处21世纪的今天，数据分析行业急剧发展，越来越多的企业已经意识到大数据分析的重要性和发展潜力，同时越来越多的传统行业公司开始转型升级，开始引入并发展专属自己的大数据分析部门及岗位。由此也滋生了越来越多的人想进入大数据领域——或许你是即将毕业的大学生，基于自己的文科背景担忧自己能否零基础入门大数据行业，毕竟隔行如隔山，到时学不进去又误了自己找工作的时间，也是左右皆空啊；或许你刚毕业一两年，当初浑浑...
2019-03-14 10:13:47
488
原创 大数据深度分析 让学习比简单更简单
参加中级会计职称考试的考生，大多都是年龄偏大，有数年工作经验且有家庭、有孩子，工作忙碌同时还得兼顾家务事，用来学习的时间少之又少。如何利用有限的时间高效学习，这也成了大龄考生们心灵深处的“痛”。我们来算笔帐，中华会计网校中级会计职称基础班的课时数40-50小时/门，如果你是在职考生，一周13个小时的学习时间应该可以保证，即周一到周五每天下班后1个小时，周末两天8个小时。这样你一...
2019-03-10 14:37:21
570
原创 大数据信息时代
背景：近几年来，中国的广告业进入了一个空前活跃时期，无论是广告公司的数量，从业人数，还是广告营业额，都呈现迅速增长的态势。广告市场犹如一块大蛋糕，众多广告公司前来分割而食，使广告经营单位和从业人员急速增加，人员良莠不齐，懂经营管理的少，小本经营的多。号百从黄页时代就开始从事传媒这块业务，专业、权威、规模大,值得信赖。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些...
2019-03-08 12:33:23
927
原创 年后跳槽高峰！起薪28万的数据岗位，人才缺口达150万，不限专业学历……
随着人工智能、大数据时代的到来，未来决定商业竞争的，已不再是简单的企业或个人间的较量了。数据交互和更新的速度与日俱增，技术创新的节奏越来越快，一场新的商业革命、职场革命已经悄然发生。数据分析是最“值”的职场技能无论是选择职业发展，还是只学个新技能提高业务能力，数据分析都成为了首选，是要尽早掌握的必备技能。企业人才需求调研数据显示：1.数据分析人才稀缺，正值高薪红利期...
2019-03-07 13:16:33
251
原创 大数据零基础学习并不难，从0到1你需要的不仅仅是努力！
大数据是一种具备“颠覆性”的思维方式、一项智能的基础设施、一场创新的技术变革。在AI、VR、AR、区块链、智慧城市等领域都展现着巨大的影响力。如今，大数据的发展速度特别快，但与之相对应的是人才的极度稀缺，而这也就吸引了大批的求学者进入大数据领域。那么大数据零基础学习难吗？从小白过渡到大数据专业人才需要多长时间呢？互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方...
2019-03-06 10:36:04
480
原创 大数据分析未来财富管理谁会脱颖而出？
近日来，中信、银河、兴业，多家头部券商纷纷将经纪业务部门改名为财富管理部门。一时间，财富管理成为行业转型的新风标。本篇研报，我们聚焦国际大行从事财富管理业务的背景，剖析做大财富管理业务的核心要素，为国内同行提供借鉴，并寻找通过财富管理提升ROE的券商投资标的。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为时间不够，资源不足而放弃的...
2019-03-05 09:49:29
1277
原创 实用好文：知乎实时数仓架构实践及演进
“数据智能” (Data Intelligence) 有一个必须且基础的环节，就是数据仓库的建设。同时，数据仓库也是公司数据发展到一定规模后必然会提供的一种基础服务。从智能商业的角度来讲，数据的结果代表了用户的反馈，获取结果的及时性就显得尤为重要，快速的获取数据反馈能够帮助公司更快的做出决策，更好的进行产品迭代，实时数仓在这一过程中起到了不可替代的作用。互联网科技发展蓬勃兴起，人工...
2019-03-04 10:05:25
2798
原创 大数据在医疗行业中的5种应用
大数据正在改变全球绝大部分行业，医疗业也不例外。通过对医疗数据的分析，人类不但能够预测流行疾病的爆发趋势、避免感染、降低医疗成本等，还能让患者享受到更加便利的服务。医生往往都希望尽可能多地收集病人信息，尽早发现疾病，对于患者来说，不但降低了身体健康受损的风险，同时也能够减少医疗支出。互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个风口。为帮助那些往想互联网方向转行想学习，却因为...
2019-03-02 11:13:32
1595
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人