- 博客(47)
- 收藏
- 关注
RSS订阅原创 大数据处理需要用到的九种编程语言
随着大数据的热潮不断升温，几乎各个领域都有洪水倾泻般的信息涌来，面对用户成千上万的浏览记录、记录行为数据，如果就单纯的Excel来进行数据处理是远远不能满足的。但如果只用一些操作软件来分析，而不怎么如何用逻辑数据来分析的话，那也只是简单的数据处理。替代性很高的工作，而无法深入规划策略的核心。当然，基本功是最不可忽略的环节，想要成为数据科学家，对于这几个程序你应该要有一定的认识：...
2019-09-12 21:59:49
6144
原创 大数据专业到底有多火？
2017 2018大数据为什么这么火热，从以下方面来看：人民日报官方微信公众平台发布了一篇文章，公布已有35所高校获批“数据科学与大数据技术”专业，使大数据受到更多家长的关注，大数据也被越来越多的人重视。高校开办相关专业也不能缓解大数据人才稀缺的现状，毕竟专业是2017年开办，最早的一批毕业生也要3.4年以后了，远水救不了近火，所以，快速学习成为必要。全球顶尖管理咨询公司麦肯锡(McK...
2019-09-12 21:59:47
901
原创 Spark入门介绍
前言Spark自从2014年1.2版本发布以来，已成为大数据计算的通用组件。网上介绍Spark的资源也非常多，但是不利于用户快速入门，所以本文主要通从用户的角度来介绍Spark，让用户能快速的认识Spark，知道Spark是什么、能做什么、怎么去做。Spark是什么摘用官网的定义：Spark是一个快速的、通用的分布式计算系统。提供了高级API，如：Java、Scala、Pyth...
2019-09-10 21:59:41
656
原创 Hadoop技术优缺点详解
给大家介绍一下关于Hadoop技术的优缺点，目前我们正被数据包围，全球43亿部电话、20亿位互联网用户每秒都在不断地产生大量数据，人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微博、点击广告等，使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领导地位的互联网公司，如Facebook、谷歌、雅虎、亚马逊、腾讯等提出了挑战。它们需要对TB级别和PB级别的数据进行分析处...
2019-09-10 21:59:39
1796
原创 适合低学历的大数据学习方法：大数据采集，大数据分析，大数据存储就该这样学！
大数据采集01—概览02—相关延展系统日志数据的采集Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它够从各种日志源上收集日志，存储到一个中央存储系统上，以便于进行集中的统计分析处理。 Scribe为日志的“分布式收集，统一处理”提供了一个可扩展的、高容错的方案。（老师收学生信息表，需要班长代理收集的例子）。...
2019-09-09 21:03:01
472
原创 大数据架构体系与Hadoop生态系统
先说Hadoop什么是Hadoop？Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统，主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算，充分利用集群的威力进行高速运算和存储。Hadoop的核心有两大板块：HDFS和MapReduce。HDFS全称Hadoop Distributed File System，是一种分布式文...
2019-09-08 21:59:39
3015
原创 大数据技术的知识图谱
当今及将来很长的時期内，互联网大数据将变成开发设计和运用的重中之重。对比于别的行业的互联网大数据，比如交通出行互联网大数据、金融大数据、医疗大数据、政务服务互联网大数据这些，大数据的综合性更强、具有互联网大数据的各种各样典型性特点，是学习培训云计算技术最好是的突破口。文中梳理了大数据有关关键技术性的Knowledge Graph，勾勒了关键知识结构图、基础知识以及他们中间的关键关联。这种技术...
2019-09-08 21:59:36
7551
1
原创 什么是大数据架构？需要学什么内容？
大数据架构设计用来处理对传统数据库系统而言太大或太复杂的数据的引入、处理和分析。组织进入大数据领域的门槛各不相同，具体取决于用户的权限及其工具的功能。对某些组织来说，大数据可能意味着数百个 GB 的数据，而对另一些组织来说，大数据则意味着数百个 TB 的数据。随着处理大数据集的工具的发展，大数据的涵义也在不断地变化。慢慢地，这个术语更多的是指通过高级分析从数据集获取的价值，而不是严格地指数据的大小...
2019-09-07 21:59:42
4798
原创 Python与大数据之间有没有关系，图零说有的
很多同学都知道python作为比较火的编程语言，人工智能需要它。除了人工智能，图零小编说，大数据也很需要它。自从2004年以后，python的使用率呈线性增长。2011年1月，它被TIOBE编程语言排行榜评为2010年度语言。由于Python语言的简洁性、易读性以及可扩展性，在国外用Python做科学计算的研究机构日益增多，一些知名大学已经采用Python来教授程序设计课程。数据就是资产。...
2019-09-06 21:59:41
1492
原创 大数据可以考哪些证书？
随着国家政策的支持，大数据产业不断发展，落地应用于各行各业，大数据人才需求与日俱增，大数据认证的数量也在不断增加，这些资格来自供应商、教育机构、独立或行业机构。大数据领域包括：大数据系统管理、Hadoop、分析、数据科学、大数据存储/安全等，物联网的发展推动了对大数据技能的更多需求，特别是在分析领域，用人需求量之大达到创记录的水平，薪资也水涨船高。几乎任何数据认证都会让你的薪资涨一涨。零基础学...
2019-09-06 21:59:38
57024
3
原创 华为、蚂蚁金服等都在招聘的大数据开发，需要具备哪些技能
今日给大伙儿详细介绍“最受欢迎”的职位大数据开发技术工程师的规定。往往说受欢迎关键是应用场景2个缘故，一由于许多应届毕业生或是想转到大数据行业的同学们，全是期待从业“大数据开发”这必须位并不是很清楚的职位；二由于最少有3个职位能够 称之为“大数据开发”，因此这儿的“最受欢迎”必须深入分析。老套路先从好多个公司的职位规定谈起。头条1、大学本科学历，中国科学技术大学/电子计算机/...
2019-09-05 21:59:36
1694
2
原创 学习大数据应了解哪些内容呢？该学习java哪部分？
给大家介绍一下关于什么是大数据，大数据应该要学习什么呢？希望对同学们学习和认识大数据有所帮助，下面我们一起来看一下吧。什么是大数据？首先给大家介绍什么叫大数据，大数据最早是在2006年谷歌提出来的，百度给他的定义为巨量数据集合，辅相成在今天大数据技术任然随着互联网的发展，更加迅速的成长，小到个人，企业，达到国家安全，大数据的作用可见一斑，也就是近几年大数据这个概念，随着云计算的出现才凸显出...
2019-09-05 21:59:34
204
原创 如何才能成为大数据架构师呢？
经常有初学者问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告诉你...
2019-09-03 21:59:36
850
1
原创 大数据入门必看这些基本概念：Pig、Hive、Hadoop、Storm诠释
今天给大家分享一篇关于大数据生态系统入门必看：Pig、Hive、Hadoop、Storm等白话诠释，剖析大数据该如何存储到硬盘上?存储数据后，该考虑如何处理数据？什么是Map?什么是Reduce?Hive、Pig、Storm技术是如何产生的?下面我们一起来看一下吧。大数据本身是个很宽泛的概念，Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作...
2019-09-03 21:59:33
483
1
原创 大数据经典学习路线以及各阶段所发挥的作用
1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题：搭建负载均衡、高可靠的服务器集群，可以增大网站的并发访问量，保证服务不间断地对外服务；学完此阶段可拥有的市场价值：具备初级程序员必要具备的Linux服务器运维能力...
2019-09-02 21:59:45
10126
2
原创 大数据开发、运维、架构都是干什么的？薪资哪个高？
玩转大数据首先要明确自己将要学习的方向，没有人能一下子吃透大数据里面所有的东西。在大数据的世界里面主要有三个学习方向，大数据开发师、大数据运维师、大数据架构师。哪个好？我不知道你所说的哪个好？指的是哪一块，这三个都好，谁也离不开谁！如果说你的是发展和薪资待遇的话，大数据开发，大数据挖掘会好点（大公司）小公司的话基本上都是你的活，所以最好是三个全会，哪怕不是全会，至少简单的一套流程要会，...
2019-09-02 21:59:42
8660
1
原创 怎么还在纠结学Java还是python，未来大数据才是王道
未来大数据产业发展的趋势之一：与云计算、人工智能等前沿创新技术深度融合。大数据、云计算、人工智能等前沿技术的产生和发展均来自社会生产方式的进步和信息技术产业的发展。而前沿技术的彼此融合将能实现超大规模计算、智能化自动化和海量数据的分析，在短时间内完成复杂度较高、精密度较高的信息处理。比如阿里巴巴的电子商务交易平台能在双 11 当天完成每秒钟 17.5 万笔订单交易和每秒钟 12 万笔的订单支付，主...
2019-08-30 21:59:40
2334
原创 没有编程基础，大数据学习步骤是怎么样的？
很多初学者在萌生向大数据方向发展的想法之后，不免产生一些疑问，应该怎样入门？应该学习哪些技术？学习路线又是什么？所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。如果你想学习，那么首先你需要学会编程，其次你需要掌握数学，统计学的知识，最后融合应用，就可以想在数据方向发展，笼统来说，就是...
2019-08-30 21:59:38
1173
原创 学习大数据为什么先学java？
大数据的就业、工资的水平等等方面都让更多的人投身进入到学习大数据的旗下。在我之前写文章的时候，其实总是有这样的粉丝问我，你的这文章和大数据有关系？发出了这样的质疑。其实，我们也不难发现，在外面报班学习的时候，刚刚开始的时候，几乎都是先学习Java语言，在慢慢进入大数据的学习。那么我们到底要学习哪些java知识对于大数据有帮助？今天我带大家来分析一波，学习大数据为什么先学java。...
2019-08-27 21:59:34
1420
原创 如何成为一名更有“市场”的数据科学家？
这个标题可能有点奇怪，毕竟在2019年，数据科学家本身就已经是一个非常有市场的职业了。由于数据科学对当今的业务产生了巨大影响，因此对数据科学专家的需求正在增长。截至本文发布之前，仅LinkedIn就有144,527个数据科学工作。但是，更重要的是要密切关注行业脉搏，了解最快、最有效的数据科学解决方案。为了帮助大家，痴迷于数据的CV Compiler团队分析了一些职位空缺数量并确定了2019年数...
2019-08-26 21:59:50
222
原创 如何进入大数据领域，学习路线是什么？
学习大数据首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。Java大家都知道Java的方向有JavaSE、JavaEE、JavaME，学习大数据要学习那个方向呢？只需要学习Java的标准版JavaSE就可以了，像Servlet、JSP、Tomcat、Struts、Spring、Hibernate，Mybatis都是JavaEE方向的技术在大数据...
2019-08-25 21:59:38
670
原创 物联网、大数据和人工智能，为什么总是“抱团出现”？
表弟，00后，刚上大学的青年才俊，21世纪电子产品消费主力军，新科技的狂热爱好者。前两天华为mate 20 X 5G版首发，他联合全家七大姑八大姨帮抢新机。就算明年5G机铁定降价也挡不住他要“抢头柱香”的热情。10：08，全家各大平台聚精会神拼手速，就那么老眼昏花般的一秒，全部售罄。恍惚一下，回到了最初的2G时代，刚上大学我有了人生中第一部手机——诺基亚7650。至今也忘不了30W像素...
2019-08-25 21:59:34
1009
原创 大数据开发需要哪些工具？大数据开发必备工具汇总
大数据研究的出现，为企业、研究机构、政府决策提供了新的行之有效思路和手段，想要做好大数据的管理和分析，一些大数据开发工具的使用是必不可少的，以下是大数据开发过程中常用的工具：1. Apache HiveHive是一个建立在Hadoop上的开源数据仓库基础设施，通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。Hive提供了一种简...
2019-08-24 21:59:34
4492
1
原创 Spark和Hadoop优劣
Spark已经取代Hadoop成为最活跃的开源大数据项目。但是，在选择大数据框架时，企业不能因此就厚此薄彼。近日，著名大数据专家Bernard Marr在一篇文章(http://www.forbes.com/sites/bernardmarr/2015/06/22/spark-or-hadoop-which-is-the-best-big-data-framework/)中分析了Spark和Had...
2019-08-24 21:59:32
3359
原创 三个方向，大数据时代你的目标在哪里？
新科技往往能够带来一个新的时代，能够带来整个市场的快速发展。大数据时代并没有你想象中的都那么复杂，当然，也没有你想象中的那么简单。在这个信息快速发展的年代，大数据注定了能够为时代带来巨变的可能。这是个数据快速发展的时代，不赶上这波潮流，你注定要被淘汰。信息技术的出现为数据处理提供了自动化的方法和手段，推动数据（信息）成为继物质、能源之后的第三大战略资源。大数据作为信息技术及其普适应用发展...
2019-08-24 21:59:30
1321
原创 电商与大数据的融合究竟表现在哪里，发展方向是什么？
大数据的发展速度让很多人都为之侧目，目前大数据放在传统企业虽然应用较少，但对于电子商务来说，已然是一个市场生产要素了。“杀熟”的概念固然损害了消费者的权益，但是电商与大数据的融合却在不断的深入。达成时代快速发展的列车，电商与大数据的深入对接已经成为了一种趋势，而这份趋势所带来的影响也在逐渐的变的更加的深刻。具体表现形式如下：如果你对大数据开发感兴趣，想系统学习大数据的话，可以加入大数据...
2019-08-22 21:59:40
2458
原创 大数据入门之hadoop相关概念知识点整理
Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。今天整理了一些关于hadoop相关概念的知识点，觉得文章有用的小伙伴可以直接收藏~Hadoop介绍： Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。...
2019-08-21 21:59:44
172
原创 大数据行业对学历有要求吗
大数据时代的到来，简单的说是海量数据同完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美地解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。大数据行业从业者的状态是怎样的呢？让我们走进来看看吧！人才市场需求明显增大，绝大部分集中在一线及新一线城市在2017年的调查中，发现数据团队的人才储备普遍存在较大缺口；数...
2019-08-20 21:59:37
8373
1
原创 如何才能成为大数据架构师
经常有初学者问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是想告诉你...
2019-08-19 21:59:42
1028
1
原创 你不了解的贵阳：正在成为“大数据”之城
在一些区域、一些系统、一些干部思维观念也没有根本扭转过来不善于用大数据思维分析问题不敢于用大数据手段解决问题5月26日，2018中国国际大数据产业博览会在贵州省贵阳市开幕。本次数博会上，无人驾驶、虚拟试衣镜等“黑科技”引人关注。摄影/本刊记者 贺俊怡把贵阳大数据发展推上一个新台阶——专访贵阳市委副书记、市长陈晏文/王全宝 贺斌本文首发于总第854期《中国新闻周刊》...
2019-08-19 21:59:39
7040
原创 大数据学习基础知识总纲
大数据需要学习什么?很多人问过我这个问题。总是没有一个合适的契机去好好总结这些内容，直到开始写这篇东西。大数据是近五年兴起的行业，发展迅速，很多技术经过这些年的迭代也变得比较成熟了，同时新的东西也不断涌现，想要保持自己竞争力的唯一办法就是不断学习。大数据需要的语言 Javajava可以说是大数据最基础的编程语言，据我这些年的经验，我接触的很大一部分的大数据开发都是从Jave Web开发...
2019-08-17 21:59:37
454
原创 一个案例告诉你如何使用 Kyligence + Spark 进行大数据机器学习
今天，大数据、数据科学、机器学习分析不再只是热词，已经真实地渗透于生活方方面面。根据福布斯，到2025年，全球每年将会有 175 泽字节的数据产生。Kyligence的诞生为企业带来了极速的大数据分析体验 。当企业要对大规模的数据进一步进行更为复杂的分析如对销售额进行预测时，传统的分析工具就捉襟见肘了 。这篇文章将以基于Spark的分布式机器学习平台 Databricks为例，为您提供一套从以...
2019-08-17 21:59:34
676
原创 大数据到底怎么学：数据科学概论与大数据学习误区
“数据科学家走在通往无所不知的路上，走到尽头才发现，自己一无所知。”-Will Cukierski，Head of Competitions & Data Scientist at Kaggle最近不少网友向我咨询如何学习大数据技术?大数据怎么入门?怎么做大数据分析?数据科学需要学习那些技术?大数据的应用前景等等问题。由于大数据技术涉及内容太庞杂，大数据应用领域广泛，而且各领域和方向采...
2019-08-16 21:59:41
1124
原创 我是学Java的，想从事大数据相关工作，该怎么规划学习？
策略一想从事大数据、海量数据处理相关的工作，如何自学打基础？想做数据处理尤其是大数据量处理的相关工作必须兼具计算机科学基础和统计基础。现在有一个高大上的职业叫数据科学家，有人说数据科学家就是一个比程序员更懂统计的统计学家，一个比统计学家更会编程的程序员。觉得说得很形象。考虑到你还是在读本科生，有很多知识和课程还需要作为基础来学习和巩固。基础中的基础：线性代数，概率论核心...
2019-08-16 21:59:39
629
原创 Hadoop大数据技术有什么市场价值？2019年Hadoop大数据技术7大应用领域
由于国家对大数据、AI等等技术的关注，在多次发展规划中都提高了大数据技术，因此大数据技术对于这个时代的发展来说至关重要，大数据也正处于发展期、巩固期，基于已有的技术去完善和不断的发展大数据技术产品，满足互联网不符按发在的需求，使国家的技术产业得到进步和发展。大数据已经成长为时代发展的标志，在各大行业机领域都拥有其应用，今天小编就带着大家一起了解一下，大数据技术到底带来了什么？大数据技术是如何发...
2019-08-15 21:59:40
248
原创 大数据心法来了！一站式玩转MaxCompute
阿里云大数据计算平台开发者版2019年3月推出，MaxCompute正在成为开发者的免费大数据平台。今天，MaxCompute在企业构建自己的数据处理平台实践中起到了至关重要的作用，我们特别精选了企业的真实实践案例：从最大的兴趣社群平台小打卡；到90后、00后喜欢的克拉克拉；从互联网金融的典型天弘基金；到耳熟能详的二手车平台人人车……为你带来了超多的MaxCompute玩法。小打卡案...
2019-08-15 21:59:38
244
原创 大数据架构是如何定义的?
大数据架构是用于摄取和处理大量数据(通常称为“大数据”)的总体系统，因此可以针对业务目的进行分析。该架构可视为基于组织业务需求的大数据解决方案的蓝图。大数据架构旨在处理以下类型的工作： 批量处理大数据源。 实时处理大数据。 预测分析和机器学习。 精心设计的大数据架构可以节省企业资金，并帮助其预测未来趋势，从而做出明智的业务决策。 大数据架构的好处...
2019-08-15 21:59:36
460
原创 大数据开发入门指南
“数据是驱动商业向前发展的核心，更是人类社会的未来。”尽管将马云的这句话断章取义地拿出来说会显得唐突，但这话所表达的意思却显而易见。今天给大家分享的这40个教程，送给对未来抱有远见的乐观主义拼搏者，涵盖了大数据入门的大多基础知识，从Java基础到Scala，Hadoop，Hbase，Mhout，Sqoop以及Spark等等。入门知识1. Linux 基础入门（新版）2. Vim...
2019-08-13 21:59:42
662
原创 大数据的前世今生：诞生、发展、未来？
我们很荣幸邀请到徐飞博士做客我们的直播间，徐飞博士是资深的软件架构师，对于技术与商业的结合有非常独特的见解。建议在 WiFi环境下观看，土豪随意我是谁各位观众大家好，2009年，我从佛罗里达大学获得计算机博士学位，毕业后加入了微软的大数据团队 Cosmos，是 Cosmos团队的初始成员之一。5年后，我离开微软，加入了全球数据可视化领域的领导者 Tableau，在里面做架构师...
2019-08-13 21:59:40
2002
原创 刚毕业应聘大数据开发工程师，有机会吗？
本科应届生想去应聘大数据开发工程师的岗位有没有机会？我平时用的语言是Java和Python，看过《机器学习实战》(python)和《Hadoop权威指南》，确实很多地方一知半解，也没有实践过。关于数据的经验的话，之前没用Hadoop，只用Python做过一个有关PM2.5的预测监测平台，我想问下各位大佬，作为18届应届生，我投大数据开发工程师有没有机会？(我看到很多跟数据相关的岗都硬性要求...
2019-08-12 21:59:36
2582
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人