- 博客(67)
- 收藏
- 关注
RSS订阅原创 做开发五年，给大家推荐10个好用的Python集成开发环境
Python IDE工具是每个Python工程师必须使用的开发工具，选择正确的编辑器对Python编程效率的影响是非常大的，因此选择合适的Python开发工具十分重要，以下是通过长期实践发掘的好用的Python IDE，它们功能丰富，性能先进，能够帮助开发人员快速的进行应用程序开发。1. Pydev + Eclipse –最好的免费python IDEPydev的是Python IDE中...
2019-07-06 21:59:52
12752
转载 【大数据技术】从单体到Flink：一文读懂数据架构的演变
01 传统数据基础架构如图1-1所示，传统单体数据架构（Monolithic Architecture）最大的特点便是集中式数据存储，企业内部可能有诸多的系统，例如Web业务系统、订单系统、CRM系统、ERP系统、监控系统等，这些系统的事务性数据主要基于集中式的关系性数据库（DBMS）实现存储，大多数将架构分为计算层和存储层。存储层负责企业内系统的数据访问，且具有最终数据一致性保障。这...
2019-07-06 21:59:50
1187
转载 未来大数据的发展趋势是怎么样的？大数据就业情况如何？
随着人工智能、移动互联网和物联网的兴起，大数据越变越大，也带来无限想象力和商业应用价值。在2017年，我国大数据产业保持高速发展态势，各级政府和企业大力推进，技术创新取得明显突破，大数据应用推进势头良好，产业体系初具雏形，支撑能力日益增强。随着大数据基础设施的不断完善，数据分析和商业智能工具将逐渐成为大数据的主力军。因此，未来几年，大数据产业将朝着以下趋势发展。大数据发展趋势...
2019-07-06 21:59:48
2690
转载 瓜子大数据架构首曝光：掩藏在“二手车”背后的技术思考
提起 车好多集团，可能有些人会感到陌生，但提起瓜子二手车、毛豆新车，想必都十分熟悉，脍炙人口的广告语使得大家忽视了这家公司的技术能力。车好多集团旗下拥有瓜子二手车、毛豆新车、车速拍与瓜子养车四大品牌，协同为用户提供新车、二手车交易服务、汽车金融、售后保障、汽车维修保养等全产业链服务。对汽车而言，大部分用户目前的消费习惯倾向于线上看车、咨询、预约，线下进行交易，这对车好多集团的大数据架构搭建提出...
2019-07-06 21:59:46
1856
原创 学习大数据开发的前提是什么？
1.数学知识数学知识是数据分析师的基础知识。对于初级数据分析师，了解一些描述统计相关的基础内容，有一定的公式计算能力即可，了解常用统计模型算法则是加分。对于高级数据分析师，统计模型相关知识是必备能力，线性代数(主要是矩阵计算相关知识)最好也有一定的了解。而对于数据挖掘工程师，除了统计学以外，各类算法也需要熟练使用，对数学的要求是最高的。2.分析工具对于初级数据分析师...
2019-07-06 21:59:44
1064
原创 年轻程序员需要学习的5大经验
最近我在接受采访时被问到我关于成为一名伟大程序员的见解。这是一个有趣的问题，我认为我们都可以是伟大的程序员，无论我们的天赋如何，如果我们遵循一些规则的话——我相信——这应该是常识。实际上，这些规则并不只适用于编程领域，也适合任何专业。当然，这10个要点中的所有内容并不都是完全正儿八经的，有些事情只是我的看法，你的情况可能会有所不同，所以如果出现矛盾的话，不要耿耿于怀。这些要点是：...
2019-07-05 21:59:46
702
原创 通过女票的淘宝历程，大白话讲解大数据各个方向的分工
1 背景总跟女票说我是做大数据的，女票也跟她朋友说我是做大数据的，但一问是啥，我跟我女票解释了半天她都没听懂，她也不知道怎么跟她朋友说。最好的解决方法是换女票，当然这是不存在的，想都不会想也不敢想。于是乎说写篇她看完也能知道大数据的文章给她。下次要是有人问你大数据开发是什么，希望你能把这篇文章分享给他。2. 开始淘宝2.1 推荐系统（导购员）一打开女票的手机淘宝页面，就发现推荐...
2019-07-05 21:59:44
524
原创 Python 最抢手、Java 最流行、Go 最有前途，7000 位程序员揭秘 2019 软件开发现状
互联网的下半场，科技公司为面对更加严峻的竞争环境，越来越重视开源节流。而对于身处其中且撑起 IT 半边天的技术人，如今如何了？从技术角度来看，其又该作何改变顺应潮流？接下来，我们将从JetBrains 最新发布的《2019 开发人员生态系统现状》报告中一窥究竟。JetBrains通过调查全球 7000 名开发者，解析出开发者们在日常软件开发中最常使用的语言、框架，从而探索各种编程技术的...
2019-07-05 21:59:41
682
转载 360 大数据中心总监：如何制定可奏效的数据安全体系
管理者的认知决定企业数据安全建设能否真正发挥价值Q1：近年来发生的数据安全事件可以说到了屡见不鲜的程度，在您看来目前乃至今后较长一段时间，企业面临着哪些关键的数据安全隐患和挑战？A1：首先我认为对企业而言「数据安全」其实并不是一个全新的话题。为什么这么说呢？企业存在于社会之中，从诞生之日起，为了保证自身的持续正常运转，对内会有一系列的人员合作，对外会和其他的企业以及个人发生事务往来。那...
2019-07-05 21:59:39
532
原创 大数据技术：阿里、百度、腾讯都选择 Flink，它到底有什么魔力？
从媒体的资讯推送，到购物狂欢的实时数据大屏，实时计算已经应用到了多个生活、工作场景，随着业务的快速增长，我们对实时计算的需求越来越高。可用于实时计算的开源大数据计算引擎有多种选择，比如 Storm、Samza、Flink 等，而支持流批一体的只有 Spark 和 Flink。目前，多家企业已经或正在将计算任务从旧系统 Storm 迁移到 Flink，腾讯便是其中之一。...
2019-07-03 18:16:01
368
原创 大数据是否已经死亡？
如果还是2012年的话，我会热切地参与任何关于大数据的讨论。这是一个很流行的词，你必须说“神奇”的词才能让人们听到最新最伟大的技术。但令人失望的是，世界上大多数国家都没有对大数据充分挖掘和应用。相信我，不仅仅是那些坐在象牙塔的CIO/CDO都被大数据困扰。同时，那些精力充沛的开发人员正在寻找简历中寻找“大数据”的人才公司。这篇文章的催化剂是我和一个三个月前加入我们的顶尖人才的谈话。他很伤心，...
2019-07-03 18:11:36
845
原创 清华毕业程序员国企干了14年，去应聘小公司，看到工资后愣了
现如今，很多人会用“温水煮青蛙”这样的词来形容那些在国企上班的人。本来很多人在进入国企之前，都是名校毕业的天之骄子，但是因为国企的工作环境，早九晚五，没有压力的时间太长了，相比那些刚开始就在那些互联网公司天天996的员工，竞争力只会越来越差。最近在职场论坛上看到这样一个帖子：清华毕业程序员在国企干了14年，辞职后去应聘小公司，看到薪资后愣了，还以为看错了！这是怎么回事呢？image...
2019-07-03 18:08:56
2051
原创 如何通过合理的学习规划，快速入门大数据开发
对于很多初级开发者，或者还没什么实际开发经验的人来说，大数据相关技能看起来特别吓人，因为一堆特别复杂的英文名词，以及听起来难度极高的各种“架构”。但真正去学习上手，你就会发现，这个被传得神乎其技的技术，并没有想象中的那么难，甚至还有点有意思。对于每一个想往更高层次发展的技术人来说，后台数据处理，数据架构的搭建、数据性能的优化，都是绕不过去的技能。而且，随着企业数据量的快速增加，后台数据...
2019-06-29 21:39:52
195
原创 Spark入门介绍
Spark自从2014年1.2版本发布以来，已成为大数据计算的通用组件。网上介绍Spark的资源也非常多，但是不利于用户快速入门，所以本文主要通从用户的角度来介绍Spark，让用户能快速的认识Spark，知道Spark是什么、能做什么、怎么去做。Spark是什么摘用官网的定义：Spark是一个快速的、通用的分布式计算系统。提供了高级API，如：Java、Scala、Python和R...
2019-06-29 21:35:45
923
原创 Hadoop大数据平台实战：Linux实战安装HBase，并保存数据
Apache HBase开源免费的Hadoop数据库，使用Java开发的，是一个分布式，可扩展的NoSQL数据库。本文会详细介绍HBase原理、架构、新特性、Linux环境下的安装，安装模式，表创建，简单的CRUD操作。1、HBase数据库介绍HBase是开源NoSQL数据库，主要用于大数据平台。受启发于谷歌在2006年发表了一篇关于Big Table的论文。当我们需要对大数据进...
2019-06-29 21:33:53
392
转载 你都用Python做过哪些骚操作？
操作一：网易云音乐批量下载一首一首下音乐绝对是折磨，知乎网友Tsing自己敲了代码，瞬间排行榜前100下载到手。批量下载，速度极快，你值得拥有！操作二：用Python“P图”这是一个很神奇的操作，请大神为Uni酱解答这是如何做到的...【2019最全Python学习路线】戳我阅读，获取python全套开发工具以及入门学习资料操作三：上班刷微博神器大家...
2019-06-29 21:31:52
919
转载 普通程序员，如何转为当前紧缺的大数据相关人才？
对于程序员来说，技术进步大大超过世人的想象，如果你不跟随时代进步，就会落后于时代。我其实已经听过很多人跟我说过类似的话。只不过不同人嘴里提到的词汇各有不同——大数据、数据挖掘、机器学习、人工智能…… 这些当前火热的概念各有不同，又有交叉，总之都是推动我们掌控好海量数据，并从中提取到有价值信息的技术。如果你准备入行大数据，关于2019大数据目前的【发展前景】戳我阅读【就业...
2019-06-29 21:30:12
434
原创 大数据开发环境搭建步骤
第0步：准备好Hadoop安装包素材：hadoop-2.6.0-cdh5.7.0.tar.gz第1步：输入如下命令，然后一直点回车键。第2步：输入如下命令第3步：将hadoop安装包放在E盘muke8soft文件夹里第4步：按下键盘Alt+P,进入sftp第5步：输入如下命令第5步：输入下图命令（解压hadoop安装包到~/...
2019-06-27 21:59:40
2780
2
原创 传统媒体如何借大数据实现自我救赎
对传统媒体来说，要想真正实现数字化转型，就必须建立起自己基于大数据技术的智能信息服务平台。那么，大数据到底是什么？传统媒体进军大数据要突破哪些局限？又可以从哪些方面突破？2013年，是大数据元年，大数据正在给传统媒体带来革命性变化，传统媒体虽然也采取各种方式积极应对大数据的挑战，但是由于对大数据认识不够到位，导致实践变形，误区重重。传统媒体大数据实践误区首先，大数据时代，单纯的内容已经...
2019-06-27 21:59:38
400
原创 大数据开发：如何高效的阅读hadoop源代码
首先，必须要说，对于互联网工程师而言，不管hadoop源代码质量怎么样，是好还是差，我们都不得不看，别无选择，因为hadoop已逐渐成为大数据代名词，成为互联网公司的基础设施和软件，和传统的操作系统一样基础而又重要。另外，有人会问，对于只是使用hadoop的人，有没有必要学习hadoop源代码?这个取决于你个人的兴趣，追求和工作内容。一般而言，hadoop职位分别内核开发工程师(修改had...
2019-06-27 21:59:36
488
转载 大数据从入门到精通学习路线图
随着大数据越来越火热，薪资越来越高，开始吸引着越来越多的人开始想要投身这个行业。其中有许多朋友的都是大数据零基础，以前并没有接触过大数据相关知识。零基础学大数据难吗？这主要取决于你所学习培训机构的硬性实力，如：大数据师资、大数据课程、大数据项目等等。现在市面上的培训机构基本上都开设有自己的大数据零基础班，专门为大数据零基础的学员提供服务。但是这些班的教学效果参差不齐，如果有的朋友在刚开始学...
2019-06-27 21:59:30
610
原创 零基础学Python常遇到的哪些问题呢？
零基础学Python难吗？该从何学起？最近小编收到很多小伙伴的留言说如果自己转行学习python的话，零基础能不能学会，大家都比较在乎python自学起来难度大不大？下面来为大家解答一下这个问题。首先Python是一种什么语言？Python是一种计算机程序设计语言。你可能已经听说过很多种流行的编程语言，比如非常难学的C语言，非常流行的Java语言，适合初学者的Basic语言，适合网...
2019-06-26 15:58:27
239
原创 还不知道大数据学完可以干什么吗？请看这儿！
随着互联网规模不断的扩大，大数据正在改变着这个时代的绝大一部分的行业或者企业，医疗行业也不例外，医疗健康正在成为人们关注的重点问题，以智能化、数字化为特征的医疗信息化正在蓬勃兴起，医疗行业的数据类型也在向海量、复杂、多样的类型方式转变。健康医疗大数据作为国家重要的基础性战略资源，也受到了政企、医院等行业相关人员的高度重视。如何让医疗行业及领域去便捷管理和使用海量的大数据？接下来，我们具体了解一...
2019-06-26 15:52:27
497
转载 小白上路？工程师转型？应届毕业生？三种“圈外人”的数据科学入行指南
本文作者深受其害，这些繁多的资料使得不少有抱负的准数据科学家很困惑，到底如何分配时间到他们想进入的领域。这篇文章中，本文作者将针对三种不同的、想要进入数据科学领域的人群，给出自己的经验，帮助他们迅速有效入行。虽然没有适合每个人的万能解决方案，但这三类建议值得想转行的你一看。第1类：新手上路如果你刚刚进入数据科学领域，请记住这一点：这个领域发展很快，我在这里给出的建议基本上...
2019-06-25 21:49:54
195
转载 超级详细的阐述：大数据、云计算和人工智能的关系
云计算、大数据和人工智能，这三个东西现在非常火，并且它们之间好像互相有关系：一般谈云计算的时候会提到大数据、谈人工智能的时候会提大数据、谈人工智能的时候会提云计算……感觉三者之间相辅相成又不可分割。但如果是非技术的人员，就可能比较难理解这三者之间的相互关系，所以有必要解释一下。一、 云计算最初的目标我们首先来说云计算。云计算最初的目标是对资源的管理，管理的主要是计算资源、网络资源、存储资源...
2019-06-25 21:48:38
2139
原创 2019Java遇到了就业瓶颈，是时候转型了！Java如何转型大数据开发？
先说下大数据的就业岗位有哪些吧大数据的就业领域是很宽广的，不管是科技领域，还是食品产业，零售业等等，都是需要大数据人才进行大数据的处理，以提供更好的用户体验，以及优化库存，降低成本，预测需求。下面跟厚学网一起看看大数据培训后大家在各个领域可以从事的工作岗位及未来发展方向。 一、热门工作岗位 1、Hadoop开发工程师 Hadoop是一个分布式文件系统(Hadoop Distr...
2019-06-25 21:46:43
737
转载 大数据告诉你80、90后的真实负债
近期，一篇“90后超一半网贷”的文章引起了网络热议。看似90后的收入无法支撑他们的超前消费，然而，20多岁的90后真的比奔四的80后负债更多吗？就此，我们抽取了苏宁金融400万个1980-1999年出生的贷款申请人作为分析样本，从多种征信数据维度来比较80后和90后的真实负债情况。绝对负债80后更多首先，根据人行征信报告的信贷交易明细，我们可以统计申请人不同类型的贷款个数、合...
2019-06-25 12:36:21
932
转载 面试经验：我是如何得到谷歌、脸书和亚马逊offer的？
全文共6949字，预计学习时长12分钟在两个月的时间里，本文作者面试了亚马逊、苹果、Facebook和谷歌的设计岗。如果对这些公司的设计岗感兴趣，就不要错过这篇干货攻略。2019年，在Osmo领导了四年的用户体验/用户界面部门后，我觉得是时候做一些与众不同的事情了。所以我决定跳槽，去硅谷四家最大的公司面试。最终我收到了三份offer，并决定加入谷歌。如果你也对这四大公司的设计岗感兴...
2019-06-25 12:32:35
1186
原创 大数据新机遇分布式机器学习
分布式机器学习是随着“大数据”概念兴起的。在有大数据之前，有很多研究工作为了让机器学习算法更快，而利多多个处理器。这类工作通常称为“并行计算”或者“并行机器学习”，其核心目标是把计算任务拆解成多个小的任务，分配到多个处理器上做计算。一个新时代起源分布式机器学习是随着“大数据”概念兴起的。在有大数据之前，有很多研究工作为了让机器学习算法更快，而利多多个处理器。这类工作通常称为“并行...
2019-06-24 19:48:29
370
原创 Hadoop之后：大数据的未来
在实时数据世界里，为什么我们还这么执着于Hadoop?根据调查数据显示，围绕批处理架构的Hadoop仍然是大数据的代表技术，尽管其声誉仍然超过实际部署情况。在实时数据世界里，为什么我们还这么执着于Hadoop?根据调查数据显示，围绕批处理架构的Hadoop仍然是大数据的代表技术，尽管其声誉仍然超过实际部署情况。还没有真正部署Hadoop的企业可能想要再等一等。而随着Apache Spa...
2019-06-24 19:47:02
344
转载 大数据跟互联网思维的区别
大数据在移动互联网时代显得越来越重要，不仅仅是因为用户的习惯碎片化的趋势明显，更多的是因为在营销多元化情况下用户选择繁多。把握用户大数据在移动互联网时代显得越来越重要，不仅仅是因为用户的习惯碎片化的趋势明显，更多的是因为在营销多元化情况下用户选择繁多。把握用户属性和用户有效转化是不论传统还是创新企业都同样要面对的问题。在大家都在探讨互联网思维的时候，到底什么是互联网思维？各家有各...
2019-06-24 19:45:30
5537
原创 大数据平台的软件有哪些？
查询引擎一、Phoenix简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HBase API、协同处理器与自定义过滤器，对于简单...
2019-06-24 13:10:36
4928
1
原创 详解python2 和 python3的区别
看到这个题目大家可能猜到了我接下来要讲些什么，呵呵，对了，那就是列出这两个不同版本间的却别！搜索一下大家就会知道，python有两个主要的版本，python2 和 python3 ，但是python又不同于其他语言，向下兼容，python3是不向下兼容的，但是绝大多数组件和扩展都是基于python2的，下面就来总结一下python2和python3的区别。1.性能Py3.0运行...
2019-06-24 13:07:14
1404
1
原创 大数据是什么？1分钟了解大数据的概念！
大数据本身是一个抽象的概念。从一般意义上讲，大数据是指无法在有限时间内用常规软件工具对其进行获取、存储、管理和处理的数据集合。目前，业界对大数据还没有一个统一的定义，但是大家普遍认为，大数据具备 Volume、Velocity、Variety 和 Value 四个特征，简称“4V”，即数据体量巨大、数据速度快、数据类型繁多和数据价值密度低，如图 1 所示。下面分别对每个特征作简要描述。...
2019-06-24 13:01:58
4200
转载 学习笔记：数据预处理与数据挖掘十大经典算法
前言在介绍了数据挖掘的一般流程、常用方法、应用功能和数据可视化之后，在本篇博文中，笔者想要分享一些在数据挖掘开始之前要做的一些事——数据预处理。在第二部分中，笔者整理了数据挖掘中的十大经典算法，与读者们共享。两部分分别从《数据挖掘中数据预处理的方法与技术》一文与网络中引用而来，作为自己和读者朋友们的学习笔记。在第三部分阶段小结中，笔者对近期的学习进行了阶段性的总结。一、数据预处理现实中...
2019-06-23 21:59:41
2838
转载 终于有人把Java进阶大数据缘由全面讲明白了！
如今随着计算机技术的全面普及，数字化的数据已经对人们的生活起到了息息相关的作用，大家也经常关注技术圈的发展，很多java工程师都在担心自己适合的技术发展道路该怎么走，现在也算有个方向了。大数据的介绍：大数据（BIG DATA），指无法在一定时间范围内用常规软件工具进行收集、管理和处理的数据集合；是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产...
2019-06-23 21:59:39
383
原创 Python虽然很火，为啥找工作这么难
知乎有人提了这么个问题，Python这么火，为啥找工作这么难呢？这两年因为第三波人工智能热潮让 Python火了一把，让中小学生、非程序员（产品经理、运营）都加入到了学习Python的行列，那之前Python火吗？虽然和Java、C这些大佬有差距， 但是它一直保持在前几位，并没有掉队，紧随大佬。而曾经很热门的 Perl、Ruby 似乎都淡出了我们的视线。跟经济一样，语言也有周期...
2019-06-23 21:59:37
2792
转载 浅析大数据与人工智能
理念篇首先给大家讲讲什么是数据。有的朋友可能认为有了计算机才有数据，其实不然。简单而言，数据就是可以被我们进行定量分析的记录。大家可以看看左边这幅图，是四百多年前第谷·布拉赫记录下的行星与恒星在太阳系内运动的轨迹。当时开普勒做了十多年相同的工作，但弟谷始终舍不得将这最宝贵的数据给他，直到身患重病，才如同传衣钵般将数据传给了开普勒。基于这些数据，开普勒发现了今天的开普勒三大定律，从而衍生...
2019-06-23 21:59:35
14918
1
转载 大数据与Hadoop有什么关系？
学习着数据科学与大数据技术专业（简称大数据）的我们，对于“大数据”这个词是再熟悉不过了，而每当我们越去了解大数据就越发现有个词也会一直被提及那就是——Hadoop那Hadoop与大数据有什么关系呢？所谓大数据，就是从各种类型的数据中，快速获得有价值信息的能力。大数据是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。它是对那些超出正常处理...
2019-06-23 18:06:34
1412
转载 谈谈大数据工程师的鄙视链
老婆漂亮的程序员，鄙视老婆不漂亮的程序员。有老婆的程序员，鄙视没有老婆的程序员。有女朋友的程序员，鄙视单身程序狗。在单身狗之间，才有语言、编辑器和操作系统的互相鄙视。看人家甜甜蜜蜜的，单身狗的你还不抓紧了找个妹子。那么对于数据工程师来说，是不是也存在类似的一条鄙视链呢，今天我们不谈技术，我们谈谈技术背后的大数据工程师不同岗位之间的鄙视链：大数据 ETL 开发工程师：...
2019-06-23 18:04:48
5681
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人