- 博客(128)
- 收藏
- 关注
RSS订阅
原创 防火、防盗、防老板的终极利器，10行python人脸报警
现在一个攻城狮就能搞定人脸的深度学习算法，这要多感谢国外开源框架，虽然达不到旷世face++和诸多人脸公司的深度，但是实际应用已经没有太大压力。下图就是tensorflow写的人脸5点定位加情绪测试。人脸识别应用前不久网络上爆红某公司，一人脸识别开发师用摄像头识别老板，当老板靠进自己的工位的时候，电脑自动切换到自己工作时的界面。小编推荐大家加一下这个群：277630207这个群里好几千...
2018-11-15 17:32:06
463
1
原创 程序员总监为了带实习生入门Python花25天整理最全面向对象教程！
总结：函数式的应用场景 –> 各个函数之间是独立且无共用的数据。面向对象三大特性面向对象的三大特性是指：封装、继承和多态。一、封装封装，顾名思义就是将内容封装到某个地方，以后再去调用被封装在某处的内容。小编推荐大家加一下这个群：277630207这个群里好几千人了！大家遇到啥问题都会在里面交流！而且免费分享零基础入门料资料web开发 爬虫资料一整套！是个非常好...
2018-11-15 17:25:32
3040
2
原创 零基础大数据培训需要多久？
近年来IT行业炽热，特别是大数据相关岗位，就业远景十分壮观。咱们从各大招聘网站上面能够看出，大数据相关的岗位薪资待遇都十分喜人。而且岗位需求人数多，拥有大数据相关技术基本不愁找不到高薪工作。很多大数据从业者在职期间就会有无数的猎头高薪招聘。在大数据就业这么火的背景下很多人想要去参加大数据培训，可是大数据培训一般需求多久时间呢？大数据培训时刻长短首要是根据学员根底决定的。关于有java的根底的人来说...
2019-05-06 22:00:05
1256
原创 大数据培训靠不靠谱？如何选择培训机构？
很多想加入大数据行业的人都是通过参加大数据培训这种方式，可是大数据培训真的靠谱吗？作为一个在培训行业摸爬滚打很多年的人，目前供职于科多大数据公司，一心致力于将职业培训惠及更多人而努力工作，今天给到大家一些负责任的建议，希望对你有用。现在不论是大数据培训还是其他的培训，我们都称之为职业技能培训，是以就业为导向的，然而就业这把尺子却是无形的，他没办法量化标准，所以就有培训这个行业实力参差不齐的情况...
2019-05-06 21:59:59
2612
2
原创 如何将kafka中的数据快速导入Hadoop？
首先我们要明白，Apache 是一个 http 服务器，而我们熟悉的另一种说法Apache Hadoop中的 Apache 则指的是 Apache 软件基金会。Apache是 Apache 软件基金会中的一个项目。关于其名字，流传最广的解释是(也是最显而易见的)：这个名字来自于一个事实：当Apache在1995年初开发的时候，它是由当时最流行的HTTP服务器NCSA HTTPd 1.3的代码修...
2019-05-06 21:59:54
1720
原创 如何选择大数据的编程语言
前言有一个大数据项目，你知道问题领域(problem domain)，也知道使用什么基础设施，甚至可能已决定使用哪种框架来处理所有这些数据，但是有一个决定迟迟未能做出：我该选择哪种语言?(或者可能更有针对性的问题是，我该迫使我的所有开发人员和数据科学家非要用哪种语言?)这个问题不会推迟太久，迟早要定夺。当然，没有什么阻止得了你使用其他机制(比如XSLT转换)来处理大数据工作。但通常来说，如...
2019-05-06 21:59:51
980
原创 最全知识点总结！| 大数据学习路线指南
大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是TB级，甚至是PB或EB级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的IT技术。大数据入门，需要学习以下这些知识点1、Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型语言，...
2019-05-05 21:59:18
260
原创 跨界搞大数据，到底从哪里开始？该怎么搞？
如题，这是写给那些从其他领域跨界到大数据领域的朋友的，当然，初入大数据领域，或者对大数据领域有所兴趣的朋友，也可一观。我发现这个话题应该是更需要被讨论的。如果说对于那些想要跨界进入大数据领域的朋友来说，不可否认，全面的培训是最快的方式，最少比自学来的快、更系统。但我一直对于大部分培训课程体系的设计不敢苟同，这是重点。基本上课程套路都一样一样的：首先基本的语言基础来一套，接着是hadoo...
2019-05-05 21:59:15
253
原创 学习大数据不可不知的几个方法
01兴趣建立兴趣是可以让一个人持续关注一个事物的核心动力,而且兴趣也是可以培养出来的。如果你把写程序单纯作为赚钱手段，久而久之疲劳感会越来越强。大数据的应用非常广泛，比如：人工智能！找到自己的兴趣点，去发掘大数据在其中起到的神奇作用，这是最简单的兴趣共鸣。当一个人通过自己的努力获得的成就感就是最大的兴趣，在空闲的时候也可以到一些大数据论坛转转（比如：海牛部落），你会发现一群程序员在一起...
2019-05-05 21:59:11
261
原创 大数据基础---了解hive基础知识
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。一、概述1-1 数据仓库概念数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integra...
2019-05-05 21:59:08
494
1
原创 你是如何看待IT行业大数据工程师干不过35岁？
程序员加班众所周知，就连IT互联网公司的电梯都充斥的植发秘籍，随着年龄增长程序员就真的干不动了吗?现在大数据技术人才的短缺，在互联网圈里越久，资历越老，越受欢迎。无论是对编程的深入研究，还是对大数据技术的深有体会，都将是每个企业不可多得的人才。对于学习大数据，以后的就业方向是很广泛的，主要有：从事hadoop研发工程师、大数据研发工程师、大数据分析工程师、数据库工程师、hadoop运维工...
2019-05-04 21:59:29
3742
3
原创 大数据就业前景如何？大数据时代，马云这样说...
几年前，马云曾经不止一次在各种公共场合表示“大数据时代”对人类未来生活的颠覆和冲击。现实中，各大高校对于大数据的重视程度也落实到了实际行动中。根据教育部的数据，35所高校在中国开设了大数据专业。也就是说，高考报考可以直接汇报专业的主要数据。根据2017年企业对大数据相关岗位的需求数据可以得知；2017年全国大数据人才的数量仅为46万，未来5年大数据人才的差距将达到150万。有人说，马云说过的大数据...
2019-05-04 21:59:26
6575
原创 大学刚毕业，零基础如何学习大数据开发?
这篇文章中，本文作者将针对三种不同的、想要进入数据科学领域的人群，给出自己的经验，帮助他们迅速有效入行。无论是软件工程师、应届毕业生，还是完全初学者，都要问自己一个关键问题：什么样的职业轨迹最接近你。如果你是想成功入门数据分析师或数据可视化专家，那么这将是协助你走上正确的职业轨迹的最好方法。虽然没有适合每个人的万能解决方案，但这三类建议值得想转行的你一看。对大数据以及人工智能概念都是...
2019-05-04 21:59:21
2769
1
原创 2019年数据时代，你了解大数据未来的发展趋势吗？
数据的价值随着大数据的出现，开始展现出巨大的价值，各个行业也开始逐渐的与大数据进行对接，无论是电商行业的“杀熟”，还是工业领域的“提高效率”，都在展现着大数据的影响力。如今，在数据驱动一切的时代，入行大数据的人越来越多，但是，对于大数据未来的发展前景，你了解多少呢？大数据作为一种具有颠覆性特质的新兴技术，正在各个行业创造着巨大的价值。当然，随着大数据在2018年的发展，其落地性也在不断的加...
2019-05-03 21:55:11
1245
原创 大数据架构Hadoop、Spark和Storm 三者技术比较
从人工统计分析到电脑 大型机再到今天的分布式计算平台，数据处理速度飞速提高的背后则是整体架构的不断演进。今天大数据架构最火热的莫过于Hadoop，Spark和Storm这三种，而Spark和Storm这两个后起之秀更是抢了不少Hadoop的风头，也让网上逐渐开始有一种声音说Hadoop的日子已经快到头了。但究竟这三者之间是什么关系，未来大数据架构究竟该走向何方呢?短短几年时间，大数据这个词...
2019-05-02 21:59:04
363
原创 大数据工程师面试题(附答案)
MapReduce 1. 不指定语言，写一个WordCount的MapReduce我：最近刚学了scala，并且就有scala版本的WordCount，刚好学以致用了一下：对大数据【数据分析，数据挖掘】概念都是模糊不清的，该按照什么线路去学习，学完往哪方面发展，想深入了解，想学习的同学欢迎加入大数据学习qq群：458345782，有大量干货（零基础以及进阶的经典实战）分享给大家，并且...
2019-05-02 09:12:29
17733
3
原创 大数据入门：各种大数据技术介绍
大数据我们都知道hadoop，可是还会各种各样的技术进入我们的视野：Spark，Storm，impala，让我们都反映不过来。为了能够更好的架构大数据项目，这里整理一下，供技术人员，项目经理，架构师选择合适的技术，了解大数据各种技术之间的关系，选择合适的语言。我们可以带着下面问题来阅读本文章：1.hadoop都包含什么技术2.Cloudera公司与hadoop的关系是什么，都有什么产品，产品有...
2019-05-01 21:59:14
1007
原创 人工智能与大数据开发的12个注意点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。Pedro Domingos教授的观点概括下来，可以提炼出12个注意点，为行业开发实践提供了重要参考：对大数据的概念都是模糊不清的，大数据是什么，能...
2019-05-01 21:24:50
239
原创 HBase从入门到精通系列：误删数据如何抢救？
有时候我们操作数据库的时候不小心误删数据，这时候如何找回?mysql里有binlog可以帮助我们恢复数据，但是没有开binlog也没有备份就尴尬了。如果是HBase，你没有做备份误删了又如何恢复呢?数据保护当误删数据发生时候，不管三七二十一，第一要务是进入hbase shell，执行如下命令：如果误删一张表的有多个family里的数据，需要都执行一下：alter '...
2019-04-27 21:58:43
974
1
原创 程序员的黄金十年，你真的选对了嘛?
引用“中产之路”公号大佬一句话：我85的，大你们很多，职场开窍晚，等明白过来，机会窗口期过了。程序员在22-32岁这10年属于黄金期，没走好，后面基本废了，所以老铁们，年轻的时候多思考，多跟过来人交流。虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。这样的跳槽其实没有意义，在我看来，只有薪资实现爆炸式增长，或是进入到一个...
2019-04-26 22:16:48
342
原创 Python除了不会生孩子，什么都会？信不信，用数据说话！
Python的火根本停不下来在过去的两年间，Python一路高歌猛进，成功窜上“最火编程语言”的宝座。而近期，数据科学网站KDnuggets发布的2018数据科学和机器学习工具调查结果也显示：Python荣登第一，成为最受青睐的分析、数据科学、机器学习工具。2017年Python已经拥有超过50%的份额，如今已经提高至65.6%。表：KDnuggets2018年顶级分析/数据科...
2019-04-25 11:14:08
535
原创 【开源大数据处理技术】阿里、百度、腾讯都选择 Flink，它到底有什么魔力？
开源大数据处理技术从 Hadoop 开始，经历了 Storm，Spark，现在又到 Flink 的发展过程，计算模型也经历了从批到流的转换，目前的新趋势也已经开始朝着批流融合方向演进。从媒体的最新资讯推送，到购物狂欢的实时数据大屏，实时计算已经应用到了多个生活、工作场景，随着业务的快速增长，我们对实时计算的需求越来越高。可用于实时计算的开源数据计算引擎去有多种选择，比如 Storm、Sam...
2019-04-24 15:52:24
314
原创 从术语到Spark，10篇必读大数据学习资源
本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。相信各种背景的朋友都会在这篇文章中有所收获。之前，我们已就数据可视化进行了深入探讨。这次，我们将从更基本的概念讲起，以便在涉足更复杂的数据科学和商业智能之前能够真正理解大数据。文中会引领大家阅读介绍大数据的相关文章，研究网络...
2019-04-23 18:34:50
116
原创 大数据告诉你上班族有多累
上班族可能是中国最累的群体，从996（早9点到晚9点，一周工作6天）到716（每天工作16个小时，一周工作7天），工作制不断刷新地铁上人类的疲惫程度。但上班族到底有多累，大数据来告诉你。1根据某办公平台的线上问卷调研，77％的上班族不希望领导或同事在聊天软件上聊工作；87％的用户强调工作和生活最好还是分开。29％的上班族工作时间超过8个小时；10小时以上的占62.3%；超过...
2019-04-23 18:30:31
1157
原创 从大数据到 AI：AI 的现状和未来
事实证明，从大数据到数据分析再到 AI 的转变是一个很自然的过程。这不仅是因为这个过程有助于调整人类的思维模型，或者因为大数据和数据分析在被 AI 夺去光彩之前浸淫在 AI 的各种炒作中，主要还是因为我们需要通过大数据来构建 AI。事实证明，从大数据到数据分析再到 AI 的转变是一个很自然的过程。这不仅是因为这个过程有助于调整人类的思维模型，或者因为大数据和数据分析在被 AI 夺去光彩之前浸淫...
2019-04-23 14:45:14
232
原创 Java、JavaScript、C、C++、PHP、Python都是用来开发什么？
用任何编程语言来开发程序，都是为了让计算机干活，比如编写一篇文章，下载一首MP3等，而计算机干活的CPU只认识机器的指令，所以，尽管不同的编程语言差异极大，最后都得“翻译”成CPU可以执行的机器指令。理论上任何语言干任何事情几乎都可以,但是主要干什么那就不一样了。对于刚步入IT行业的小白，或许只知道某一语言相对应的薪资是多少，但却不知道主要是做什么的，更不会考虑到以后的职业发展方向问题。以下...
2019-04-22 16:28:59
136
原创 人人都说大数据，那你知道它的核心价值吗？
近些年来，大数据已成为了大家茶余饭后讨论的热门话题，像数据安全、数据挖掘、数据分析等围绕大数据的一系列技术也深受市场的喜爱。那么，在这样一个满城尽谈大数据的时代背景下，大数据的核心价值究竟是什么?今天就让我们一起来探讨下。在明确大数据的核心价值之前，你要知道什么是大数据。大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合...
2019-04-19 21:31:13
175
原创 python+人工智能学习线路
小白学Python最苦恼的是路线怎么走，怎样才不会走弯路，这里分享一份Python+人工智能的学习方案及目标。感兴趣的可以看看。第一阶段Python核心编程学习内容技术要点计算机组成原理认识操作系统以及操作系统的作用、认识Python及了解Python发展历史Python开发环境Python开发环境的搭建、Sublime使用、Python交互式终端使用、IPython交...
2019-04-18 15:57:51
2641
2
原创 【Python 爬虫实践】：《战狼2》豆瓣影评分析
简介刚接触python不久，做一个小项目来练练手。前几天看了《战狼2》，发现它在最新上映的电影里面是排行第一的，如下图所示。准备把豆瓣上对它的影评做一个分析。目标总览主要做了三件事：抓取网页数据清理数据用词云进行展示使用的python版本是3.5.一、抓取网页数据第一步要对网页进行访问，python中使用的是urllib库。代码如下：fromurlli...
2019-04-17 13:12:50
930
原创 如何拿到半数面试公司Offer——我的Python求职之路
前言Python现在非常火，语法简单而且功能强大，很多同学都想学Python！背景从八月底开始找工作，短短的一星期多一些，面试了9家公司，拿到5份Offer，可能是因为我所面试的公司都是些创业性的公司吧，不过还是感触良多，因为学习Python的时间还很短，没想到还算比较容易的找到了工作，就把这些天的面试经验和大家分享一下，希望为学习Python找工作的小伙伴们提供些许帮助。笔者...
2019-04-16 18:47:13
254
原创 人工智能的三大教父，谱写了一段关于勇气的寓言
上世纪80年代末，还在加拿大攻读硕的尤舒亚·本吉奥（Yoshua Bengio）被一个当时并不怎么流行的想法迷住了。那时，有少数从事人工智能研究的计算机科学家试图研发这样一种软件，这种软件可以大致模仿神经元网络在大脑中处理数据的方式，虽然当时并没有证据表明这是一种行得通的想法。○神经元模拟。20多年后，科技行业也后知后觉地爱上了这个想法。近年来，人工智能领域的长足进步使得自动驾驶汽车...
2019-04-15 14:46:53
167
原创 16个用于数据科学和机器学习的顶级平台
调研机构Gartner公司将数据科学和机器学习平台定义为“具有凝聚力的软件应用程序，它提供了创建多种数据科学解决方案以及将这些解决方案合并到业务流程、周围基础设施和产品中所必需的基本构建块的混合体。”这样的平台支持数据科学家在整个数据和分析管道中执行任务。这些任务包括与数据访问和接收、数据准备、交互式探索和可视化、功能工程、高级建模、测试、培训、部署和性能工程相关的任务。考虑到这一点，Ga...
2019-04-14 18:04:39
1145
原创 8个Python高效数据分析的技巧
这篇文章介绍了8个使用Python进行数据分析的方法，不仅能够提升运行效率，还能够使代码更加“优美”。一行代码定义List定义某种列表时，写For循环过于麻烦，幸运的是，Python有一种内置的方法可以在一行代码中解决这个问题。下面是使用For循环创建列表和用一行代码创建列表的对比。在这里给大家推荐一个python系统学习q群：250933691有免费开发工具以及初学资料，（数据分析...
2019-04-13 17:06:39
115
原创 揭开对机器学习的七点误解
近日，哥伦比亚大学计算机科学专业博士生 Oscar Chang 发博阐述了关于机器学习的七个误解。原文编译整理如下。在了解深度学习的过程中盛传着 7 个误解，它们中很多都是以前固有的偏见，但在最近又被新的研究提出了质疑，现在我们把它整理出来：误解 1： TensorFlow 是个张量运算库误解 2： 图像数据集反映了自然世界真实图像分布误解 3： 机器学习研究者并不使用测试集进行验...
2019-04-12 12:57:52
269
原创 python机器学习和常见算法
Python机器学习学习意味着通过学习或经验获得知识或技能。基于此，我们可以定义机器学习（ML）如下 -它可以被定义为计算机科学领域，更具体地说是人工智能的应用，其为计算机系统提供了学习数据和从经验改进而无需明确编程的能力。基本上，机器学习的主要焦点是允许计算机自动学习而无需人为干预。现在问题是如何开始和完成这种学习？它可以从数据的观察开始。数据可以是一些示例，指令或一些直接经验。然后...
2019-04-10 21:10:51
162
原创 最强的Python学习路线
今天接着给大家分享Python八大知识体系的最后三大体系以及在学习每个体系时需要学习的打野技巧(即各阶段需掌握的技能)。(一)Python基础(二)Python高级(三)前端开发(四)Web开发(五)爬虫开发以上内容请查看上期分享。(六)自动化运维:环境部署代码发布流程手工代码发布脚本代码发布shel运维快速入门shel脚本与变量shell常见命...
2019-04-09 16:43:48
500
原创 python的就业方向
◆◆Python到底有什么优点◆◆一、先第一个问题，我们用python可以做什么？在回答这个问题之前我们要知道，python这门语言到底有什么优点：1.面向对象。所谓面向对象， “面向对象”这句话的大概意思就是你在Python中输入放入一切、在Python中看到的一切都可以称之为“对象”。2.免费。这也没什么好说的，除了买书，所有的关于python都可以白嫖。3.可移植...
2019-04-08 23:10:07
251
原创 给入行数据分析的八点建议
1、认为学会python就可以掌握数据分析技能，大错特错，python只是数据分析师使用的工具之一，从商业sense到分析还有很多工具要掌握解读：从数据整理到结果有很多工具要掌握，比如SQL、kettle、spss、sas、R、powerbi、excel、ppt、xmind、spark等等，一般实际工作中是多种工具操作融合，靠一种工具，你的跳槽和加薪随着时间迁移会出现很多焦虑2、认...
2019-04-07 17:09:09
200
原创 可以提高你Python效率的几个小函数！
这篇文章我们来看几个很有用的 Python 内置函数 。这些函数简直是屌爆了，我认为每个 Pythoner 都应该知道这些函数。对于每个函数，我会使用一个普通的实现来和内置函数做对比。如果我直接引用了内置函数的文档，请理解，因为这些函数文档写的非常棒！all(iterable)如果可迭代的对象(数组，字符串，列表等，下同)中的元素都是 true (或者为空)的话返回 True 。_...
2019-03-27 14:36:47
306
原创 从Python爬虫小白进阶数据分析大神，必看的10本书
导读：吾日三省吾身，过年胖了吗？情人节过了吗？发际线还好吗？别想这么多啦，程序员和数据科学家的世界里，只有Python值得你费脑子！今天为大家准备了10本数据分析相关好书，助你早日成为Python大神！1《Python高级数据分析》作者：萨扬·穆霍帕迪亚推荐语：本书包含数据分析实例，涵盖了从基础统计学到ETL、深度学习和物联网的广泛领域，给出了产业分析项目各个技术方面的概念。...
2019-03-15 11:58:32
9856
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人