- 博客(72)
- 收藏
- 关注
RSS订阅原创 Neo4j的自定义函数开发
本文转载自科多大数据一、背景介绍用户自定义函数，顾名思义就是开发一些个性化方法去解决复杂的业务逻辑问题。虽然它的功能还不够强大，但是足够去扩展和提升Neo4j的一些常用命令功能。在Neo4j中，自定义函数是需求利用Java语言去独立开发，然后生成.jar文件去部署在图数据库的安装目录plugin中，如果是集群的话，每台服务器都需要部署。再重新启动图数据库才能生效。对于自定义函数的调...
2018-11-13 14:47:56
1863
原创 大数据学习之推荐算法真的很牛逼吗？
本文转载自科多大数据很多产品，真的是像表面看上去的推荐算法牛逼成就了他们吗？ 记得在2007年，Yahoo发布了新的搜索广告系统Panama（内部可以看作是一个推荐算法），试图于Google的Adwords（个性化广告推荐）一拼高下。按当时行业和专家的评测，推荐算法和技术水平应该差别不大。 但是，Yahoo失败了。 一个重大的差别是Yahoo的广告主和候选的广告数量，比...
2018-11-13 14:43:36
1903
原创 大数据学习之资源干货：机器学习高质量数据集大集合
本文转载自科多大数据在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。那么用于机器学习的开放数据集有哪些呢？文摘菌给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。首先，在搜索数据集时，在卡内基·梅隆大学有以下说法：数据集不应混乱，因为你不希望花费大量时间清理数据。...
2018-11-08 14:39:59
2532
原创 大数据学习之双11来了，你的订单可能是机器人在处理
本文转载自科多大数据随着网络平台的普及，越来越多人选择网购，如今双十一，俨然成为“购物节”的代名词。目前距离双十一已不到一周的时间从统计数据来看，2009年是淘宝首届双十一，短短一天创造了5000万元的销售额；2010年的双十一销售额达到9.36亿元，同比增长1772%；2016年和2017年的双十一支付宝的成交额均在1000亿元以上，同比增速均超过30%，平均每秒的成交超过115万元。如...
2018-11-08 14:22:23
521
原创 大数据时代，你不知道的程序员日常，不能太形象
本文转载自科多大数据大数据时代的快速发展，程序员作为一个特定人群异军突起，越来越多的人学习大数据技术，加入程序员大军，让我们一起轻松愉快的看看这些程序员的日常吧最后，大数据工程师是不错的岗位，祝愿所有的程序员项目都没bug...
2018-11-07 16:23:21
532
原创 多省市成立大数据局，加快大数据产业发展
大数据近年来发展迅速，但一定程度上存在问题，近日国家重拳出击，在多省市成立大数据局，加快大数据产业发展。本文转载自科多大数据互联网时代产生了海量的数据，但是对于数据的管理，一直缺乏相应的措施。很多数据也没有得到联通。在政府层面，一旦数据能够完全互联互通，政府目前所提供的所有公共服务，大多数都可以在线上办理，极大的节省人力物力。现在各地的机构改革方案纷纷出台，地方机构改革的蓝图已绘就，关...
2018-11-07 16:12:12
3206
原创 学习大数据开发需要读的书籍有哪些？大数据开发书籍推荐介绍
学习大数据少不了平时的技术经验的积累，只有不断的积累才能在熟能生巧中精益求精。今天向大家推荐一批大数据书籍，大家可以在业余的时候阅读，加深对大数据的了解，科多大数据分享给大家看看~1.数据之巅内容简介： 在《数据之巅》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起，通过阐述初数时代、内战时代...
2018-11-06 16:11:52
1537
原创 大数据学习之初学者必知的十大机器学习算法
本文转载自科多大数据，大数据学习都要接触到算法。本文先为初学者介绍了必知的十大机器学习（ML）算法，并且我们通过一些图解和实例生动地解释这些基本机器学习的概念。我们希望本文能为理解机器学习基本算法提供简单易读的入门概念。机器学习模型在《哈佛商业评论》发表「数据科学家是 21 世纪最性感的职业」之后，机器学习的研究广受关注。所以，对于初入机器学习领域的学习者，我们放出来一篇颇受欢迎的博文...
2018-11-06 13:46:00
4262
原创 大数据时代，世界伟大的十大算法大师
本文转载自科多大数据大数据产业的快速发展，人类文明进入一个全新的时期，即大数据时代，这个时代的来临需要很多伟大的发明家的付出和贡献，本文为大家介绍世界上伟大的十大算法大师。1、伟大的智者——Don E.Knuth，中文名：高德纳 (1938-)算法和程序设计技术的先驱者。Oh,God!一些国外网站这样评价他。一般说来，不知道此人的程序员是不可原谅的。其经典著作《计算机程序设计艺...
2018-11-06 13:41:09
2443
原创 大数据时代，我们必守的三条底线，大数据杀熟，不可忍
近来，有网友在微博爆料了一桩糟心事。该网友是某网约车平台白金卡会员，有时订车会收到“普通车紧张，免费升级商务车”提示。坐了几次“免费升级车”，偶然回看出行订单，发现头几次升级确实免费，之后却一直按照升级后的车型收费。翻看微博下近8000条评论，不少网友表示有类似经历。大数据识别出的优质客户，反而成了被“宰一刀”的对象。 随着互联网与生活的联系愈发紧密，全球数据呈现出爆发增长、海量集聚的特点。...
2018-11-05 14:29:22
787
原创 大数据时代之痛，你“裸奔”了吗？如何防止信息泄露
本文转载自科多大数据作为一个热爱大数据的从业人员，我很不愿意去讨论这个话题（数据窃取、信息泄密），并且也不感兴趣。但现实生活中，很多公司就打着“大数据”的口号，做一些毫无技术含量的事，也就是随意窃取用户的隐私数据，再整合数据去暴力营销，或者对外提供数据服务（收费）。更有直接的就是“贩卖数据”，内外勾结去谋取私利，从而导致公民个人隐私信息像“冤魂”一样，漂泊流浪。他们绞尽脑汁想去做的事，并不...
2018-11-02 14:48:07
3276
原创 数学对于大数据的意义在哪里？大数据人的情怀在哪里？
大数据行业在近年来的发展，让人瞠目结舌，大数据从业者越来越多，但是大数据人的情怀在哪里呢？数学对于大数据的意义又在哪里呢？本文转载自科多大数据。我理解的，大数据情怀如下：——初心：不忘初心，方得始终谈起当初为什么会选择大数据领域，我也才是一个学通信的人而已！最近，有位朋友在分答上向我提过这样类似的问题，原话是：你是如何赶上机遇选择这个领域的？是热爱，还是仅仅偶然？（我没回答这个问题...
2018-11-01 11:27:55
6929
原创 面试大数据工程师，必须洞察HR的心思，这些面试技巧你懂么？
很多面试大数据工程师职位的抱怨，为什么面试的时候老是要考什么算法呀，还要现场写代码？弄得大家天天去刷面试题，这些有什么用？本文是由科多大数据的就业指导老师总结的面试的经验和技巧。 那么，今天就来聊聊这么大数据工程师面试后面这么做的原委。 一个公司招聘一个人，需要考察什么？通常，这也是像Google，Facebook，Microsoft，和很多新锐的高科技创业公司所提倡的和实...
2018-10-31 15:40:18
963
原创 如何快速入门大数据学习，有哪些入门技巧
最近一年的时间里，我见证了很多朋友完成大数据入门的转型，他们之中有从事传统行业，有刚从校园毕业，也有做着与数据毫不相关的互联网工作。当然，在他们选择方向即将裸辞的同时，我也与一些朋友进行交谈过，并从我的个人角度上给予了一些实质性的建议，以及鼓励。本文分享一位科多大数据张老师的数据入门故事，希望能够让你转型路上少走弯路。 或许在很多朋友眼里，我的这个入门相对会比较容易，毕竟在大学期间就积累了...
2018-10-30 10:20:44
281
原创 大数据学习：抓不住业务痛点，谈什么技术价值
在很多大数据公司里，不论大数据项目的大小，技术部门和业务部门总有或多或少的矛盾。本文由科多大数据的张老师分享。我们深知：技术服务于业务，业务驱动技术去发展，两者密不可分。换句话来说，技术帮助业务去解决问题，业务给技术一个机会去证明价值，两者相辅相成。不过在大多数公司里，技术的存在感会弱于业务，这可能会让你感到不舒服，但它就是一个不争的事实。 作为一个技术人，你认为自己很厉害。但是如果业...
2018-10-30 10:19:28
592
原创 大数据学习中，有哪些数据吐槽，有没有困扰你的
01. 由于供职于成都科多大数据公司，做讲师的原因，会经常收到一些学员或朋友学习和工作中的困扰问题，有涉及数据转型入门的问题，有数据成长进阶的问题，也有实际业务数据的问题，当然，更有一些特殊的问题，归类为"数据吐槽"。 02. 何为"数据吐槽"，我这里的定义是：在数据领域，无论是在学习，还是工作，甚至是数据圈子内，对他人的观点或行为不认可、对遭遇的不良好现象所作出的反应，一吐为快。 ...
2018-10-30 10:18:12
325
原创 人人都适合学习数据分析吗？什么样的人适合大数据行业？
大数据培训几乎成了大数据人才通往职场的必经之路。但是据科多大数据所知，大数据培训学校并不是随便招收学员的。那么，大数据培训学校招收的都是怎么样的人呢？什么人适合学习数据分析？ 从大数据培训学校的角度来说，学大数据的学员一般都是专科及以上，具有统计学之类的知识，有一定的基础的，不然即使你报名学习了，但是因为基础为零，也是很难克服困难的，自动放弃还不如当初想清楚再学。 实际上，问题还有...
2018-10-26 16:02:23
2112
原创 大数据培训靠不靠谱？如何选择培训机构？
很多想加入大数据行业的人都是通过参加大数据培训这种方式，可是大数据培训真的靠谱吗？作为一个在培训行业摸爬滚打很多年的人，目前供职于科多大数据公司，一心致力于将职业培训惠及更多人而努力工作，今天给到大家一些负责任的建议，希望对你有用。现在不论是大数据培训还是其他的培训，我们都称之为职业技能培训，是以就业为导向的，然而就业这把尺子却是无形的，他没办法量化标准，所以就有培训这个行业实力参差不齐的情况...
2018-10-25 17:27:33
12890
2
原创 数据分析、数据挖掘、算法工程师、大数据分析师的区别是什么？爬招聘网站用数据来全方位分析
大数据行业经过几年的发展和沉淀，大数据项目岗位细分领域已经趋于完善，本文主要探讨在大数据分析这个领域，通过爬虫爬取各个招聘网站的相关数据，对细分岗位进行深入分析，本文的呈现，感谢科多大数据数据分析培训班第10期学员“NO.1”团队的技术支持。此次分析结果呈现经历三个阶段：细分查询目标 确定数据源获取范围 数据清洗、准备数据源获取的比例，分别来自拉勾、智联、51job等等网站，如下如：...
2018-10-24 10:56:42
23594
8
原创 数据分析学习之不得不知的八大算法详解
学习数据分析的朋友们都知道，算法是不可或缺的，或者说算法在一定程度上可以更好的量化的一个人的学习能力和水平，本文感谢科多大数据的冯老师，由他整理了经典的八大算法，相关的资料希望能帮助大家了解。算法一：快速排序法快速排序是由东尼 · 霍尔所发展的一种排序算法。在平均状况下，排序 n 个项目要Ο(n log n) 次比较。在最坏状况下则需要Ο(n2) 次比较，但这种状况并不常见。事实上，快...
2018-10-24 10:44:08
6622
原创 小白入门学习数据分析，为什么都选择python入门？
小白入门数据分析，最大的困惑就是从哪些入手，科多大数据公司通过三年的大数据专项人才培训项目，对零基础的小白接触的多了，自然就比较了解了，本文主要探讨数据分析入门，为什么选择python语言，以及python语言的作用有哪些？1、传说中的WEB开发在国内，豆瓣一开始就使用Python作为web开发基础语言，知乎的整个架构也是基于Python语言，这使得web开发这块在国内发展的很不错。...
2018-10-24 10:37:59
479
原创 大数据行业的女程序媛：“愿未来能朝九晚五，也能浪迹天涯”
大数据行业里面，大家已经习惯了大数据项目组全是男程序员的事实，也给很多未进入大数据行业的女孩子们，无形的压力和排斥，本文主人公来自科多大数据的一位培训女学员，主要介绍一个大数据项目上的女程序媛的恣意生活。十八九岁，精力旺盛，多想谈恋爱，结果所有力气都耗在高考上。二十一二岁，进了理想的大学，时间一大把，哪儿都想去，却独独没钱。二十五六岁，开始工作，有了点积蓄，却没了时间。三十岁，工作小有成绩，收...
2018-10-23 17:27:48
332
原创 大数据时代，如何提升格局
大数据时代，格局非常重要，想学习大数据技术的小伙伴，一定要认真阅读此文其实大数据时代的人才只分为三种：做事的人、做式的人、做局的人。道生一，一生二，二生三，三生万物。这三种人，组建起了一个庞大的社会体系。先看做事的人。把一件事情最好是一个人的基本能力，它遵循的是“事道”，讲究的是“技术”。这是社会上最多的人，他们往往是工薪阶层、自由职业者、零工、兼职人员等等，他们依靠出卖劳动力...
2018-10-23 17:21:18
330
原创 大数据学习之SPARK计算天下
学习大数据技术，SPARK无疑是绕不过去的技术之一，它的重要性不言而喻，本文将通过提问的形式围绕着SPARK进行介绍，希望对大家有帮助，与此同时，感谢为本文提供素材的科多大数据的武老师。为了辅助大家更好去了解大数据技术，本文集中讨论Spark的一系列技术问题，大家在学习过程中如果遇到困难，可以留言互动，我都将「知无不言，言无不尽」！//话题1：MapReduce的局限性有哪些？回复：...
2018-10-22 15:44:34
258
原创 学习大数据技术，Hive实践分享之存储和压缩的坑
在学习大数据技术的过程中，HIVE是非常重要的技术之一，但我们在项目上经常会遇到一些存储和压缩的坑，本文通过科多大数据的武老师整理，分享给大家。大家都知道，由于集群资源有限，我们一般都会针对数据文件的「存储结构」和「压缩形式」进行配置优化。在我实际查看以后，发现集群的文件存储格式为Parquet，一种列式存储引擎，类似的还有ORC。而文件的压缩形式为Snappy。具体的操作形式如下：① 创...
2018-10-22 15:37:10
244
原创 35岁大数据行业从业者，如何培养大数据核心竞争力
想转行来大数据行业的人，担心年龄的问题，在大数据行业中摸爬滚打的人，也担心瓶颈的问题，我个人以为，只要培训大数据的核心竞争力，才能让自己从人群中脱颖而出，也是为了让自己能得到一定的自由权，自由去选择心意的工作，自由去激发工作的热情，自由去平衡工作与生活的节奏。本人在大数据行业从业已久，目前供职于成都科多大数据公司，将我的数据思想分享出来，共同努力。虽然职场上没有谁是不可替代的，但在一定时间范围...
2018-10-19 18:33:36
3409
1
原创 大数据学习，Scala快速学习的方法
大数据学习过程中，都会学习Scala，众所周知，Spark支持4门语言，分别为R、Python、Java与Scala，但真正的底层实现语言则是Scala。在我以往的实践分享中，除了Python，我还会利用Scala去实践一遍，而且在面对大规模的数据建模中，我都会推荐去使用Hadoop、Spark去工程开发，充分利用集群的计算资源。很多在科多大数据培训的在读学员，经常对于学习方法比较提出一文，本文让...
2018-10-19 11:54:25
938
原创 建立大数据业务的全局观，了解大数据项目上下游
很多大数据的从业者，都清楚的知道，在大数据公司里，或者是大数据的项目里，都设有独立的数据部门，而且如果部门内的的人员规模足够大的话，还会进一步考虑划分成几个小组，比如BI、大数据、数据产品和UED，甚至还可能会有数据挖掘组、爬虫组。大家各尽其责，在自己的岗位上相互独立的去工作，虽然经常会遇到「数据项目」需要大家一起协作完成，但却很少有人彻头彻尾的去了解整个项目中的数据迁移，顶多也只是任务之间的对接...
2018-10-18 12:19:52
1406
原创 一文了解，大数据就业薪资怎么样？
大数据行业薪资高，是显而易见的，于此同时，大数据岗位薪资的范围也是比较宽的，这关系到个人的学历学科背景，技术掌握情况，当然各个地区的薪资肯定是不同的。本文从三个角度来分析薪资。先从科多大数据的一个大数据开发培训班来了解初级大数据岗位的薪资情况，对于很多初入大数据行业的人来说，这个比较有参考性，其次从招聘网站来了解企业给的薪资范围，第三，看看北京的大数据各个岗位的平均薪资情况第一，借助科多大数据...
2018-10-17 16:39:11
985
原创 如何调用Spark中的数据标准化库
在大数据的学习过程中，总有很多小伙伴遇到不知如何调用Spark中的数据标准库，本文的核心这不是在于介绍「数据标准化」，也不是在于实现「Spark调用」，毕竟这些概念大家应该耳濡目染了，至于调用方法一搜一大堆。今天这个问题也是科多大数据的一名学员提出来的，估计有很多人也遇到类似的问题，一并分享在此，希望可以帮到大家。首先，我们先看一下Spark要做「标准化」的输入数据样式。// 原始数据...
2018-10-16 18:39:13
533
原创 小白自学大数据技术，学习路线很重要
身边有很多朋友想学习大数据技术，但是苦于一没基础，二没时间，三不知道如何入手，看着大数据行业发展如火如荼，大数据技术岗位各种薪资高、发展好。那何不利用自己的业余时间，赶紧学起来。为方便大家学习，参考科多大数据的培养体系，整理了一些大家自学的技术和顺序，赶紧学起来大数据处理技术怎么学习呢?首先我们要学习Java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。Java：...
2018-10-16 18:26:23
787
原创 数据分析师需要知道的数据可视化工具
科多大数据为大家介绍数据分析师需要知道的数据可视化工具。所谓数据可视化是对大型数据库或数据仓库中的数据的可视化，它是可视化技术在非空间数据领域的应用，使人们不再局限于通过关系数据表来观察和分析数据信息，还能以更直观的方式看到数据及其结构关系。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示，大量的数据集构成数据图像，同时将数据的各个属性值以多维数据的形式表示，可以从不同...
2018-10-16 11:58:36
751
原创 学习大数据开发需要读的书籍有哪些？大数据开发书籍推荐介绍
学习大数据少不了平时的技术经验的积累，只有不断的积累才能在熟能生巧中精益求精。今天向大家推荐一批大数据书籍，大家可以在业余的时候阅读，加深对大数据的了解，分享给大家看看~1.数据之巅内容简介： 在《数据之巅》这本书中，从小数据时代到大数据的崛起，作者以宏大的历史观、文化观、大数据观，给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起，通过阐述初数时代、内战时代、镀金时代...
2018-10-16 11:56:37
1679
原创 文科生转行数据分析，分享我的大数据培训经历
以下文章转载自一位培训数据分析小伙伴的分享。对于很多想转行学习大数据技术，参加大数据培训的小伙伴们，可以参考参考 很多人不敢承认自己是培训出来的，我今天来简单讲讲我参加数据分析培训的经理，大家有什么疑问的可以留言交流。我目前在四川一家大型移动运营商省公司做数据分析岗位，薪资6K 先介绍我的背景吧，西南地区，四川某三流学校的本科毕业（其实就是个三本院校），高中是文科，大学专业英语（国际物...
2018-10-15 10:00:06
18529
3
原创 大数据培训需要多久
近年来IT行业炽热，特别是大数据相关岗位，就业远景十分壮观。咱们从各大招聘网站上面能够看出，大数据相关的岗位薪资待遇都十分喜人。而且岗位需求人数多，拥有大数据相关技术基本不愁找不到高薪工作。很多大数据从业者在职期间就会有无数的猎头高薪招聘。在大数据就业这么火的背景下很多人想要去参加大数据培训，可是大数据培训一般需求多久时间呢？大数据培训时刻长短首要是根据学员根底决定的。关于有jav...
2018-10-11 17:03:13
22016
原创 大数据行业薪酬待遇怎么样？
大数据发展非常火热的时候，很多想加入大数据行业的小伙伴，犹豫和困惑最大的问题就是大数据岗位薪资情况，下面我就给大家分析分析1、数据开发在互联网岗位薪酬中，排名第二2、职位量大增，投递量增长更快从 2015 年到 2016 年，大数据招聘岗位的数量翻了一番，投递量增加了近两倍，平均薪酬也有温和增长。从 2016 年到 2017 年，职位数增长了 27 %，投递量则翻了一倍不止，平...
2018-09-30 14:56:23
9655
原创 如何系统规划大数据学习之路
大数据的领域非常广泛，往往使想要开始学习大数据及相关技术的人望而生畏。大数据技术的种类众多，这同样使得初学者难以选择从何处下手。。本文将为你开始学习大数据的征程以及在大数据产业领域找到工作指明道路，提供帮助。目前我们面临的最大挑战就是根据我们的兴趣和技能选定正确的角色。为了解决这个问题，我在本文详细阐述了每个与大数据有关的角色，同时考量了工程师以及计算机科学毕业生的不同职位角色。1.如...
2018-09-30 14:32:34
700
原创 Python程序员，你必须知道的面试题
Python越来越火之后，把python作为自己的终生事业来做的话，是很多的终极目标，可是要做到知己知彼，百战不殆，那么你需要了解面试官出什么题，这些面试问题大致可以分为四类：什么（what）？如何做（how）？说区别/谈优势（difference）以及实践操作（practice）。 What？ 1. 什么是Python？2. 什么是Python自省？3. 什么是PEP...
2018-09-30 14:29:39
595
1
原创 遇到大数据行业的职业发展瓶颈，你有勇气去突破？
大数据行业的发展不是一直呈现指数增长的，而且作为身在其中的大数据行业从业者，大家或快或慢的都会遇到职业瓶颈，今天我们就聊聊数据人才的瓶颈有哪些，该如何去突破。 每个人在不同的成长阶段都会遇到瓶颈，就拿我自己来说，读书时代由于没有找到正确的学习方法，所以我的英语成绩一直提升不上来，而且我还不愿意去写作，觉得英文作文对我来说太难了。 在开始工作以后，由于短时间内没有适应这种快节奏的生活...
2018-09-29 14:57:58
1225
原创 透过信用贷业务看数据分析的重要性
大数据行业快速发展的时代，很多人都有疑问，大数据究竟有重要，今天我们主要来讲一讲数据分析的重要性。先毫不客气的说一句话：现在整个数据领域，很多自认为玩转数据的人，结果却没有几个人能拥有养好的数据思维，更别说拿得出一份像样的分析报告，缺少了老一辈商业数据分析人的精神。同样还有大部分数据分析师，也受这种风气的影响，没有抓住自己的核心力，写的分析报告就像是做数据统计一样。 大家受益于「大数据...
2018-09-29 14:02:02
1143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人