- 博客(26)
- 收藏
- 关注
RSS订阅
转载 谷歌前高级工程师：如何快速搭建大数据环境
谷歌前谷歌高级工程师兼技术主管，京东前高级研发总监，后续在北京与京东前CTO合作建立了和金在线（互联网保险大数据公司），获得红点创投的投资。其实我以前是做大数据的，我在京东是做大数据运用，做他们的推荐系统、广告系统和搜索引擎，，资深大数据程序员，建了一个大数据资源共享群593188212 ，欢迎加入分享学习方法，实时了解大数据市场需求，计算机就可以学会以往只有人类才能理解的念破知识，然后再将这些概...
2018-06-01 17:09:40
1007
转载 要想月薪达到5万，要必备以下9项技能,阿里前大数据工程师说的
现在已经进入了大数据时代，哈佛大学社会学教授加里·金说：“这是一场革命，庞大的数据资源使得各个领域开始了量化进程，无论学术界、商界还是政府，所有领域都将开始这种进程。” 目前很火，数据源头，各种炫酷新技术，搭建hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的.这里面要解决的是实时、近实时和离线的大数据框架如何搭建，各数据流之...
2018-06-01 12:34:24
1656
原创 作为阿里云年薪500k大数据工程师必须掌握以下三种技能
阿里云大数据在近几年的发展速度确实超出人们的预料，自2014年3月“大数据”首次出现在《政府工作报告》中以来，国务院常务会议一年内6次提及大数据运用，而且不管是在数博会还是今年的G20当中，大数据“存在感”极高。我是一个大数据程序员，建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习方法，为大家学习，交流，企业对于大数据的开发应用自然是离不开大数据工程师的，那么什么是大数据工...
2018-04-18 19:02:55
2429
原创 大数据之数据可视化如何发现[吃鸡]秘密
大吉大利，今晚吃鸡~ 今天跟朋友玩了几把吃鸡，经历了各种死法，还被嘲笑说论女生吃鸡的100种死法，比如被拳头抡死、跳伞落到房顶边缘摔死 、把吃鸡玩成飞车被车技秀死、被队友用燃烧瓶烧死的。这种游戏对我来说就是一个让我明白原来还有这种死法的游戏。但是玩归玩，还是得假装一下我沉迷学习，所以今天就用吃鸡比赛的真实数据来看看如何提高你吃鸡的概率。是那么我们就用python和R做数据分析来回答以下的灵...
2019-01-17 12:29:58
417
1
原创 医疗界人工智能，科技巨头和初创公司的新战场
如果GAFA（Google, Amazon, Facebook, Apple）四巨头在医疗界称霸了会怎么样？十多年前，谷歌首次尝试介入医疗领域。在2012年放弃其在线医疗病历项目“谷歌健康”之后，该公司携其子公司DeepMind Health再次卷土重来，做了它最擅长的事：收集和处理数据。它们主要收集医院病人的数据，特别是英国病人的数据。在与皇家自由医院信托基金会（Royal Free H...
2018-12-05 22:20:09
217
原创 资深程序员分享：如何用Flume+Kafka+Storm+Redis构建大数据实时处理系统
数据处理方法分为离线处理和在线处理，今天写到的就是基于Storm的在线处理。在下面给出的完整案例中，我们将会完成下面的几项工作：如何一步步构建我们的实时处理系统（Flume+Kafka+Storm+Redis） 实时处理网站的用户访问日志，并统计出该网站的PV、UV 将实时分析出的PV、UV动态地展示在我们的前面页面上如果你对上面提及的大数据组件已经有所认识，或者对如何构建大数据实时处理...
2018-11-21 21:23:05
279
原创 转行入门大数据如何暂获月薪2w
目前大数据行业异常火爆，不少人都对大数据充满了兴趣，其中有大部分人都是之前没有接触过计算机技术的，对编程语言也不太了解，那是不是这部分零基础的朋友就学不了大数据了呢？答案当然是否定的。大数据学习并不是高深莫测的，虽然它并没有多简单，但是通过努力，零基础的朋友也是完全可以掌握大数据的。 零基础学习大数据的话大概分为以下几步： 1. 了解大数据理论 要学习大数...
2018-11-07 21:44:57
195
原创 Spark、Flink、CarbonData技术实践最佳案例解析
Spark Structured Streaming特性介绍作为Spark Structured Streaming最核心的开发人员、Databricks工程师，Tathagata Das(以下简称“TD”)在开场演讲中介绍了Structured Streaming的基本概念，及其在存储、自动流化、容错、性能等方面的特性，在事件时间的处理机制，最后带来了一些实际应用场景。 首先，TD对...
2018-10-19 22:11:17
667
转载 年薪50w+工程师分享大数据系统数据采集产品的架构分析
任何完整的大数据平台，一般包括以下的几个过程： 数据采集 数据存储 数据处理 数据展现（可视化，报表和监控） 其中，数据采集是所有数据系统必不可少的，随着大数据越来越被重视，数据采集的挑战也变的尤为突出。这其中包括： 数据源多种多样 数据量大，变化快 如何保证数据采集的可靠性的性能 如何避免重复数据 如何保证数据的质量 我们今天就来看看当前可用...
2018-10-16 11:46:48
225
转载 为什么说 Java 程序员到了必须掌握 Spring Boot 的时候？
Spring Boot 2.0 的推出又激起了一阵学习 Spring Boot 热，就单从我个人的博客的访问量大幅增加就可以感受到大家对学习 Spring Boot 的热情，那么在这么多人热衷于学习 Spring Boot 之时，我自己也在思考： Spring Boot 诞生的背景是什么？Spring 企业又是基于什么样的考虑创建 Spring Boot? 传统企业使用 Spring Boot 会...
2018-10-11 17:38:22
137
转载 阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读
什么是搜索离线？ 一个典型的商品搜索架构如下图所示，本文将要重点介绍的就是下图中的离线数据处理系统（Offline System）。 何谓离线？在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务；与之相对应的，将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。商品搜索的业务...
2018-09-25 14:34:09
365
转载 HashMap和Hashtable的在实战的中的区别
在面试的时候，java集合最容易被问到的知识就是HashMap与Hashtable的比较，通常我们也很容易回答出一下几点：1、HashMap是线程不安全的，在多线程环境下会容易产生死循环，但是单线程环境下运行效率高；Hashtable线程安全的，很多方法都有synchronized修饰，但同时因为加锁导致单线程环境下效率较低。2、HashMap允许有一个key为null，允许多个value...
2018-09-25 14:31:23
150
原创 零基础如何入门大数据，避免采坑了，请看过来
我们都知道现在大数据很火，很多小伙伴也在跟容大老师咨询学习大数据的方法，比如说：大数据入门应该如何学习? 对于大数据的入门学习，基础不一样，起点就会不一样，今天先来说说，对于零基础的同学想要学习大数据的方式方法吧!很多人可能感到不可思议，零基础怎么可能学习大数据，没有编程基础怎么能入门呢?其实这个观点是很正确的，对于大数据的开发而言，是需要一定的编程基础的，所以我们的大数据入门级课程就落在...
2018-09-06 23:03:20
572
原创 干货分享：大数据之Hive元数据库与基本操作
Hive将元数据存储在RDBMS 中，一般常用的有MYSQL和DERBY。 hive元数据对应的表约有20个，其中和表结构信息有关的有9张，其余的10多张或为空，或只有简单的几条记录，以下是部分主要表的简要说明。从上面表的内容来看，hive整个创建表的过程已经比较清楚了。 1. 解析用户提交hive语句，对其进行解析，分解为表、字段、分区等hive对象 2. 根据解析到的信息构建对应的表、字段、分...
2018-07-11 19:38:13
2353
转载 常见的七种价值万元的Hadoop和Spark项目案例
如果你的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常...
2018-07-02 21:55:42
482
1
原创 年薪500k阿里云大咖：掌握好以下数据库八大要点，月薪50k不是梦
阿里如今，我们每个人都在谈论“数据科学”，《哈佛商业评论》甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代，究竟什么是数据科学？数据科学家又究竟是怎样的一群人？他们在创造着什么令人着迷的东西？DT君将在2018年走访50位来自各行各业的顶尖数据科学家，希望能让你们了解这些神奇的人和他们神秘事儿，为你们一窥数据科学的未来与未知。我是一名大数据程序员，建了一个大数据资源共享群59318...
2018-06-25 16:07:07
302
原创 大数据时代，如何成为一个年薪50w的大数据开发工程师？
大数据是眼下最带感的技术名称之一，大数据行业的火爆发展也自然也衍生出了一些与大数据相关的职业，比如互联网数据分析师、数据工程师等等，通过对数据的挖掘分析来影响企业的商业决策已屡见不鲜。这类职业的人群在国外被叫做数据科学家（Data Scientist），这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出，他们后来分别成为了领英（LinkedIn）和Facebook数...
2018-06-15 15:40:17
3205
1
原创 腾讯每一个800k顶级大数据工程师都应该学习以下四个必备技能
发布会随着科学技术的不断发展，数据工程师也在不断的成长，在他们成长过程中他们需要更多的关注设计决策和与管理层的沟通。我是一个大数据程序员，建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习方法 ，于是，有经验的数据工程师可以帮助年轻的数据工程师，可以利用自己的经验帮助决定最合适的设计决策，能够更好地为自己和公司带来好处。而作为数据工程师在成长的过程中，需要掌握以下4个技能。女...
2018-06-12 18:02:10
1058
转载 零基础如何入门大数据编程开发？
新如何学习大数据技术？大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题，已成为热门大数据领域热门问题，以下是对新手如何学习大数据技术问题的解答！大数据开发学习可以按照以下内容进行学习：第一阶段：JavaSE+MySql+Linux学习内容：Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysq...
2018-06-04 11:35:22
541
转载 如何快速成为一个优秀大数据架构师，拿到BAT 网络公司的offer
全球数据在现今的社会，大数据的应用越来越彰显他的优势，它占领的领域也越来越大，电子商务、O2O、物流配送等，各种利用大数据进行发展的领域正在协助企业不断地发展新业务，创新运营模式。有了大数据这个概念，对于消费者行为的判断，产品销售量的预测，精确的营销范围以及存货的补给已经得到全面的改善与优化。我是大数据程序员，弄一个大数据学习群593188212，里面每天分享学习大数据心得，还有学习资料分享“大数...
2018-06-02 21:19:54
1273
原创 如何自学大数据，成为年薪50万大咖路线分享
大数据方向的工作目前分为三个主要方向:01.大数据工程师02.数据分析师03.大数据科学家04.其他（数据挖掘本质算是机器学习，不过和数据相关，也可以理解为大数据的一个方向吧）由于本人曾是大数据工程师的角色，我就这个方向做一些介绍本回答目录:一、大数据工程师的技能要求二、大数据学习路径三、学习资源推荐（书籍、博客、网站）一、大数据工程师的技能要求附上二份比较权威的大数据工程师技能图（图侵删）&am...
2018-05-29 16:39:14
525
原创 月薪1w的大数据工程师，在北京这个大城市是怎样的生活
住的地方每个人都有自己的亲身经历，每个人都有一条生活道路。千万人，千万条，各不相同，各有特点。但是并不是好人都有一条好路，坏人都有一坏路。有的时候却恰恰相反。这虽然不是历史的必然，但却是客观社会存在的。今天咱们说的这部书是发生在当代，一些不同的程序员所走的不同的生活道路的故事。现在分享一下网友在北京的留言程序员应聘住的地方现在分享一下大数据需要的技能，职责：数据工程师：一般的话是大数据公司负责公司...
2018-04-18 18:23:21
1284
2
原创 一张图解析优秀大数据工程师的技能，掌握了年薪五十万不是梦想
2017年年末，就产业创新发展、数字经济建设、国家创新治理、民生保障与改善、国家数据安全五大方面做了前瞻性布局，并强调要推动实施国家大数据战略，加快建设数字中国，更好地服务我国经济社会发展和人民生活改善。我大数据从业者，建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习路线，要学习专研，分析别人大数据业务流程有4个基本环节，分别是业务理解、数据准备、数据挖掘、分析应用
2018-04-16 12:22:12
1378
原创 各行各业的赓续创新，大数据已经慢慢为人类进步创造不可估量价值
大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。学会大数据，了解大数据，分析大数据，利用大数据带来的便利，我大数据从业者，建了一个大数据资源共享群593188212 每天分享大数据学习资料和学习路线，其次，
2018-04-16 12:20:56
630
原创 年薪500K大数据科学家：如何利用大数据驱动社会治理
大数据”迅速成为一个“热门”概念，在社会治理领域，运用大数据提升社会治理的智能化水平也已经成为大势所趋。然而，仅仅停留于“大数据”的概念并不能解决中国社会治理的诸多难题，大数据驱动是技术、产业、战略和思维四大要素的系统驱动，任何一个要素的缺失都可能影响到大数据驱动社会治理的实效。与此同时，大数据驱动在本质上是信息驱动，信息技术手段的使用虽然可以解决中国社会治理的很多问题，但并非全部问题，因此需要澄...
2018-04-15 21:53:29
242
原创 从月薪3千的迷茫你转战年薪50万的数据分析师需做到一下几点步骤
行业知识都重要，也许你看到很多的数据行业的同仁，在微博或者写文章说，数据分析思想、行业知识、业务知识很重要。我非常同意。因为作为数据分析师，在发表任何观点的时候，都不要忘记你居于的背景是什么？但大家一定不要忘记了一些基本的技术，不要把基础去忘记了，如果一名数据分析师不会写SQL，那麻烦就大了。哈哈。。你只有把数据先取对了，才能正确的分析，否则一切都是错误了，甚至会导致致命的结论。新同学，还是好好花...
2018-04-15 21:51:37
923
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人