1 大数据技术

尚未进行身份认证

暂无相关简介

等级
TA的排名 11w+

基于Flume的美团日志收集系统-----架构和设计

问题导读:1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方?2.架构设计考虑需要考虑什么问题?3.Agent死机该如何解决?4.Collector死机是否会有影响?5.Flume-NG可靠性(reliability)方面做了哪些措施?美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流。美团的日志收集...

2019-08-23 15:09:43

hadoop3.0新特性介绍

hadoop3.0新特性介绍1. 基于jdk1.8(最低版本要求) 2. mr采用基于内存的计算,提升性能(快spark 10倍) 3. hdfs 通过最近black块计算,加快数据获取速度(块大小:256M) 4. 支持多NameNode(实现了更加可靠的HA) 5. 引入EC纠删码技术(EC:Erasure Coding) 存储空间节省50% 6....

2019-07-16 09:30:00

GitHub上反对996,这些程序员都来自哪里?

996工作制是指工作日早9点上班,晚上9点下班,中午和晚上休息1小时(或不到),总计10小时以上,并且一周工作6天的工作制度,是非常辛苦且严重违反劳动法践踏人权的工作制度。而作为互联网行业的IT程序员们,大部分都是出于这样的工作时间,近日在GitHub上出现了这么一条:控诉互联网公司的侵权行为。有人注册了一个叫做996.icu的域名,并且在这个网站上大举控诉部分互...

2019-03-29 18:01:29

推荐系统的架构图

推荐系统的架构 本文从互联网收集并整理了推荐系统的架构,其中包括一些大公司的推荐系统框架(数据流存储、计算、模型应用),可以参考这些资料,取长补短,最后根据自己的业务需求,技术选型来设计相应的框架。后续持续更新并收集。。。 图1 界面UI那一块包含3块东西:1) 通过一定方式展示推荐物品(物品标题、缩略图、简介等);2) 给的推荐理由;3) 数据反馈...

2019-03-28 15:43:43

算法——贝叶斯公式的推导过程

全概率公式,贝叶斯公式推导过程(1)条件概率公式 设A,B是两个事件,且P(B)>0,则在事件B发生的条件下,事件A发生的条件概率(conditional probability)为: P(A|B)=P(AB)/P(B)(2)乘法公式 1.由条件概率公式得: ...

2019-03-28 15:31:53

做了十年程序员的苏明哲被裁掉的真正原因!

作为一个程序员,在看《都挺好》这部剧的时候可能关注的点不太一样。别人关注的是家长里短和每个人的好坏,我却更关注做了十年程序员被开除的名校毕业生苏明哲。 清华斯坦福双名校加持《都挺好》剧中介绍,苏明哲本科是清华毕业,研究生考上了美国的斯坦福,是全球排名第七的顶尖高校,毕业之后做了程序员,学习的是计算机专业,在这个学校这个专业学习的人里面有27位图灵奖(计算机最高奖)获得者,谷歌两位创始...

2019-03-28 15:21:16

如今的大数据究竟发展到了什么阶段

大数据时代,大数据分析与应用大肆盛行。越来越多的大公司大企业大集团,都越来越重视大数据的影响和作用。可以说,谁想抢得大数据的一手可靠资料,谁就在未来的业务发展和拓宽中占据优势,谁就会在相关领域首先拔得头筹。但是,大数据发展前景现在到底如何,大数据的可靠性由谁说了算,大数据的真实性有谁可以保证?甚至还可以再倒退一点点来问问,如今的大数据究竟发展到了什么阶段?我想,应该很少人能够清楚地知...

2019-03-27 14:28:00

大数据时代,你的信息安全谁负责?

数据时代的来临,各项社会活动全面启动数字化进程,对应的技术应用背后,其信息安全风险也越发突出。脸书数据门作为脸书Facebook的合作伙伴之一,一家名为“剑桥分析公司”的数据分析企业,创建了一个问答应用“这是你的数字化生活”,并获得了约30万人安装。由于当时脸书是开放广告API接口的,这让这家公司可以在这些用户好友不知情的情况下,获取他们的数据,最终有5000万用户数据被泄漏,这是自“...

2019-03-27 14:25:25

大数据分析的5个方面

越来越多的应用涉及到大数据,不幸的是所有大数据的属性,包括数量,速度,多样性等等都是描述了数据库不断增长的复杂性。那么大数据给我们带来了什么好处呢?大数据最大的好处在于能够让我们从这些数据中分析出很多智能的,深入的,有价值的信息。下面我总结了分析大数据的5个方面。1. Analytic Visualizations(可视化分析)不管是对数据分析专家还是普通用户,数据可视化是数据分析工...

2019-03-25 10:16:30

BATJ原来是这样玩大数据的!

为什么国内的大数据应用,只有几个互联网巨头取得成就呢?是因为它们拥有最多的用户、流量和数据吗?去年5月笔者曾撰文阐述百度、阿里和腾讯这三个互联网巨无霸开始挖掘大数据。一年过去,拥有海量数据的公司已在多个领域尝试对掌握的数据进行利用,大数据意识和能力进步飞快,体系和工具日趋成熟。大数据应用实践,硕果累累百度在大数据方面让人印象深刻的有百度迁徙这样的公益项目,应用在民生和新闻等领域。最...

2019-03-19 13:50:50

大数据岗位最新面试题~3.18

随着互联网时代的不断发展,现在越来越多的人都选择从事IT行业,然而能够在这个行业十几年,中间只换过两三次公司,那也算是行业界的一股清流,然而现在的公司并没有那么好做,都想进入BATJ,但是发现自己硬是差了很多,就连普通的企业都困难,这是为什么呢?难就难在面试题!下面分享我一个朋友在面试大数据岗位的时候所做的面试题,可以先看看:JAVA相关 List与Set的区别? HashMa...

2019-03-18 16:32:09

用大数据算法得出当代移动互联网人群图鉴

《美国队长2》中,九头蛇利用算法推算出潜在威胁到自己的敌人。而在移动互联网时代背景下,大数据根据用户的过去行为来分析&预测用户偏好。在此种环境中被不断浸染的情况下,结合你对移动互联网人群兴趣变化特征的了解,能否一眼辨别他们在不同场景的身份呢?比如下面这些人,结合你的数据认知和人生经验能猜出正确答案吗?高能预警!题图中隐藏多个烟雾弹,请各位保持警惕!不要被糖衣炮弹迷惑!(部分场景纯属娱乐...

2019-03-13 16:11:44

最新数据显示:2025年中国将拥有世界最大数据圈

国际数据公司(IDC)2月21日发布的报告预测,中国数据圈在2025年增至48.6ZB字节,占全球27.8%,成为最大数据圈。IDC昨天发布了《数字化世界—从边缘到核心》和《IDC:2025年中国将拥有全球最大的数据圈》两份白皮书。报告预计,中国的数据圈从2018年至2025年将以30%的年平均增长速度领先全球,比全球高出3%。此外,从2015年到2025年,中国数据圈以14倍的速度扩...

2019-02-23 11:12:44

分享几个大数据相关岗位的职责和面试问题

现在大数据行业如此火爆,国家和企业都需要发展大数据技术,但是人才高度稀缺,企业用人难!而大学生们有出现这样的问题:就业难。有的岗位可能面临着几百个人竞争的情况,今天小编带大家来看看大数据相关岗位的职责和面试问题有哪些489034603根据业务的不同,岗位职责大概分为:1、平台搭建类· 数据计算平台搭建,基础算法实现,当然,要求支持大样本量、高维度数据,所以可能还需要底层开发...

2019-02-23 10:51:22

阿里正式向 Apache Flink 贡献 Blink 源码

 如同我们去年12月在 Flink Forward China 峰会所约,阿里巴巴内部 Flink 版本 Blink 将于 2019 年 1 月底正式开源。今天,我们终于等到了这一刻。阿里资深技术专家大沙,将为大家详细介绍本次开源的Blink主要功能和优化点,希望与业界同仁共同携手,推动Flink社区进一步发展。Blink on GitHubBlink简介Apache Fl...

2019-02-18 17:18:31

程序员情人节送这些!

号外!号外!一年一度的情(虐)人(狗)节来了!但是该有的礼物,惊喜一件也不能少!脱单的程序员们,狗粮撒了一地!小姐姐从现场带来的报道,带回一地狗粮给吃瓜群众们品尝!程序员A君收到了女朋友送的机械键盘,看下图激动的,羡慕死单身汪了!都知道程序员有钱缺爱,所以他大笔一挥,送了一部最新版的手机!程序员B君,直接定做了一款巧克力键盘作为礼物送女盆友,难得直男癌圈里也有这么浪...

2019-02-14 17:05:14

掌握这些大数据知识,面试官再也不会怕了!

一、大数据是什么?大数据,big data,《大数据》一书对大数据这么定义,大数据是指不能用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。这句话至少传递两种信息:1、大数据是海量的数据2、大数据处理无捷径,对分析处理技术提出了更高的要求二、大数据的处理流程下图是数据处理流程:1、底层是数以千亿计的数据源,数据源可以是SCM(供应链数据),4PL(...

2019-01-18 16:51:18

北上广深的程序员,房子在向你们招手了!

由于目前行业环境以及生存所迫,作为北上广深的程序员,不得不首先考虑两件事:“我真的决定扎根在这儿吗?”“我真的买得起这儿的房吗?”【房价,是爱恨情仇】北上广深,代表全国最in的高新技术和发展可能,其超高的商业资源集聚度、城市枢纽性、生活方式多样性等优势,都让程序员们难舍难离。程序员和北上广深的关系,说得有趣点,特别像恋爱,互相成全却又互相羁绊。互相成全,是因为我们彼此都需要...

2019-01-18 16:43:45

如何应对互联网界的奇葩面试题!

前两天和朋友聊天,他跟我说了一段他们公司招聘的趣事一个名校本科刚毕业的妹纸面试他们公司的市场助理一职,面试过程一切顺利,到最后,面试官问了妹纸一个问题:交过男朋友吗?妹纸如实回答没有就这一句没有,就让她失去了对这一职位的竞争我问我朋友为什么,他说没交过男朋友,就证明了她在处理人际关系上不成熟,没经验,很有可能应付不了市场助理这一职位我听后豁然开朗,茅塞顿开,并朝他打了个嗝,...

2019-01-17 18:04:37

面试了一个2年程序员,竟然只会curd,网友神回复!

要说现在热门的编程语言,大多数程序员都会说Java,Python,JS,PHP等,但Java应该是这其中应用最广泛的。但从各招聘信息上来看,Java程序员的薪资也是从最低4k月薪到高达百万年薪不等,从专业角度来说,架构师是薪资相对高的,实习生找开发岗现在也比较难了。 不过最近有个两年java开发经验的程序员,因为公司倒闭了所以重新找工作,面试官在网上吐槽他底子太差,只会curd,所以整个面...

2019-01-17 17:41:09

查看更多

勋章 我的勋章
    暂无奖章