9 Leo.yuan

尚未进行身份认证

欢迎关注公众号“数据分析不是个事儿”

等级
TA的排名 658

一文详解被阿里腾讯视作核心机密的大数据平台架构

上一篇文章讲的是美团的大数据平台架构,相信大家也看到了这种平台的优势,也就是因为这种大数据平台架构的存在,阿里才会提出数据中台这么个非常好用的东西,后面有空会和大家再讲讲数据中台。好了,言归正传,如果我们能够化整为零,在企业内部从宏观、整体的角度设计和实现一个统一的大数据平台,引入单一集群、单一存储,统一服务和统一安全的架构思想,就能很好的帮助企业解决很多问题。提到大数据分析平台,不得不说Hadoop系统,Hadoop到现在也超过10年的历史了,很多东西发生了变化,版本也从0.x进化到目前的2.6版

2020-05-29 10:29:40

30岁女IT工程师感叹:靠这工具,把报表做成养老工作,月薪快3W

我是一家公司的女BI工程师,既做报表,也做数据分析,整天就是和数据打交道,听起来这是一份很不错的工作,可是我厌倦了上班。为什么呢?往下看。说起来我也是一个工作4年,快接近30岁的IT人了,就是你们口中的程序媛,java、etl、olap的水平不能说有多高,但是都轻车熟路,因为我是在传统企业,所以是在IT部名下,主要工作就是做报表开发,你知道的,传统企业的数据都很多很杂,而且处理方式很差很差...。我参与的项目都离不开制作报表,公司为了节约成本一直用的都是开源的报表工具,而这次的项目要的.

2020-05-28 10:46:41

数据分析工具测评!被Excel打过的“耳光”,现在可以还回去了

每个职场人都听过领导这么说:你帮我分析一下这个数据,你研究一下做个数据报告给我....于是你埋头苦干,用着那不太熟练的Excel,也算是依葫芦画瓢,给了一个像样的模板,但实际上这真的是你自己想要的?你不觉得这个过程中有很多能提升的地方吗?Excel真的是最好的工具吗?你翻翻岗位需求你就可以看出来,大数据时代下,无论是什么岗位,其实都离不开数据分析,或多或少都有一点。要想做出一点成绩,这可以说是你必备的技能。既然想做出成绩,那学会数据分析技能就很重要了。在我看来,数据分析技能包括思..

2020-05-27 10:42:02

32岁阿里数据工程师辞职后:做报表3年,我发现比996还累

最近有一个趋势,无论是很多IT互联网巨头公司,还是和同行的交流,发现大家都在向B端迈进,也就是做出为企业服务的东西,比如阿里云。C端,也就是我们每个人使用的app端,其实增长的空间已经很少了。那么随之而来的也就是岗位需求的增多以及薪资的上调,如下图:还可以给到更多我有一朋友在阿里做报表工程师,听着很不错是吧,但是最近他却离职了,为什么?因为他今年32岁,在阿里也干了3年报表和数据的工作,但是这3年里却感觉活得却像取数机器,都说996累,其实比996更累的是心累。我相信这种情.

2020-05-26 10:19:57

别被忽悠了!我来谈谈大数据平台的4个要点,你们写的都不是干货

公司要做数据分析,首先要考虑数据的准备,也就是数据平台的建设,最近接触了几个朋友都处于这一环节,而且其中一个在方案选型过程中,也是充满了纠结,而我也并没有在开始阶段给出合理全面的建议。所以根据自己的认知整理了这篇文章,一是对自己的整理,二是希望通过分享,给大家一些参考的价值。一、为何而搭建数据平台业务跑的好好的,各系统稳定运行,为何还要搭建企业的数据平台?这样的问题,心里想想就可以了,不要大声问出来。我来直接回答一下,公司一般在什么情况下需要搭建数据平台,对各种数据进行重新架构。.

2020-05-25 10:27:05

不懂编程,不会数据架构,同事做的可视化报表是如何让我佩服的?

前段时间,和一个IT科技部的朋友聊天,他向我抱怨:自己进公司3年了,月薪还不到1万,而刚来半年的同事,最近却因为在一个项目中,为公司一次性多创造了500万的利润,直接被提拔为部门主管,月薪涨到了2万,还被老板指定负责下一个新项目……我问了问原因,因为涉及到企业数据管理,他自己做的报表并不能让老板看出业务的变化,一团团的堆在那里,而且数字化转型说了好久了,企业的数据结构一点变化都没有,ERP和Excel都能成为数据中心,这不是在搞笑么?这种报表乍一看还不错,但是真的没有什么用,..

2020-05-22 10:12:34

堪比整容!学会这些可视化技巧,让你的图表分分钟高级起来

大家都是视觉动物,“颜值”对每个人来说就显得很重要,应该没有人不喜欢高颜值的东西吧,同样的对好看的数据图表也是一样。在日常的工作中,你如果要向上汇报,那什么才更能打动老板呢?文字?还是好看的数据图表?肯定是后者。前些日子我跟几个做大数据的同行交流,不少人感叹现在的数据分析难做,老板动不动就要可视化,在他们眼里好像最重要的不是数据分析结果,而是那些可视化图表和效果。好不容易做好了,又说:这不是我想要的结果,能不能更好看?你这图表一点也不能突出重点,拿回去重做,想清楚再来找我吧。鲁迅说.

2020-05-21 10:15:04

10年报表开发经验总结:掌握这5点,没有做不好的报表

开发报表是数据分析师必备技能之一,目前市场上,绝大部分的数据分析师的工作时间都是用来做报表。报表是维持公司正常生产运营重要的一部分,企业的业务发展状况、财务状况等等都需要通过报表来监测。然而很多企业的数据分析师或者报表工程师在报表开发的过程中总遇到这样的问题:每天接需求,接需求,费尽心血做了一堆的报表,但是感觉没什么用。有的报表改了又改,业务总是不满意,最后好不容易改好了,功劳还都是业务部门的,自己还要被业务套上能力不行的帽子。为什么做出来的报表总被说没用?怎么样才能做出令人满意的报表呢?.

2020-05-20 10:04:17

知乎高赞!python能做这么多自动化,可开发效率真的有Java高?

python可以用来干嘛?可以用来处理海量的Excel表格数据并进行数据分析 可以用来收集想要的信息并进行数据分析 数据挖掘并为项目提供数据支持我已经,把数据库移到了一台淘汰下来的办公电脑上,又用另外一台热备,作为公共联网数据库;我已经,用pandas、matplotlib写了一个自动生成数据分析图片的软件,再做月报、周报什么的汇报材料,不用再通过Excel手工作图了;我已经,用pandas、matplotlib配合pyqt写了一个入库分析软件,大家输入时间段和限定条件后一键进行数据分析了

2020-05-19 11:00:20

加班做的可视化被老板嫌弃,是因为你不会用这些数据工具

一天老板给我一个任务:“喂,在吗?给我把这3个月的报表数据展现一下,要做好看点,下班前给我。”我的内心我立马打开Excel,大脑飞速运转,眼睛里只有密密麻麻的数字,各种要数据,函数公式,终于在夜里11点,把下面这图发给了老板:第二天,老板把我叫过去,我以为是表扬我,结果是一顿XXXX,你这做的什么玩意?整整一天就做出这么个XX?你做的这个,我用这个可视化工具,20分钟就能做出来,而且比你的好看太多,你自己看看:这就是专业的数据分析工具做出来的东西,可视化只是它们的..

2020-05-18 10:46:38

比代码更难的事!看完这些思维习惯的人,都成为了架构师

这是一篇深度好文,我讲我的经验都很直白地写出来了,希望大家会喜欢。一个思维习惯,让你成为架构师程序员的迷茫不仅仅是面对技术繁杂的无力感,更重要的是因为长期埋没于软件 世界的浩大的分工体系中,无法看清从业务到软件架构的价值链条,无法清楚定位自 己在分工体系的位置,处理不好自身与技术、业务的关系所致。很多程序员打心底不喜欢业务,这一点我曾经也经历过,我更宁愿从事框架工 具、技术组件研究的相关事情。我有个朋友经常吐槽我说:”你们天天加班加点写了 那么多代码,然后呢?有改变什么吗?还不是写出了一堆垃圾。

2020-05-15 10:53:01

5年数据总监主动辞职:那些没用可视化报表的人,后来都怎么样了

今天来谈谈一个大数据时代下普遍存在的问题:越来越多的数据,越来越多的需求,越来越多的不满意。每个大型一点的企业都至少有一个报表平台系统,如果只要出报表就算的话,报表平台的数量不会是小数目,以下是工作中的真实场景:报表数量惊人,最多的上万,几百张是常态; 业务部门没有办法快速找到需要的报表;找到了,报表平台操作缓慢; 科技部门抱怨业务部门动辄提报表需求,根本不管是否已有报表实现其需求;报表之间的口径似是而非,业务部门不能或不愿明确其中差别; 运维部门投诉报表系统运行效率低下,很多报表无.

2020-05-14 10:22:01

凭借这个可视化报表,我月入3W:会数据分析的人,到底多吃香

最近在忙信息化系统的事情,熟悉的人应该都知道,一个大型企业最开始是有ERP、OA、CRM等系统,到了后面就得有数据仓库,大数据平台这种一体化的计算分析系统,到最后是以可视化报表的方式呈现给管理层。一个项目到最后是否成功,可视化报表的实时计算,排版布局,视觉效果就显得尤为重要。而且可视化报表做的好的人,月入3W是没有问题的,无论在哪一行,都很受欢迎。事实上绝大多数中小企业所使用的ERP工具,某蝶也好,某友也罢,其设计目的只是供企业分销制造以及财务日常交易录入之所用,同时仅提供...

2020-05-13 10:02:53

深度好文!多年架构师经验,详解阿里内部大数据平台架构

今天在某乎上看见这么一个问题:其实,这个问题就相当于是把自己的组织架构透露给外部了,因为太多的人想要知道大数据的平台怎么架构,组织怎么架构,每一步应该做什么,有什么注意点等等。今天我就把我自己所知道的,全都告诉你们。首先,先来回答一下这个问题:大数据平台,必须要上吗?答案是肯定的,数据量TB级以上,必须上大数据平台,你这么想:你刷微博,看抖音,玩游戏,每时每刻都在产生数据,这个量如果不用一个专门的平台去分析,公司早就崩溃了。再讲个一个段子:某公司的hadoop集群第一次故..

2020-05-12 10:26:54

Python分析万条数据,告诉你奔驰宝马奥迪谁更垃圾

最近我一在杭州做外贸生意的老表让我给他推荐一辆车,自己的宝来开了5年多,感觉不香了,这次要我给他从BBA中选一个,落地35万以内落地。我想这做生意稳重一点,35万以内差不多就是奔驰C,宝马3和奥迪A4中选了。至于选哪一个就很头疼了。我们知道每辆车都有它的特点和受众群体,特别是对于这种有上百年品牌积淀的BBA。奔驰的高逼格,宝马的驾驶感,奥迪的科技感等,但是这些特点不一定是你买它的理由。每辆车肯定都有缺点,如果这些缺点你无法忍受,那一定是你不买的理由。与其打破脑袋做选择题,不如换个思维方式,用排除法,

2020-05-11 18:21:17

“前浪”数据仓库和大数据平台,到“后浪”数据中台的演变史

现在各种新名词层出不穷,顶层的有数字城市、智慧地球、智慧城市、城市大脑;企业层面的有数字化转型、互联网经济,数字经济、数字平台;平台层面的有物联网,云计算,大数据,5G,人工智能,机器智能,深度学习,知识图谱;技术层面的有数据仓库、数据集市、大数据平台、数据湖、数据中台、业务中台、技术中台等等,总之是你方唱罢他登场,各种概念满天飞…在比拼新经济的过程中,其实比拼的是流量也就是用户,但流量不等于用户,用户也不完全等同于流量;有了流量和用户,就等于比拼了对用户的话语权。新名词的推出.

2020-05-11 10:09:52

深度长文!阿里总监的内心思考,聊聊企业数据和技术架构的进化史

企业应用架构是指一整套软件系统的构建,通过合理的划分和设计组合在一起,支持企业方方面面的经营运作。不论是传统企业,还是互联网公司,发展到一定阶段,都需要一整套体系化的应用架构来支撑其运转。良好的、合理的应用架构可以支持企业高效开展业务,控制经营风险,而混乱的、不合理的应用架构则会限制企业的快速发展,成为企业增长与变革的瓶颈。企业信息化建设已经发展了几十年,传统企业和成熟互联网企业的应用架构并没有本质的区别。本文将通过一个线下小型门店成长为多元化集团的发展历程,逐步向读者展示企业应用架构的演变和设计的

2020-05-09 11:01:19

同样是做大数据分析,你月薪8k他30k,到底差在了哪?

前段时间在同行群里聊天,聊到了行业薪资的问题,这两年大数据的概念炒的火热,数据分析也成了热门岗位,从招聘网站上看,数据分析师的平均月薪在10k-20k之间。有的大厂的数据分析师都开到了30k一个月,从这个数据来看数据分析师是个收入不错的职业,但是从群里大家的讨论中我发现,现实并没有那么美好,大部分人的薪资都没有达到10k,甚至一些二、三线城市的数据分析师月薪只有4、5k。为什么同样是做数据分析,薪资水平差距这么大?取数、清洗、可视化分析等等技能该掌握的都掌握了,为什么我一个月工资还不到人家.

2020-05-09 10:28:42

1年经验却拿总监薪资?看到他做的数据可视化报表,我彻底服了

马云曾说过,未来5年最重要的能源是数据。到那时,数据分析将是人人必备的能力。某招聘网站上的岗位需求工业互联网、新基建、数字化转型...这些概念无时无刻不在提醒着我们:数据是那么的重要。在职场上也是一样,无论你是想晋升管理层,还是想成为某个领域的专业型人才,数据分析都是你必不可少的关键能力。对于企业来说,无论是向上汇报还是向客户汇报,步骤无非2个:处理数据+输出可视化报表。很多人...

2020-05-08 10:26:42

阿里大数据部门真实工作场景,和你想象的一样吗?

BI工程师、数据仓库工程师、ETL工程师、数据开发工程师(大数据开发工程师) 有什么区别?一味的解释数据仓库概念可能没意思,我们从不同角色出发吧老板 :我是一家手机公司的老板,今天要向去董事局汇报,我要准备一份介绍过去三年的用户增长、用户留存、用户活跃度、手机里面每个APP使用率等情况的报表,假如下面没我下面没有BI,那我肯定就蒙逼了。。BI : 我是一名非技术BI,我天...

2020-05-07 17:12:06

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力计划专属勋章
    原力计划专属勋章
    2019年《原力计划【第一季】》专属勋章,现已经开启第二季活动啦,小伙伴们快去参加吧
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 原力突破
    原力突破
    参与《原力计划【第二季】— 打卡挑战》的文章入选【打卡挑战周榜】的博主,即可获得此勋章。
  • 原力王者
    原力王者
    在《原力计划【第二季】》活动中,入选本季总榜的博主,即可获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)