8 小黄的一天

尚未进行身份认证

stay focused and stay positive

等级
博文 137
排名 1w+

写在入职前

背景十天后,入职某家电集团大数据团队。有一段时间没写东西了,很多事来不及思考,就这样自然发生了,比方说买房、被离职、恋爱与求职。依然记得,两年前刚入职美的金融第一个月时,部门信息员邀我写一篇新员工入职感悟。匆匆忙忙写了些虚的东西,关于部门有多好,北滘有多适合人类居住,未来要干嘛、半年前团队核心成员出走、一个月前被提前离职、五天前一同学喊我写一篇面经,分享这次求职过程中的一些心得,而现在,每天...

2019-03-25 07:35:41

关于数据架构岗的面试准备 v1.0

场景又到了一年一度的跳槽旺季,是时候小涨一波工资了。考虑到最近各大公司频繁爆出裁员的消息,因此,有必要好好复习与准备一下常见的面试题,做到心中有谱。答题策略一.禁止瞎说知之为知之,不知为不知,态度要真诚。二.核心原理与应用场景所有问题尽量按如下两个方向靠拢:原理:是什么应用场景:在实际项目中的应用;在经典分布式开源框架eg.spark、hdfs...

2019-03-24 22:35:57

征信画像项目实施文档摘要

项目背景消金美的分期产品,当前主要引用与依赖同盾等第三征信公司相关产品做线上风控。这些风控产品没有融合与应用美的集团自身庞大的零售数据与消金应用自身积累的丰富的用户行为数据,不足以帮助消金团队识别线上商户与消费者的套现欺诈行为。本项目旨在为消金风控团队提供用户风控相关画像标签,以期最大程度识别消费者的欺诈行为。需求功能性需求实时向消金团队提供包括姓名、设备号、注...

2019-01-14 08:47:40

欧洲区域 IT 负责人应聘小结

场景上周四收到公司发的一封邮件:公开竞选欧洲区域IT负责人,工作地主要在德国与意大利;抱着玩的态度投了个人信息,今天早上打开邮件:通过了海选,上午10.38参加英语口语测试:过程啊,只有1个小时的准备时间,匆忙打了腹稿。大概20位同事申请这个岗位,我是最后一个面的。这里罗列一下面试的过程,方便后续竞聘用(扎心,这次后面的几个问题没有回答好,感觉没戏):me:I...

2018-12-03 15:24:09

招聘相关

背景晚上要面一个机器学习应用工程师,需要稍稍准备一下问题。问题项目简介简单自我介绍、参与项目主要负责模块的介绍语言与组件基础1)java中多线程的有几种实现方式?scala中caseclass与普通的class有什么区别?2)spark中缓存有哪些策略?persist()与cache()区别?机器学习相关1)特征工程:特征选择怎么搞?特...

2018-11-01 17:53:16

ML 学习笔记 5 逻辑回归

背景逻辑回归作为工业界使用最为广泛的算法,听说深度学习类算法都有逻辑回归的影子,有必要好好折腾一下。作为"回归"算法(sk-learn中也将逻辑回归,放在linear_model包中),逻辑回归是怎么解决分类问题的呢?有一个不错的想法:一方面,将样本的特征与样本发生的概率联系起来:概率是一个0~1之间的数,当概率大于某个值时,比方说0.5,就判断为一类,小于0.5判断为另一类。另...

2018-10-26 18:08:06

ML 学习笔记 4 多项式回归与模型泛化

背景多项式回归自定义多项式回归sklearn中的多项式回归模型的泛化能力过拟合与欠拟合学习曲线交叉验证偏差与方差权衡模型正则化

2018-10-19 14:17:32

ML学习笔记 3 梯度下降法及其在线性回归中的应用

背景上一篇文章用最小二乘法(即公式法)求出了线性回归的参数theta;本篇代码介绍用梯度下降法求极小值。原理实在不知道怎么描述啊,okay,从山顶走向山脚有n条路,问题来了:捷径?最快的那条路径。以多大的步伐走比较合适?比较走的太快,容易走过头。用计算机模拟实现,我们要容易想到x=x-deta求解过程模拟已知:y=(x-2.5)^2-1,求y的最...

2018-10-17 17:00:25

ML学习笔记 2 之线性回归

背景理解线性回归一元线性回归还是房价预测的例子。显然,房价y跟房屋面积、卧室数量等房屋属性有关。简单起见,这里只考虑卧室数量这个特征,方便可视化整体感知一下简单的线性回归过程:一元线性回归的思路即假设上图中的样本数据之间具有简单的线性关系:y_hat=ax+b,我们要做的就是求出参数a与b,画出预测直线。怎么求a、b呢?直接想法就是使预测值y_hat与房价真实值y...

2018-10-16 16:15:34

ML学习笔记 1 之 KNN

背景有段时间没写博客了,恶补了一下数学基础。今天,正式踏上机器学习十大算法的实践之路,从KNN开始。算法原理实现自己造轮子knninscikit-learnknninmlib超参数调优数据归一化优缺点总结...

2018-10-11 08:41:53

数学基础

背景扎实机器学习数学基础,坚持四个月,每天进步一点点微积分001泰勒公式及应用线性代数概率论与梳理统计

2018-08-27 09:00:42

基于 PredictionIO 搭建全栈式机器学习平台

场景怎么从零构建自己的机器学习平台(以下简称平台)?分析我们不妨从平台的终端用户-App开发人员与平台自身的开发人员入手,分析一下,机器学习平台应该具备哪些能力。对于使用者而言,平台需要简单易接入、能实时提供服务怎么在app中植入机器学习相关算法,让app变得智能?对于App开发者而言,我们当然希望植入机器学习算法像调用普通api一样简单。事实上,目前成熟的AI...

2018-06-14 16:59:21

17年总结与18年计划

背景后天就放年假了,有必要好好总结过去、规划一下来年。17年总结刚看了去年2月3号做的2017年规划,健身与音乐两项基本完成,17年大致:做了完成了人生第一个全程马拉松,虽然成绩有点差:参加了美声培训班,已上20节课,准备18年持续学习;电钢琴持续进步,会自己配和弦。有了自己的小窝,已搬进去住。强吻了一个自己喜欢的女生(可能还是她的初吻),感觉真棒...

2018-02-09 17:24:38

Python 学习笔记

背景“破碎的命运把我变得坚毅,我挣扎着永远都不会放弃”-《我的路》-汪峰这句唱的我啊…从零开始,坚毅,无欲则刚。一.Python基础Python使用缩进来组织代码块,遵守约定俗成的习惯,坚持使用4个空格来缩进。数据类型和变量整数Python可以处理任意大小的整数。浮点数1.23x109=1.23e9=12.3e8字符串用“”或者‘’包含都可以表示字符串怎么表示I’

2017-12-25 17:41:40

基于spark mlllib的推荐系统学习笔记

背景大势所趋,几乎所有的项目都在向机器学习、深度学习靠拢:怎么在行为分析类项目中植入机器学习相关算法?目前,有两个可行的场景:智能路径与在线推荐。智能路径输入转化目标,按照转化率的高低输出一组用户的转化路径。这个功能针对大型、多业务流程的系统。在线推荐根据用户自身的属性以及点击等行为数据,在会话结束后,向用户推荐相关的产品。相对而言,在线推荐更加符合我们的业务场景技术驱动业务,真的很费

2017-12-14 16:49:36

数据采集实践(二)

问题消息中间件比如kafka、rockMQ中的消息怎么保存到hdfs等分布式文件系统中?用户的一条行为数据,要历经怎样的跋涉才能展现在一张看是普通的报表上?背景基于Flume的二次数据采集与中转。作为数据分析类产品,魔镜面临的第一个问题就是怎么全面、高效、准确地收集用户的行为数据。上一篇文章,我们详细地介绍了JSSDK的工作原理与API说明,知道如何从美的分期应用的前端,通过埋点的方式采集与上报用

2017-11-03 15:18:41

又一国庆放假前的下午

场景刚刚看了去年国庆放假前的那天下午写的一篇文章,彼时第二段感情刚刚结束,来美的刚一个月,正四处找房子,一晃一年过去了。来,继续听歌,写点什么,钢琴曲《远方》。买了房子又在不经意间做了一个可能影响今后很长一段时间生活质量的决定:5月底匆匆忙忙在公司附近买了房子。不可思议,自己竟然成了一个小房奴-这在一年前来看是不可能发生的事情。户型是自己喜欢的,旧旧的,绿化做的非常好,总共7楼,住5楼,准备今年年底

2017-09-30 17:44:42

数据采集第一阶段工作汇报与反思

一、场景本文旨在向金融前端团队介绍当前大数据团队的行为数据采集方案,以及该方案存在的问题:以期前端团队能提供更友好、更前沿的、可落地的行为数据采集方案,助力魔镜用户行为分析产品在金融系统的推广。关键字解释用户行为分析:基于用户在互联网产品(比方说,美的金融app)上的各种行为(页面刷新、按钮点击、收藏、转发、评论等)及行为背后的人发生的时间、频次等维度深度还原用户的使用场景,指导业务增长金融魔

2017-09-26 17:26:10

精细化运营时代,金融魔镜如何助力各产品线实现业务增长

场景最近团队准备在部门搞一个产品发布会,本人负责魔镜用户行为分析产品的宣传与推广。对于一枚更习惯于撸代码的程序猿来说,有点小挑战喔:1、产品没有完全成型,心理没有十足的底气。2、相对业界顶尖同类产品,我们暂时没有优势。但是,从另外一个角度想想。大环境是这样,现在一切都在变化,一切都在流动,没有哪一个公司敢说自己的产品在发布会之前做了绝对充分的准备。何不发布出一条血路:即使没有产

2017-08-31 21:39:10

应用概况story文档初稿

1.作为用户行为分析产品的核心功能之一,2.我需要2.1实时统计出当前在线人数(OV)、累计浏览次数(PV)、访客数(UV)、登录次数(VV)与注册次数(RV)共5个基础指标以及累计下载、卸载人数共两个app端个性指标。2.1离线统计,并以趋势图展示美的金融app在过去一段时间内的UV与PV趋势、下载与卸载趋势、登录与注册趋势。3.这样业务人员就能通过这些基础指标,轻松掌握美的金融

2017-08-30 15:17:21
奖章
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。