joe_lee1的博客

原创 《SQL基础教程》第二版 读书笔记

基于最近面试的内容，复习一下SQL的基础知识，找找感觉。第一章 数据库和SQL1、数据库database：存储数据的仓库，通过计算机加工而成的可以进行高效访问的数据集合。2、数据库管理系统DBMS：用来管理数据库的计算机系统。可实现多个用户同时安全简单地操作大量数据。DBMS的种类（以数据的保存格式分类）：层次数据库HDB：把数据通过层次结构（树形结构）的方式表现出来。关系数据库RDBMS：由行和列组成的二维表来管理数据，使用SQL来操作数据。面向对象数据库OODB：将数据以及对数据的操作集

原创 样本不均衡案例及解决办法

注意：在进行数据增广的时候一定要将测试集和验证集单独提前分开，扩张只在训练集上进行，否则会造成在增广的验证集和测试集上进行验证和测试，在实际上线后再真实数据中效果可能会非常的差。参考文献：样本不平衡问题分析与部分解决办法...

原创 金融行业大数据用户画像实践

1、用户画像的构建目的从商业角度出发的用户画像对企业具有很大的价值，用户画像目的有两个：从业务角度出发对用户进行分析，了解用户需求，寻找目标客户；参考用户画像的信息，为用户设计产品或开展营销活动。2、用户画像的构建原则用户画像需要坚持三个原则，分别是人口属性和信用信息为主，强相关信息为主，定性数据为主。人口属性和信用信息为主任何企业进行用户画像的目的是寻找目标客户，其必须是具有潜在消费能力的用户。信用信息可以直接证明客户的消费能力，是用户画像中最重要和基础的信息。 其包含消费者工作、

原创 提高电商ROI的方法有哪些？

提高ROI的方法有哪些？1、投放时间优化首先，我们应该对具体类目进行具体分析，通过分析成交的高峰期，或根据主要成交词的高转化时间段，做好分时段的折扣的时间优化。（用户的行为时间模式分析）根据大数据分析，下午三点和晚上七到十点的转化较高，那么我们就可以在这两个时间段高提高分时折扣，在其他时间段降低分时折扣，或直接关闭不投放。2、投放地域优化从大部分类目来看，在投放地域方面我们可以从累积地域数据和主要成交词的流量解析中分析数据，进而得出结论，找出高转化高ROI的地域，从而进行投放。3、设置不同的溢价

原创 深入浅出数据分析读书笔记

深入浅出数据分析读书笔记一、数据分析引言1、数据分析的基本流程：确定——分解——评估——决策。一个完整的分析项目可能经过多轮流程确定：客户的论点和数据分解：将手头的资料汇总为有用的格式评估：比较汇总表中的各个因素，得出结论决策：根据结论，提出辅助业务的建议或策略2、数据分析师兼顾解决问题与建议决策的职责。业务问题等同于机会，向客户指出如何发现机会的数据分析师能让客户赢得竞争优势。3、心智模型：你对外界的假设和你确信的观点，帮助你理解现实世界，而统计模型取决于心智模型。4

原创 工具书—《利用Python进行数据分析》读书笔记

《利用Python进行数据分析》知识总结一、Python数据科学库介绍1、Numpy——numerical pythonPython数值计算的基石，提供多种数据结构、算法以及大部分涉及Python数值计算所需的接口。2、pandas——Python data analysis提供高级数据结构和函数，将表格和关系型数据库的灵活数据操作能力与numpy的高性能数组计算理念相结合。提供复杂的索引函数，使得数据的重组、切块、切片、聚合、子集选择更为简单。3、matplotlib制图以及数据可视化库4

原创 某农商行用户画像项目——用户画像分析部分

文章目录四、用户画像分析4.1 用户维度4.1.1 个人属性4.1.2 社会属性4.1.3 用户行为4.1.4 用户属性4.2 用户标签4.2.1 筛选变量4.2.2 判断变量正负性4.2.3 编辑标签4.3 用户分类4.3.1 用户属性融合4.3.2 k-means聚类4.3.3 结果分析四、用户画像分析依照属性、特征、偏好等用户标签架构，将用户信息进行标签化处理，建立银行统一的用户标签库。4.1 用户维度4.1.1 个人属性# 基本信息bairong_clean[['年龄','性别','籍贯

原创 某农商行用户画像项目——模型构建部分

文章目录三、模型构建3.1 贷款逾期数据分析3.1.1 描述性分析3.1.2 独立性分析3.1.2.1 单因素分析3.1.2.2 多因素分析3.1.3 模型构建3.1.3.1 特征筛选&特征工程3.1.3.2 训练集&测试集划分3.1.3.3 逻辑回归3.1.3.4 LightGBM3.2 征信数据分析3.3 百融数据分析四、用户画像分析4.1 用户维度4.1.1 个人属性4.1....

原创 SQL经典TopN问题解法

SQL经典TopN问题解法1、关联子查询2、窗口函数3、设置用户变量来储存第N个数值4、limit语句1、关联子查询取最大值或最小值SELECT * FROM score AS t1 WHERE 成绩 = (SELECT max/min(成绩) FROM score AS t2 WHERE t1.课程号 = t2.课程号);取前两名SELECT *FROM score t1WHERE (SELECT COUNT( * ) FROM score t2

原创 SQL笔试经典50题及答案解析（21-50题）

21、查询不同老师所教不同课程平均分从高到低显示SELECT t2.tid, t1.cid, t2.cname, AVG(t1.score) as avg_scoreFROM sc t1 LEFT JOIN course t2 ON t1.cid = t2.cidGROUP BY t1.cidORDER BY avg_score DESC;22、查询所有课程的成绩第2名到第3名的学生信息及该课程成绩# mysql 8.0以上版本：窗口函数SELECT

转载 SQL 进阶技巧

本文转自：SQL进阶技巧文章有些内容还是值得学习的，大家自行参考吧。文章目录一、SQL书写规范二、SQL 的一些进阶使用技巧2.1 巧用 CASE WHEN 进行统计2.2 巧用 CASE WHEN 进行更新2.3 巧用 HAVING 子句2.4 自连接2.5 巧用 COALESCE 函数三、SQL 的优化方法3.1 参数是子查询时，使用 EXISTS 代替 IN3.2 避免排序3.3 在极值函数中使用索引（MAX/MIN）3.4 能写在 WHERE 子句里的条件不要写在 HAVING 子句里3.5 在

原创 SQL笔试经典50题及答案解析（1-20题）

题目比较基础，拿来练练手，准备笔试面试！为了提高select效率，嵌套查询用的多一些，表连接用的少点。文章目录一、创建数据表1.1 数据表说明1.2 建表语句二、题目代码一、创建数据表1.1 数据表说明学生表student：sid 学生编号sname 学生姓名sage 出生年月ssex 学生性别课程表course:cid 课程编号cname 课程名称tid 教师编号教师表teacher:tid 教师编号tname 教师姓名成绩表sid 学生编号cid 课程

原创 某农商行用户画像项目——数据预处理部分

文章目录一、项目背景及目的1.1 项目背景1.2 项目目的1.3 数据说明二、业务与数据理解2.1 贷款、逾期数据2.1.1 贷款数据2.1.2 逾期数据2.1.3 循环贷数据2.2 征信数据2.1.1 征信数据2.1.2 征信查询数据2.3 百融数据2.1.1 征信数据二、数据预处理2.1 逾期数据处理2.1.1 字段过滤2.1.2 特征构建2.1.3 数据去重2.1.3.1 基于客户识别码去重...

原创 银行用户画像建设步骤

银行用户画像建设步骤：依据银行的业务需求及数据状况，银行用户画像建设工作大致划分为以下步骤：1、制定用户标签体系：根据业务需求制定用户标签体系框架，逐步丰富标签内容。初期可采用“框架完整、场景突出”的方法。2、整合可用数据资源：整合内源数据及外源数据至大数据平台，作为用户画像的基础数据源，并涵盖账户数据、交易数据、行为数据、风险数据、社交数据等类型。3、模型挖掘用户标签：基于模型算法、结合...

原创 电商KPI指标概览

原创 数据分析实战项目：SQL分析淘宝用户行为

文章目录一、项目背景及目的1.1 项目背景1.2 项目目的1.3 数据集来源与介绍二、数据导入2.1 图形界面工具导入2.2 以系统命令行导入三、数据清洗3.1 删除重复值3.2 查看缺失值3.3 时间格式转换3.4 过滤异常值四、数据分析4.1 基于用户行为转化漏斗模型分析用户行为4.1.1 常见电商指标分析4.1.1.1 UV、PV、UV/PV4.1.1.2 复购率4.1.1.3 跳失率4.1...

原创 复购率与回购率区别

1、复购率定义按照用户计算： 在某时间窗口内重复消费用户（消费两次及以上的用户）在总消费用户中占比重复消费用户的定义，又分为两种：（1）按天非去重，即一个用户一天产生多笔付款交易，则算重复消费用户。（2）按天去重，即一个用户一天产生多笔交易付款，只算一次消费，除非在统计周期内另外一天也有消费，才算重复消费用户。按天非去重，是目前b2c网站统计数据常用计算方法，相对计算出来的重复购买率...

原创 数据分析实战项目：Python分析CDNow的用户消费行为

Python分析CDNow的用户消费行为一、数据加载与初探二、消费情况分析2.1 从用户维度分析消费情况2.1.1 用户消费金额、订单商品量、消费次数的描述性统计分析2.1.2 用户消费金额和订单商品量之间相关性分析2.2 从时间维度分析消费情况2.2.1-3 每月消费人数情况、每月订单商品量、每月订单金额2.3 用户消费的时间节点三、复购率回购率分析3.1 复购率分析3.2 回购率分析四、用户分...