- 博客(147)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 python 安装
在Python官方网站上下载所需的Python版本的源代码包。您可以访问 https://www.python.org/ 下载最新版本的Python源代码包。如果已经安装了Python，将显示已安的Python版本。将Python-X.X.X.tar.xz替换为您下载的Python源代码包的实际文件名。将/path/to/source/code替换为您下载的Python源代码的实际路径。将Python-X.X.X替换为解压后的Python源代码包的实际录名。这将显示已安装Python 3.8版本号。
2023-12-17 02:07:11
101
原创 公司级abtest实战--带分组的abtest应该怎么做？
某线上查价平台最近上线了一个新指导价格的产品功能，需要评估该功能对供应商提供的价格是否产生影响作，以确定该项目是否有继续推广的价值。数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理。本文最早发表在csdn时间为:2023-04-17。
2023-04-17 18:31:28
334
1
原创 数据分析师从业必问的5个问题~
[在这里插入图片描述](https://img-blog.csdnimg.cn/fff0c5dca6c4408a9aeb6785d801cb40.png #pic_center =x300)写在前面：经常有小伙伴问船长一些数据分析从业的问题，类似如何转行、毕业如何择业、如何学习成为数据分析师，今天就抽空总结了一下大家入行数据分析的问题，基本囊括在以下5个问题中，下面5个问题将解答你的困惑，也可能在后续的面试中问到，另外我为你准备了我整理的数分笔记、数分工具、数分学习资料，获取方式在文末~
2023-04-14 16:52:00
464
原创 ChatGPT为我做的账号介绍
这是我正在用的版本整理出来有需要的可以试试 （强烈建议测试）目前chat能干的事情太多了已经有公司开始用这个淘汰员工了知己知彼才能百战百胜我个人感受是： 想要不被替代 就先学会利用它
2023-03-21 17:24:38
6815
原创 分词模型与关键字提取——当下最热的学习资料是什么？
起因是我在朋友圈看到某位大牛在转让他的课程，正好最近也在学习，于是去咨询了一下，价格还好，于是就买下了~写下这篇nlp相关~
2022-07-26 00:23:56
585
2
原创 如何用18天读完周志华老师的西瓜书（机器学习）
第一章 绪论1.1解释经验到模型过程1.2以西瓜案例解释学习器的产生，特征 有标签的为有监督，无标签的为无监督，模型需要有泛化能力1.3.假设空间问题，将所有特征的不同分类罗列出来，所形成的所有情况，称为假设空间1.4误差永远存在，在经验中得到归纳偏好，为不存在的案例做预测时要有偏好，而不是一次一个新结果，要求机器有学习能力1.5发展 -案例 介绍等第二章2.1 经验误差与过拟合，认知误差与过拟合，找到对应优化策略2.2评估方法：留出法+交叉验证法+自助法+调参与最终模型2.3建立性能度量
2022-05-17 23:32:57
469
原创 PyCharm2021使用教程
Pycharm 是一种Python IDE,带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具，比如调试、语法高亮、Project管理，代码跳转，只能提示，自动完成，单元测试、脚本控制。此外，该IDE提供了一些高级功能，用于支持Django框架下的专业Web开发，同时支持Google App Engine，更酷的是Pycharm支持IronPython...
2022-01-24 10:35:08
3801
14
原创 【Hive】实战之电商平台销售数据探索分析案例（含数据）
本文最早发表在csdn时间为:2021-12-08本案例数据链接（数据是本人业余时间模拟数据，为防止滥用设置价格4.9，需要的自行下载）：数据点我下载数据来源为工作中接触到的某公司后台数据，在完成工作相关分析后，本人对该部分数据虚拟重建用以复盘整理大家好，我是Captain,一个从业两年的数据分析师。公主号：CaptainData学习是为了不落后，整理则是为了不忘记。通过本文您将学习到：hive 相关知识shell 命令电商销售数据主要探索方向开窗函数使用1、背景某电商平台为
2021-12-08 19:14:34
10010
原创 2021_w_2.一个数据清洗的脚本
一个数据清洗的脚本#!/usr/bin/env python# -- coding: utf-8 --# @Time : DATEDATE{TIME}# @Author : wang vx:672377334# @File : v4.3.2深圳版本.pyimport datetimeimport osimport numpy as npimport pandas as pd# import timepd.set_option('float_format', lambda x: '
2021-11-30 16:06:40
787
原创 No.0.0.2 numpy全总结
import numpy as nparr=np.array([1,2,3,4,5])arrarray([1, 2, 3, 4, 5])arr=np.array(['a','b',3,4,5])arrarray(['a', 'b', '3', '4', '5'], dtype='<U1')list_1=[i for i in range(100)]np.array(list_1)array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9,
2021-11-30 00:07:35
1743
原创 2021_w_.1.python 驱动MySQLdb（create_engine）代码
import pandas as pdimport numpy as npimport MySQLdbfrom sqlalchemy import create_engine# pip install mysqlclient# df = pd.read_sql(db_to_df_sql_list[i],con=mysql_conn)def cur_sql(sql_str,mysql_conn): mysql_conn=connect_mysql() cur =mysql_co
2021-11-29 15:41:22
1572
原创 2021_w_.2.python驱动mysql(MySQLdb) 代码案例
数据库参数：# !/usr/bin/env python# -- coding: utf-8 --# @Time : 2021/7/9 11:09# @Author : wang vx:672377334# @File : 穿透sql转py.py# @software : PyCharmimport MySQLdbimport pandas as pdimport osdef read_mysql_conf(conf_path): conf_data = pd.rea
2021-11-29 15:14:22
999
原创 0.mysql基础 日期格式汇总
%M 月名字(January……December)%W 星期名字(Sunday……Saturday)%D 有英语前缀的月份的日期(1st, 2nd, 3rd, 等等。）%Y 年, 数字, 4 位%y 年, 数字, 2 位%a 缩写的星期名字(Sun……Sat)%d 月份中的天数, 数字(00……31)%e 月份中的天数, 数字(0……31)%m 月, 数字(01……12)%c 月, 数字(1……12)%b 缩写的月份名字(Jan……Dec)%j 一年中的天数(001……366)%H
2021-09-09 16:11:08
103
原创 2021_lg_01.sql_某招聘网站岗位数据分析案例（sql清洗，分析案例，纯代码）
库名：recruitment;1.新建库名#CREATE DATABASE IF NOT EXISTS recruitment DEFAULT CHARSET utf8 COLLATE utf8_general_ci; CREATE DATABASE recruitment CHARSET utf8;2.导入数据语句：mysql -uroot -p recruitment< [recruitment.sql(文件路径)]/*1.使用数据库*/use recruitment;
2021-09-04 03:33:18
344
原创 sql_数据分析之电商人货场模型分析之指标体系拆解+代码实操 (用户留存、RFM模型、 用户路径分析等)
2021-09-031.项⽬背景 随着电商⾏业近⼏年的迅猛发展，电⼦商务从早些年的粗放式经营，逐步转化为精细化运营。随着平台数据量的不断积累，通过数据分析挖掘消费者的潜在需求，消费偏好成为平台运营过程中的重要环节。本项⽬基于某电商平台⽤户⾏为数据，在MySQL关系型数据库，探索⽤户⾏为规律，寻找⾼价值⽤ 户；分析商品特征，寻找⾼贡献商品；分析产品功能，优化产品路径。...
2021-09-03 03:03:04
3946
原创 2021_lg_03.SQL实战：如何用sql计算用户留存问题
如何用sql计算用户留存问题一、留存1 .留存的含义：留存：指基准日到APP的用户在之后的n日当天返回APP的人数；留存率 = 基准日之后的n天当日返回的用户数 / 基准日的用户数 * 100%或者指基准日产生某个行为的用户在之后的第一天，第二天，第三天……第n天的当天再次产生该行为的 人数。2.留存的意义留存代表一个用户愿意再次使用你的产品；而一个产品能够被用户再次使用，意味着这个产品是能够满 足用户长期需求的，能够让用户产生一定粘性的产品。如今互联网产品大多为免费产品，依靠持续的广告转化
2021-09-01 21:54:45
4028
原创 2021_lg_04.sql_2021窗口函数的使用与偏移函数在日期资金上的使用案例代码
/*一、建表、统计与程序异常分析(60分)1.1某公司地区业务有两张门店相关的表（数据见：homework.xlsx）： 一张为门店信息表：表名：area_table字段内容 字段名 字段类型 长度店铺id store_id varchar 10店铺位置 area varchar 20店长id leader_id int*/drop TABLE if EXISTS area_table;CREATE TABLE area_table(store_id varchar(10)...
2021-09-01 02:48:43
506
原创 mysql8.0以上安装手册
#公众号：船长数据分析#公众号：captain_data#分享各类数据分析资源我这里以我的目录举例下载mysql下载（认准后缀zip）一：前期准备1.解压，命名解压包为mysql8026在解压后的文件夹里新建文件my.ini内容如下[mysqld]# 设置3306端口port=3306# 设置mysql的安装目录 记得修改basedir=D:\MySQL\mysql8026# 设置mysql数据库的数据的存放目d录 记得修改datadir=D:\MySQL\mysql8
2021-08-25 00:01:59
474
原创 3.机器学习模型代码——逻辑回归代码案例工作实操
import numpy as npimport pandas as pdimport mathdf=pd.read_excel("data.xlsx",dtype=str)df.describe() 随机值 公司Id 时间内注册公司数量（月） 注册地址重合 关联公司涉案 法人有涉案记录（总次数） 社保人数 纳税金额 法人过境记录 预测结果
2021-08-23 23:41:06
892
4
原创 2.聚类模型优化与训练
1.数据 2.代码import sklearn.metrics as skm #评估包from sklearn import cluster #聚类分析import numpy as npimport matplotlib.pyplot as plt# from sklearn.externals import joblib #保存数据 pkl 已更新包import joblibd=pd.read_excel("数据\\03.聚类si数据.xlsx")d.index=d.企业d
2021-06-27 19:18:02
746
原创 1.机器学习模型代码——聚类与评估参数
import sklearn.metrics as skmfrom sklearn import clusterimport numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport joblibdata=pd.read_excel("数据\\01.聚类数据1.xlsx")data <tr style="text-align: right;"> <th></th&
2021-06-27 02:39:19
419
原创 船长的error笔记
原因：最近xlrd更新到了2.0.1版本，只支持.xls文件。所以pandas.read_excel(‘xxx.xlsx’)会报错。可以安装旧版xlrd，在cmd中运行：pip uninstall xlrdpip install xlrd==1.2.0也可以用openpyxl代替xlrd打开.xlsx文件：df=pandas.read_excel(‘data.xlsx’,engine=‘openpyxl’)...
2021-06-08 17:55:03
208
原创 一个按姓名拆分Excel成多个sheet的小程序
import numpy as npimport pandas as pdimport xlrdfrom openpyxl import load_workbookfrom xlwt import *# f_name_old = '统计结果.xlsx'f_path=input("请输入地址：")# f_path = "1.按名字拆分/" + f_name_oldf_name = f_path[:f_path.rfind('.')]out_f_name = f_name + '_拆
2021-04-07 15:21:31
831
1
原创 01.一个自动合并多个excel表（非多工作簿）的工具
01.一个自动合并多个excel（非多工作簿）的小程序斜体样式最近有小伙伴说他是一个综合经理，各个部门的数据都是分开统计的，每次合并这些部门的表都好麻烦，重复工作，浪费时间，听说我是个代码高手，问我能不能提高一下它的效率，我说，提高效率没问题，但我这下午茶嘛，是不是要安排一下，小伙伴二话没说，立马安排，我瞅了一眼这位小伙伴的数据，立马抽了几个以前写过的函数拼接一下，他要的代码就完成啦！01.以下是代码解析，小白可以从这开始看，高手的话直接看代码吧！！if __name__ == '__main__'
2021-01-25 19:43:45
1504
2
原创 小白实战：如何通过python requests 库xpath工具写一个抓取小网站图片的小爬虫
有点爱好的你，偶尔应该会看点妹子图片，最近小网站经常崩溃消失，不如想一个办法本地化吧，把小照片珍藏起来！首先，准备一个珍藏的小网站，然后就可以开始啦！完整代码在文末哦！！tips:vx:hsrjdz回复csdn或爬虫自动进群哦！！本次更新，加入history模块，可以随时暂停下载！！加入os库自动生成路径，每个文件夹存满490个图片后自动新建文件夹，方便你一键导入百度云哦！！全自动换文件夹存储，history模块def history(link): global picnameli
2020-09-30 10:44:56
572
原创 某证券公司数据清洗工具 20200911
功能：合并多表内指定sheet,指定字段import numpy as npimport pandas as pdimport osimport repd.set_option('display.unicode.ambiguous_as_wide', True)pd.set_option('display.unicode.east_asian_width', True)def main_and_outCSV(f_path): f_path = f_path fPath_
2020-09-11 14:31:39
222
原创 2020-工作代码
导出银行字典静综import pandas as pd import numpy as npimport os import retext_list=[]words=''for root, dirs, files in os.walk('F:\\案件数据\\警综\\raw'): for name in files: if name[-5:]=='s.txt': text_list.append
2020-08-26 18:39:02
225
原创 如何通过python requests 库xpath工具写一个抓取网站图片的小爬虫
有点爱好的你，偶尔应该会看点图片文字，最近小网站经常崩溃消失，不如想一个办法本地化吧，把小照片珍藏起来！首先，准备一个珍藏的小网站，然后就可以开始啦！第一步我们先写一个获取网站的url的链接，因为url常常是由page或者，其他元素构成，我们就把他分离出来，我找到的网站主页下有图片区图片区内有标题页，一个标题里有10张照片大概所以步骤是：第一步：进入图片区的标题页def getH...
2020-08-01 15:23:04
4275
2
原创 NO.23如何将视频切成图片？？ openCV 可以实现
这段代码起因是这样的，我以为同学目前的研究方向是机械自动化方向，涉及一些编程知识，最近他导师想考考他的Python编程能力，让他用Python将一个视频切为一帧一张图片，于是让我帮他写了这段代码，并且最后开腾讯会议给他讲解了代码含义，讲完后他对Python产生了浓厚兴趣，随即让我为他推荐几本关于编程的书，本来我是有一本入门书的，可以送他，上次在北京搬家弄丢了。。。。于是给了他书名推荐他去网上买了。代码如下：import cv2 # 导入opencv模块import os #路径与文件 库imp.
2020-05-28 11:54:31
452
原创 no.22 sql 的 group by 坑 面试那些坑——wang
最近一直在求职，好不容易看中了一家非常好的公司，投了简历，隔了2天，该公司总监审核通过，说让hr联系我，由于该公司是某知名民宿公司，为此我专门找出了做了很久的二手房产交易平台的数据和租房数据从新整理了一遍，早早来到该公司附近，不瞒大家说，我12点多就到了那边，而约的面试时间是下午4：30，因为早上面试了一个操盘手公司，那经理面试我全程不到5分钟，说实话，上面写着数据分析师我才去的，我实在是被骗了。提早到了，正好中午，我随便找了家餐馆，点了个最便宜的菜（真穷）好在这家店有空调，我可以慢慢吃，拿出我之前做的房
2020-05-25 21:41:18
372
原创 广州某科技公司面试题 ——wang
其中一道为业务题，有懂得人帮忙提点一下，其他编程与sql感觉都没问题数据分析师面试题Excel方面：1、 根据卡注册信息表，写函数匹配交易明细表中卡号对应的姓名和身份证。（结果可以不止一种）答案：姓名：=VLOOKUP(A4:A6,$H3:3:3:J4,2,0)身份证：=VLOOKUP(A3,4,2,0)身份证：=VLOOKUP(A3,4,2,0)身份证：=VLOOKUP(A3,H3:3:3:J$4,3,0)或姓名=INDEX($H3:3:3:J4,MATCH(A3,4,MATCH(A3,
2020-05-25 14:31:08
937
原创 no.21数据分析 我用过的包 wang
#忽略警告import warningswarnings.filterwarnings(‘ignore’)import pandas as pdimport numpy as npimport reimport os 查看文件路径from datetime import datetime读文件的import json聚类from sklearn import cluster #聚类import scipy.cluster.hierarchy as sch #绘制谱系图#画图
2020-05-19 21:24:39
281
原创 no.20 算法 模型 步骤
建模分析的步骤1 确定需求，提取数据2 数据预处理（异常值，缺失值）3 特征选择4 对离散数据编码(哑变量，虚拟变量）3 拆分训练集，测试集4 选择并训练模型(多个备选模型)5 模型评估6 保存模型7 投入生产数据预处理1 异常值离散型(定性): value_counts(),unique() 方法： 改为缺失连续型(定量): 箱型图原则(1.5IQR),3西格玛（3倍标准差） 方法：改为缺失，盖帽法2 缺失值1. 小于15%可以补充2. 15% `5
2020-05-19 21:17:20
1041
原创 sql 解题本 题与答案 2020
查找最晚入职员工的所有信息，为了减轻入门难度，目前所有的数据里员工入职的日期都不是同一天CREATE TABLE employees (emp_no int(11) NOT NULL,birth_date date NOT NULL,first_name varchar(14) NOT NULL,last_name varchar(16) NOT NULL,gender char(1) NOT NULL,hire_date date NOT NULL,PRIMARY KEY (emp_no)
2020-05-16 09:43:27
345
原创 Linux 基本命令 4-26
hadoophdfs:存储海量数据MapReduce:从hdfs里面取数据，进行数据分析（java）hive:hql 语句进行数据分析（专门为python 设计的）操作系统：windows Mac linux unix 一个能让软件运行的环境hadoop 是运行在linux系统上的通过shell操作（命令）总端unix—>minix(linux前身)---->l...
2020-04-27 09:41:59
240
原创 机器学习篇-船长总结（hsrjdz01）
建模分析的步骤1 确定需求，提取数据2 数据预处理（异常值，缺失值）3 特征选择4 对离散数据编码(哑变量，虚拟变量）3 拆分训练集，测试集4 选择并训练模型(多个备选模型)5 模型评估6 保存模型7 投入生产数据预处理1 异常值离散型(定性): value_counts(),unique() 方法： 改为缺失连续型(定量): 箱型图原则(1.5IQ...
2020-04-21 19:21:21
485
原创 面试01
1 数据中心结构 20多人5-6 爬虫hadoop :etl 运维 15 16分析师 3 ，4 人 组长 （汇报人）产品经理：—分析师（交流）分析师参与会议产品经理 需要数据分析师运营 需要数据分析师外包人多：按人 /工时员工 工作经验 学历 职别 时长1清洗数据2建模 衍生特征3确定需求，获取数据，进度交接（跟甲方人）4报告，使用说明书，技术说明书（字段说明）汇...
2020-04-20 09:52:53
160
原创 no评分卡
评分卡项目woe = ln(distr.good/distr.bad)iv=sum(distr.good_i-distr.bad_i)*ln(distr.good_i/distr.bad_i)有系数和常数的几个模型：ols lasso ridgo linor 线性逻辑回归 分类 woe 计算步骤分解： 最后需要 将woe 正值化1计算特征woe，2计算iv (>...
2020-04-09 02:14:01
181
原创 推荐算法
推荐算法用户喜好 （用户收藏，购买，下单）用户相似度 （商品交集/商品并集）估计喜好 = 用户相似度 · 喜好 （两个矩阵相乘 或 1/（1+距离））...
2020-04-09 00:04:07
269
nlp代码实操与资源2022.zip
2022-11-24
全国省/市/县级行政区划及其他SHP文件.zip
2022-05-28
自动合并同列名表格工具
2022-05-19
2022年5月最新最全县级shp文件.zip
2022-05-17
2022整理新版全国省市区县行政区划边界九段线矢量地图数据shp/arcgis
2022-05-06
02Python 版本 - Jupyter Noteboo.html
2020-05-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人