- 博客(85)
- 收藏
- 关注
RSS订阅原创 怎么做恶意刷单检测——数据分析面试刷题1
怎么做恶意刷单检测？前言：01 自己思路02 别人参考03 个人总结意外收获写在最后：插话：前言：近日刷一波数据分析师面试题，学习别人的建议，总结和提升自己的思维。01 自己思路1.恶意刷单什么意思？是竞争对手恶意购买产品进行差评？2.刷单：就是找人购买、评价、好评、晒图、差评；3.选择因素：销量、好评、差评、地区；4.把一整年的单量找出来，从每个月、每个星期开始，根据销量、好评、...
2020-04-07 15:00:37
3305
1
原创 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
自己原本服务器是ubuntu系统，换成centos后，再链接，就出现以下问题，百度借鉴后，亲测有效：借鉴链接ssh连接服务器时，提示以下错误：@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@...
2020-04-02 09:41:09
210
原创 如何在终端，隐藏自己的计算机用户名？
在终端输入 sudo vim /etc/bashrc 命令输入密码后会出现下图如图修改,将系统自带默认的配置用 # 注释, 同时换行 输入 PS1= '\W \u$ '后 ,按 wq! 强制保存,退出终端即可看出效果4.\u – 当前用户名\h – 主机名hostname\W – 当前目录\w – 当前目录的完整路径\d – 现在的系统日期\t – 现在的系统时间...
2020-03-26 09:39:08
1179
1
原创 总结(清洗意义/步骤/函数)——Python数据清洗实战笔记(8)
总结一、为什么数据清洗？二、数据清洗步骤三、函数大全四、数据清洗内容一、为什么数据清洗？数据清洗实质上是将实际业务问题中，脏数据清洗干净，转换为‘干净的数据’，所谓的脏，指数据可能存在以下几种问题(主要问题)：1.数据缺失(Incomplete)：属性值为空；2.数据噪声(Nosiy)：数据值不合乎常理；3.数据不一致(Inconsistent)：前后存在矛盾；4.数据冗余(Redun...
2020-03-25 23:10:19
933
原创 数据预处理(重复值/异常值/数据离散化)——Python数据清洗实战笔记(7)
数据预处理1.重复值处理·对价格和里程数数据进行处理2.缺失值处理3.异常值处理4.数据离散化导库，读取数据import numpy as npimport pandas as pddf = pd.read_csv('../data/MotorcycleData.csv',encoding='gbk',na_values='Na')1.重复值处理·对价格和里程数数据进行处理自定义函数...
2020-03-25 23:04:28
1953
1
原创 数据统计(分组groupby/聚合函数agg/apply/透视表与交叉表)——Python数据清洗实战笔记(6)
数据统计1.数据分组运算2.聚合函数使用3. 分组对象于apply函数4.透视表与交叉表1.数据分组运算df.groupby(‘a’)df.groupby(by=[‘a’,‘b’])df[[‘a’,‘b’,‘c’]].groupby(‘a’)df[[‘a’,‘b’,‘c’]].groupby(by=[‘a’,‘b’])使用单个分组变量使用groupby方法import pand...
2020-03-25 22:57:55
1103
原创 数据日期/字符串/高级函数转换处理——Python数据清洗实战笔记(5)
数据转换数据转换1.日期格式数据处理2. 字符串数据处理3.高级函数数据处理**知识点细致延伸**1.pd.read_csv()数据转换1.日期格式数据处理import numpy as npimport pandas as pd#encoding:指定字符集类型;dtype:每列数据的数据类型。df = pd.read_csv('../data/baby_trade_history....
2020-03-25 22:54:42
557
原创 数据表(筛选、增删改查、整理、层次化索引)处理——Python数据清洗实战笔记(4)
数据表处理1.数据筛选方法2.数据增加和删除3. 数据修改和查找4.数据整理5.层次化索引1.数据筛选方法import pandas as pdimport numpy as npdf = pd.read_csv('../data/baby_trade_history.csv',encoding='utf-8',dtype={'user_id':str})查看数据df.info()...
2020-03-25 22:52:05
439
原创 Csv/Excel/mysql文件读写操作——Python数据清洗实战笔记(3)
文件读写操作文件操作1.csv读写2.excel文件读写3.数据库文件读写文件操作1.csv读写import pandas as pdimport numpy as np#设置最大显示列数pd.set_option('display.max_columns',20)#设置最大显示行数pd.set_option('display.max_rows',100)#婴儿信息表;默认将...
2020-03-25 22:48:30
362
原创 NumpyPandas常用数据结构——Python数据清洗实战笔记(2)
常用工具NumpyPandas常用数据结构Numpy常用数据结构1.数组组建2.数组方法3.访问4.Numpy常用数据清洗函数Pandas常用数据结构Series序列series方法DataframeDataframe方法NumpyPandas常用数据结构Numpy常用数据结构1.数组组建import numpy as nparr1 = np.array([-9,8,7,23])arr...
2020-03-25 22:46:00
324
原创 Python数据清洗实战笔记——导论(1)
昨日发现自己在csdn学院报了一个Python数据清洗实战的课程，自己先是听课程，后来老是纠结…这课件在哪里哇…等学完了，发现，找到了，故此，自己就对着代码敲，无意发现了一个学习方法，接下来，我会系统的把课程内容做下个人整理，按照系列发布，希望大家都有所收获。流程：1.发布地区：csdn博客，github网站(如果您需要实战，可以在那里下载数据以及代码)2.博客内容流程：目录：便于对整...
2020-03-25 17:30:05
478
原创 sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1366, "Incorrect string value: '\\xE4\\xB
问题出现：数据写入数据库时，报的错误sqlalchemy.exc.InternalError: (pymysql.err.InternalError) (1366, "Incorrect string value: '\\xE4\\xB8\\xAD\\xE5\\x9B\\xBD' for column 'country_name' at row 1")一开始一直以为是我字段的问题，就反复确...
2020-03-17 13:09:16
1493
原创 mysql数据库的删除与新建；
#删除数据库> drop database ZYW53NCP;Query OK, 5 rows affected (0.03 sec)#新建数据库mysql> create database ZYW53NCP;Query OK, 1 row affected (0.00 sec)
2020-03-15 14:12:32
95
原创 ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your
出现此问题，源于引号的问题；1.ZYW53NCP，这个引号是键盘左上、数字1左边那个健；如果你输入英文负号引号，就会报错；mysql> create database 'ZYW53NCP';ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to you...
2020-03-15 11:58:39
343
原创 Git教程
突然，想明白了一个道理，为什么不重复的造轮子，把搜索当成一种目录，自己只要把知识放进去后，什么时候需要，什么时候拿去不就好了？果然，这想法好。Git教程https://www.liaoxuefeng.com/wiki/896043488029600...
2020-03-13 21:36:29
81
原创 matplotlib读取图片方法罗列
matplotlib读取图片方法罗列img = imread('./z/y/imgs/K-line.png')plt.imshow(img)plt.show()知识参考1. matplotlib官网2.python 读取并显示图片的各种方式（Pillow、matplotlib、opencv）...
2020-03-09 20:58:34
2785
原创 matplotlib设置显示中文
mac：由于Mac系统自带有中文字库，Arial Unicode MS即为其中一种。不需要安装字库，不需要修改配置文件。import matplotlib.pyplot as pltplt.rcParams["font.family"] = 'Arial Unicode MS'#可用以下语句列出matploylib支持的字体文本；import matplotliba=sorted([...
2020-03-09 20:38:17
203
原创 数据分析入门----------适合入门
写在前面的话：哈喽，你好。接触电脑后，光看‘官方文字’，觉得有点陌生，自己找了画图软件，自己‘写字’来帮助自己理解。接下来的方式，随写随补充，采用思维导图、文字、手稿的形式。这场疫情，愿你我都能修炼好铠甲，待阳光灿烂之时，振翅翱翔。大纲：...
2020-02-24 23:40:23
165
转载 [转]新手必会，pycharm的调试功能(史上最详篇)
新手必会，pycharm的调试功能(史上最详篇)前言Debug调试，是一项学习编程人员的重要技能。只有当你学会 debug 了以后，才可以正确的知道程序的走向流程是如何的，今天就来给大家介绍一下 pycharm 中的 debug 功能！详细说明链接...
2020-02-10 19:20:32
427
1
原创 mac安装python3——使用brew管理
使用brew管理：1.brew下载：官网https://brew.sh/brew下载参考博客 2.mac终端：检查自己python版本：$ pythonPython 2.7.10 (default, Feb 22 2019, 21:55:15) [GCC 4.2.1 Compatible Apple LLVM 10.0.1 (clang-1001.0.37.14)] on darwi...
2020-02-10 09:58:42
722
原创 pandas中的绘图函数---Seaborn/ seaborn.load_dataset/ matplotlib.pyplot/ matplotlib.pyplot.plot
1.SeabornSeaborn是基于matplotlib的Python数据可视化库。它提供了一个高级界面，用于绘制引人入胜且内容丰富的统计图形。更多运用了解Seaborn官方介绍2.seaborn.load_datasetseaborn.load_dataset(name, cache=True, data_home=None, **kws)从在线库中获取数据集(需要联网)。参数说明：...
2020-01-13 21:56:23
749
原创 pandas数据处理---聚合操作[describe]排序[take]数据分类聚合[Series.groupby]高级数据聚合[DataFrame.groupby]
4.使用聚合操作对数据异常值检测和过滤4.1:describeA.使用函数：DataFrame.describe（self，percentiles = None，include = None，exclude = None ）B.参数解析：C.实战：C1.官方例子C2.E.小节练习5.排序A.使用函数：DataFrame.take（self，index，axis = 0，is_...
2020-01-10 20:23:21
1124
原创 pandas数据处理--2映射replace函数、map函数
2.映射2.1映射含义说明：创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定2.2相关操作函数：2.2.1 replace()函数：替换元素（DataFrame\Series的函数)A.函数：df.replace(to_replace=None,value=None,inplace=False,limit=None,regex=False,method=‘pad’)...
2020-01-10 20:20:03
1939
原创 pandas数据处理---1查看、删除重复元素 df.duplicated(subset=None, keep='first'/'last'/False)
1.查看标记重复元素**1.1使用函数：**duplicated()：df.duplicated(subset=None, keep=‘first’/‘last’/False)1.2参数解析：A.subset：对应值是列名，表示只考虑写的列，将列对应值相同的行进行去重，默认值None，即考虑所有列；B.keep='first/last/False’：first：默认值，除了第一次出现外，其...
2020-01-10 20:15:49
10814
4
原创 pandas数据处理---交叉表和透视表
目录：1.查看重复元素 df.duplicated(subset=None, keep=‘first’/‘last’/False)2.删除重复元素 df.drop_duplicates(subset=None, keep=‘first’, inplace=False)3.映射4.使用聚合操作对数据异常值检测和过滤5.排序6.数据分类/组处理【重点】7.高级数据聚合写在前面：制造数据...
2020-01-10 09:08:35
264
原创 pandas空值(缺省/失值)处理方式---数据清洗
本文目录：1.None和np.nan的区别？2.pandas空值介绍；2.1excel表格制造数据；2.2读取数据；2.3缺失值介绍、产生原因、分类、属性、形式：3.人为制造空值4.空值操作1.None和np.nan的区别？2.pandas空值的操作：涉及函数：any、all；isnull()、notnull()、dropna()、fillna()、isna()https:/...
2020-01-08 17:00:11
1733
原创 Pandas DataFrame查询访问、索引、切片---初学基础
索引1.根据索引取值*# BOOL列表访问默认访问的是行，而不是列2.行索引2.1 通过标签索引行数据loc对列进行索引 - 通过类似字典的方式- 通过属性的方式，loc方法通过标签或者bool数组选取一些行和列，可以将DataFrame的列获取为一个Series。返回的Series拥有原DataFrame相同的索引，且name属性也已经设置好了，就是相应的列名。2.2 iloc...
2020-01-07 22:24:39
2223
原创 Pandas DataFrame二维数组说明、DataFrame的创建、从文件中读取DataFrame对象知识---初学基础
1.DataFrame说明DataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】（共用同一个索引）。DataFrame由按一定顺序排列的多列数据组成，设计初衷是将Series的使用场景从一维拓展到多维，DataFrame既有行索引，也有列索引，DataFrame属性：values、columns、index、shape。行索引：index列索引：columns...
2020-01-07 21:42:01
6439
原创 pandas数组(pandasSeries)的运算及案例---初学基础
Series的运算1.索引对齐，与索引的顺序无关；名字相同，算对齐；######索引不对齐，用NaN填充######2.索引如果有确实，会补全，并且以np.nan来填充；如果不想以np.nan来填充，可以用full_value来设置填充值注意：要想保留所有的index，则需要使用：add() 加；sub() 减； mul() 乘； div() 除；add()sub()mul(...
2020-01-07 20:51:13
1160
原创 Series的10大基本概念及代码案例-----初学基础
1.可以把Series看成一个定长的有序字典，向Series增加一行：相当于给字典增加一组键值对。2.可以通过shape，size，index,values等得到series的属性shape：形状size：元素的个数index：获取index的值，返回的是对象values：获取value的值*numpy tolist()的用法3.可以使用head(),tail()分别查看前n个...
2020-01-07 20:08:02
1238
原创 Series的切片知识点案例解析---初学基础
推荐使用显示切片、隐式切片，除了标签访问全闭区间之外，都是左闭右开编者寄：那个，截图存导图里，再放这里好像图片不太清晰了，后期做改进；文章面向小白也可能会被行业前辈看到，为避免知识误导，若文章有错误，还请过路朋友指出，末学好及时更正，评论区见～整理于学习资料，比心图片来源网络；...
2020-01-07 18:45:42
570
原创 Series的访问知识点及案例解析---初学基础
访问：1.支持数组、字典的访问形式2.支持numpy数组的访问方式3.BOOL数组的访问方式4.字典的访问形式推荐使用如下访问方式：5.显示索引访问loc6.隐式索引iloc**7.注意：使用列表访问Series，得到的是一个Series对象；同理：使用列表访问numpy数组，得到的也是一个numpy数组使用索引访问，返回元素编者寄：那个，截图存导图里，再放这里好像图...
2020-01-07 13:58:10
627
原创 Series的创建知识点搭配案例解析---初学基础
Series是一种类字典的一维数组的对象，由下面两个部分组成：values：一组数据（ndarray类型）index：相关的数据索引标签1.Series的创建1.由列表或numpy数组创建a列表创建b.numpy创建2.由字典创建a. 字典的键自动成为显式索引b. 字典是无序的，而Series是有序的，所以字典会按照键进行排序编者寄：啊哈哈，截图存导图里，再放这里...
2020-01-07 13:46:06
535
原创 ndarray的属性解析及代码案例----基础
1.numpy介绍：numpy 是使用python进行数据分析不可或缺的第三方库，非常多的科学计算工具都是基于 numpy 进行开发的。NumPy数组的维数称为秩（rank），一维数组的秩为1，二维数组的秩为2，以此类推。在NumPy中，每一个线性的数组称为是一个轴（axes），秩其实是描述轴的数量。比如说，二维数组相当于是一个一维数组，而这个一维数组中每个元素又是一个一维数组。所以这个一维数组...
2020-01-07 09:12:47
443
原创 使用numpy的routines函数构造矩阵几种方式细致解析---初学
import numpy as np1.numpy.ones(shape, dtype=None, order=‘C’)用1来填充一个矩阵：shape：形状，生成2行3列矩阵：shape=(2,3);dtype：指的是数组当中数据元素的类型，如果单type，指的是整个对象的类型；默认类型是numpy.float64order:影响数组在内存中的储存方式,不用动；2.numpy.z...
2020-01-06 22:20:26
343
原创 numpy一维、二维及列表创建---- (jupyter notebook) ----初学
1.numpy—二维、三维数组2.使用numpy.array()由python list创建构造列表，也可以接收任意类型：numpy中数组结构是，一组【有序】的【类型相同】的数据的集合；numpy默认ndarray的所有元素的类型是相同的如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int编者寄：文章面向小白也可能会被行业前辈看到，...
2020-01-06 21:41:05
2337
原创 jupyter notebook之IPython输入输出历史---初学
1.IPython输入输出历史a.可使用In/Out调用输入输出历史In返回一个字符串列表，里面是所有输入命令的字符串,Out返回一个含有输出的命令的序号及其输出组成的字典,两者皆可以通过索引获取元素。2.使用下划线表示输出"_“表示上一个输出,”_num"表示Out[num]编者寄：文章面向小白也可能会被行业前辈看到，为避免知识误导，若文章有错误，还请过路朋友指出，末学好及时更...
2020-01-06 21:12:06
1609
原创 IPython魔法命令---jupyter notebook初学
1.运行外部python文件使用下面命令运行外部python文件（默认是当前目录，最好加上绝对路径）%run *.py实践例子：a.在当前文件夹下创建hello.py文件，并如下内容：def all_num(number_list):for number in number_list:print(number)b.%run2. 运行计时案例操作：**a.ti...
2020-01-06 20:59:36
289
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人