- 博客(19)
- 收藏
- 关注
RSS订阅原创 2020.08.28 Datewhale组队学习 数据分析05 模型建立及评估
模型建立及评估机器学习模型的搭建任务一：切割训练集和测试集任务二：模型构建任务三：输出模型预测结果机器学习模型的评估任务一：交叉验证使用混淆矩阵做分类模型的评估任务三：绘制ROC曲线机器学习模型的搭建import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsfrom IPython.display import Image%matplotlib inlineplt.rc
2020-08-28 11:11:40
424
原创 2020.08.25 Datewhale组队学习 数据分析04 数据可视化
数据可视化如何让人一眼就能看懂你的数据可视化展示泰坦尼克号数据集中男女中生存人数分布情况（用柱状图试试）。可视化展示泰坦尼克号数据集中男女中生存人与死亡人数的比例图（用柱状图试试）。可视化展示泰坦尼克号数据集中不同票价的人生存和死亡人数分布情况。（用折线图试试）（横轴是不同票价，纵轴是存活人数）¶任务五：可视化展示泰坦尼克号数据集中不同仓位等级的人生存和死亡人员的分布情况。（用柱状图试试）任务六：可视化展示泰坦尼克号数据集中不同年龄的人生存与死亡人数分布情况。(不限表达方式)任务七：可视化展示泰坦尼克号数据
2020-08-25 23:06:16
211
原创 2020.08.23 Datewhale组队学习 数据分析03 数据重构01
数据重构01第二章 数据重构数据的合并任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向分别合并为两张表，并在上下合并为一张表，并保存这张表为result_up任务四：使用DataFrame自带的方法join方法和append：完成任务二和任务三的任务任务五：使用Panads的merge方法和DataFrame的append方法：完成任务二和任务三的任务换一种角度看数据本章内容介绍数据重构，主要根据对于数据的理解进行有利于我们的数据重新整理。
2020-08-23 23:27:33
130
原创 2020.08.21 Datewhale组队学习 数据分析02 数据清洗及特征处理
数据清洗及特征处理数据清洗简述缺失值观察与处理任务一：缺失值观察任务二：对缺失值进行处理对重复值的观察及处理任务一：请查看数据中的重复值任务二：对重复值进行处理特征观察与处理任务一：对年龄进行分箱（离散化）处理任务二：对文本变量进行转换任务三（附加）：从纯文本Name特征中提取Titles的特征（Mr,Mrs或者Miss）import numpy as npimport pandas as pddf = pd.read_csv('train.csv')df.head(5)
2020-08-21 22:16:37
212
原创 2020.08.18 Datewhale组队学习 数据分析01 数据加载及探索性分析
数据加载及探索性分析数据加载与初步分析载入数据载入数据把标题改为中文初步观察保存数据数据类型SeriesDataframe筛选的逻辑排序数据加载与初步分析载入数据载入数据import pandas as pdimport numpy as npdf = pd.read_csv('train.csv') #相对路径，下面绝对路径# df = pd.read_csv('E://OneDrive - tongji.edu.cn//06-Coding//My Jupyter Notebook//03-
2020-08-18 16:46:39
246
原创 2020.8.8 Python basic syntax09-文件与文件系统
文件与文件系统文件与文件系统打开文件文件对象方法简洁的 with 语句关于文件扩展名的理解OS 模块中关于文件/目录常用的函数相对路径与绝对路径序列化与反序列化文件与文件系统打开文件open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True) Open file and return a stream. Raise OSError upon failure.file: 必
2020-08-08 14:27:34
123
1
原创 2020.8.7 Python basic syntax08-模块与datetime模块
模块与datetime模块模块什么是模块命名空间导入模块`if __name__ == '__main__'`搜索路径包（package）datetime模块datetime类date类time类timedelta类模块在前面我们脚本是用 Python 解释器来编程，如果你从 Python 解释器退出再进入，那么你定义的所有的方法和变量就都消失了。为此 Python 提供了一个办法，把这些定义存放在文件中，为一些脚本或者交互式的解释器实例使用，这个文件被称为模块（Module）。模块是一个包含所有你
2020-08-08 10:33:52
119
原创 2020.8.5 Python basic syntax07-类、对象与魔法方法
类、对象与魔法方法类和对象类相关的bif继承静态属性和静态方法魔法方法基础魔法方法运算与反运算魔法方法列表类和对象类相关的bifissubclass(class,classinfo) #classinfo可以是类对象组成的元组，只要class是其中任何一个候选类的子类，返回Trueisinstance(object,classinfo) #与issubclass类似，如果第一个参数不是对象，则永远返回False，如果第二个参数不是类或者由类对象组成的元组，抛出TypeError的异常hasat
2020-08-05 20:22:13
164
原创 2020.8.2 Python basic syntax06-函数与lambda表达式
函数与lambda表达式函数函数的定义函数的调用函数的参数变量作用域内嵌函数闭包lambda表达式匿名函数的定义匿名函数的应用函数python中万物皆对象，函数也不例外，python把函数也作为对象，可以从另一个函数中返回出来而去构件高阶函数，比如：参数是函数返回值是函数函数的定义函数以def关键词开头，后接函数名和圆括号()。函数执行的代码以冒号起始，并且缩进。return [表达式] 结束函数，选择性地返回一个值给调用方。不带表达式的return相当于返回None。def fu
2020-08-02 11:26:25
76
原创 2020.7.30 Python basic syntax05-字典、集合及序列
字典、集合及序列字典可变类型与不可变类型创建字典的几种方法内置BIF课后习题字典可变类型与不可变类型序列是以连续的整数为索引，与此不同的是，字典以"关键字"为索引，关键字可以是任意不可变类型，通常用字符串或数值。字典是 Python 唯一的一个 映射类型，字符串、元组、列表属于序列类型。那么如何快速判断一个数据类型 X 是不是可变类型的呢？两种方法：麻烦方法：用 id(X) 函数，对 X 进行某种操作，比较操作前后的 id，如果不一样，则 X 不可变，如果一样，则 X 可变。便捷方法：用
2020-07-28 10:10:28
174
原创 2020.7.27 Python basic syntax04-列表、元组及字符串
列表、元组及字符串列表列表的创建获取列表中的元素列表相关基础操作课后题作答本小节介绍Python中最基础的三类容器：列表、元组及字符串列表列表的创建利用推导式创建列表【例子】x = [0] * 5print(x, type(x))# [0, 0, 0, 0, 0] <class 'list'>x = [0 for i in range(5)]print(x, type(x))# [0, 0, 0, 0, 0] <class 'list'>x = [i
2020-07-25 10:36:39
95
原创 2020.7.24 Python basic syntax03-Python异常处理
Python异常处理1. Python 标准异常总结2. Python标准警告总结3. try - except 语句4. try - except - finally 语句5. try - except - else 语句6. raise语句综合小练习及个人解答异常就是运行期检测到的错误。计算机语言针对可能出现的错误定义了异常类型，某种错误引发对应的异常时，异常处理程序将被启动，从而恢复程序的正常运行。1. Python 标准异常总结BaseException：所有异常的 基类Exception
2020-07-24 10:25:42
105
原创 2020.7.23 Python basic syntax02- 条件与循环语句
条件与循环语句Assert 关键词While-else 循环enumerate() 函数推导式Assert 关键词Assert这个关键字我们称之为*“断言”*，当这个关键字后边的条件为假的时候，程序自动崩溃并抛出AssertionError的异常。什么情况下我们会需要这样的代码呢？当我们在测试程序的时候就很好用，因为与其让错误的条件导致程序今后莫名其妙地崩溃，不如在错误条件出现的那一瞬间我们实现“自爆”。一般来说我们可以用Ta再程序中置入检查点，当需要确保程序中的某个条件一定为真才能让程序正常工作
2020-07-23 09:51:07
107
原创 2020.7.22 Python basic syntax01-变量、运算符与数据类型
Python01-变量、运算符与数据类型位运算符三元操作符两种不同的布尔运算布尔型数值Print函数借此机会把Python的基础知识再过一遍，因此这里记录自己之前没有搞明白的东西。位运算符按位运算符是把数字看作二进制来进行计算的。Python中的按位运算法则如下：下表中变量 a 为 60，b 为 13，二进制格式如下：a = 0011 1100b = 0000 1101a&b = 0000 1100a|b = 0011 1101a^b = 0011 0001~a = 1100
2020-07-22 21:16:06
105
原创 2020.6.29 概率统计-Task04-方差分析
方差分析一、概要1 从独立样本t检验到方差分析单因素方差分析双（多因素）因素方差分析概率统计的最后一节内容，有关方差分析的介绍。Datawhale的课件讲F检验的推导过程讲解的十分详细。在模型实现方面，只给出了R语言的实现途径。笔者将结合另外一个例子，介绍SPSS对于方差分析的实现过程，并对方差分析种类的介绍进行扩展。一、概要1 从独立样本t检验到方差分析首先举个例子：如果你的数学成绩和班里的小王差了1分，那么你和小王的分数有没有很大的差异呢？你们班和隔壁班的数学平均成绩差了1分，那么两个班的
2020-06-29 12:59:24
647
原创 2020.6.26 概率统计-Task03-常见分布与假设检验
常见分布与假设检验一、一般随机变量1 离散型随机变量2 连续型随机变量二、常见的离散型分布1 二项分布2 泊松分布3 二项分布与泊松分布之间的关系4 其他离散型随机分布几何分布负二向分布超几何分布三 常见的连续型分布1 均匀分布2 正态分布3 指数分布4 其他连续分布Γ\GammaΓ分布威布尔分布 （Weibull distribution）四 常见分布的均值和方差汇总五 变量分布代码实现1 生成一组符合特定分布的随机数2 计算统计分布的PMF和PDF3 计算统计分布的CDF六 假设检验1 基本概念2 统计
2020-06-26 16:23:09
994
原创 2020.06.23 概率统计-Task02-数理统计与描述性统计
数理统计与描述性统计一、数理统计概念1.基本概念释义2.统计量与抽样3.常用的统计量二、描述性统计1.数据集中趋势的度量2. python实现3.数据离散趋势的度量4.python实现5. 分布特征6.偏度与峰度7. 公式与python实现一、数理统计概念1.基本概念释义定义：在数理统计中，称研究对象的全体为总体，通常用一个随机变量表示总体。组成总体的每个基本单元叫个体。从总体 XXX 中随机抽取一部分个体 X1,X2,...,XnX_1,X_2,...,X_nX1,X2,...,Xn ,称
2020-06-23 17:36:31
403
1
原创 2020.6.22 CS224n NLP笔记-Lecture01
CS224n NLP笔记-Lecture01Word2vec 介绍Word2vec的算法思想Word2vec目标函数定义Word2vec目标函数求解Word2vec 介绍接下来感觉是这节课的重点——Word2vec，个人目前的理解这是一种根据前面提到的上下文思想构造词向量的方法。大概含义就是为每个单词构造一个密集的向量，这个向量可以看作中心向量(Center Vector，之后简称 c )，中心向量与在上下文出现的向量(Outside Vector，之后简称 o )可能存在相似的关系。这些向量都是n-
2020-06-22 19:20:55
202
原创 2020.06.21 概率统计-Task01-随机事件与随机向量
概率统计学习记录011. 随机事件1.1 基本概念释义1.2 概率1.2.1 定义1.2.2 主要性质1.3 古典概型1.4 条件概率1.5 全概率公式和贝叶斯公式1.5.1 全概率公式1.5.2 贝叶斯公式个人理解2. 随机变量2.1. 随机变量及其分布2.3 伯努利试验/二项分布2.4 随机变量的数字特征2.4.1 数学期望2.4.2 方差2.4.3 协方差以及相关系数今天开始跟着Datawhale在学习一遍概率统计的基础知识，希望自己可以坚持下来有些内容涉及概念性的东西，所以就和讲义统一了1.
2020-06-21 15:39:21
337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人