royryan97的博客

原创 Task2 - 数据分析

目的：1.EDA价值主要在于熟悉了解整个数据集的基本情况（缺失值，异常值），对数据集进行验证是否可以进行接下来的机器学习或者深度学习建模.2.了解变量间的相互关系、变量与预测值之间的存在关系。3.为特征工程做准备import pandas as pdimport numpy as npimport matplotlib.pyplot as pltimport seaborn as snsimport datetimeimport warningsimport oswarnings.fi

原创 Task1 - 赛题理解

1. 赛题数据赛题以预测用户贷款是否违约为任务，数据集报名后可见并可下载，该数据来自某信贷平台的贷款记录，总数据量超过120w，包含47列变量信息，其中15列为匿名变量。为了保证比赛的公平性，将会从中抽取80万条作为训练集，20万条作为测试集A，20万条作为测试集B，同时会对employmentTitle、purpose、postCode和title等信息进行脱敏。import pandas as pdimport numpy as nptrain = pd.read_csv('train.c

原创 DW数分Task02

1 缺失值观察可以看到在上面的Cabin列存在NaN，那其他列还有没有缺失值，这些缺失值要怎么处理呢？首先观察缺失值(1) 请查看每个特征缺失值个数df.info() #可以直接看到不缺失的值的数量df.isnull().sum() # 统计缺失值的数量单独提取 Age Cabin Embarked这三个特征df[[‘Age’,‘Cabin’,‘Embarked’]].head(3)2 对缺失值的处理两种比较优劣df[df[‘Age’] == np.nan] = 0df[df[‘Ag

转载 【转载】VScode上两个conda的冲突

我刚刚在Windows 10上安装了新的Anaconda 2018.2。这个anaconda版本使用python v3.7。运行conda更新conda update conda时，出现以下错误：；Collecting package metadata: failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url https://repo.anaconda.com/pkgs/main/win-64/repodata.json.bz2Elapsed:

原创 DW机器学习task1

逻辑回归是一个分类算法，它可以处理二元分类以及多元分类。虽然它名字里面有“回归”两个字，却不是一个回归算法。那为什么有“回归”这个误导性的词呢？个人认为，虽然逻辑回归是分类模型，但是它的原理里面却残留着回归模型的影子，本文对逻辑回归原理做一个总结。从线性回归到逻辑回归　　　　我们知道，线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θ，满足Y=Xθ。此时我们的Y是连续的，所以是回归模型。如果我们想要Y是离散的话，怎么办呢？一个可以想到的办法是，我们对于这个Y再做一次函数转换，变为

原创 test

题目地址（50. Pow(x, n)）https://leetcode-cn.com/problems/powx-n/description/题目描述实现 pow(x, n) ，即计算 x 的 n 次幂函数。示例 1:输入: 2.00000, 10输出: 1024.00000示例 2:输入: 2.10000, 3输出: 9.26100示例 3:输入: 2.00000, -2输出: 0.25000解释: 2-2 = 1/22 = 1/4 = 0

原创 DW_数分任务1

import numpy as np import pandas as pdimport osdf = pd.read_csv('train.csv') df.head() PassengerId Survived Pclass Name Sex Age SibSp Parch Ticket Fare Cabin E

原创 Linux相关指令语句

Linux rm命令删除文件夹删除文件夹【rm】Linux删除目录很简单，很多人还是习惯用rmdir，不过一旦目录非空，就陷入深深的苦恼之中，现在使用rm -rf命令即可。直接rm就可以了，不过要加两个参数-rf 即：rm -rf 目录名字-r 就是向下递归，不管有多少级目录，一并删除-f 就是直接强行删除，不作任何提示的意思...

原创 Python - 零碎语法模糊的地方个人整理

ContinuePython continue 语句Python continue 语句跳出本次循环，而break跳出整个循环。continue 语句用来告诉Python跳过当前循环的剩余语句，然后继续进行下一轮循环。

原创 SQL coursera Module 3 Coding Assignment

Module 31./Using a subquery, find the names of all the tracks for the album “Californication”./SELECT NameFROM TracksWHERE AlbumId IN (SELECT AlbumIdFROM Albums WHERE Title = “Californication”)2./Find the total number of invoices for each customer a.

原创 028 Implement strStr()

原创 Datawhale 零基础入门CV赛事-Task5 模型集成

Datawhale 零基础入门CV赛事-Task5 模型集成在上一章我们学习了如何构建验证集，如何训练和验证。本章作为本次赛题学习的最后一章，将会讲解如何使用集成学习提高预测精度。5 模型集成本章讲解的知识点包括：集成学习方法、深度学习中的集成学习和结果后处理思路。5.1 学习目标学习集成学习方法以及交叉验证情况下的模型集成学会使用深度学习模型的集成学习5.2 集成学习方法在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有Stacking、Bagging和Boostin

原创 Datawhale 零基础入门CV赛事-Task4 模型训练与验证

Datawhale 零基础入门CV赛事-Task4 模型训练与验证在上一章节我们构建了一个简单的CNN进行训练，并可视化了训练过程中的误差损失和第一个字符预测准确率，但这些还远远不够。一个成熟合格的深度学习训练流程至少具备以下功能：在训练集上进行训练，并在验证集上进行验证；模型可以保存最优的权重，并读取权重；记录下训练集和验证集的精度，便于调参。4 模型训练与验证为此本章将从构建验证集、模型训练和验证、模型保存与加载和模型调参几个部分讲解，在部分小节中将会结合Pytorch代码进行讲解。4.1

原创 Datawhale 零基础入门CV赛事-Task3 字符识别模型

Datawhale 零基础入门CV赛事-Task3 字符识别模型在前面的章节，我们讲解了赛题的背景知识和赛题数据的读取。本章开始构建一个字符识别模型，基于对赛题理解本章将构建一个定长多字符分类模型。3 字符识别模型本章将会讲解卷积神经网络（Convolutional Neural Network, CNN）的常见层，并从头搭建一个字符识别模型。3.1 学习目标学习CNN基础和原理使用Pytorch框架构建CNN模型，并完成训练3.2 CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网

原创 Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增

Datawhale 零基础入门CV赛事-Task2 数据读取与数据扩增在上一章节，我们给大家讲解了赛题的内容和三种不同的解决方案。从本章开始我们将逐渐的学习使用【定长字符识别】思路来构建模型，逐步讲解赛题的解决方案和相应知识点。2 数据读取与数据扩增本章主要内容为数据读取、数据扩增方法和Pytorch读取赛题数据三个部分组成。2.1 学习目标学习Python和Pytorch中图像读取学会扩增方法和Pytorch读取赛题数据2.2 图像读取由于赛题数据是图像数据，赛题的任务是识别图像中的字符。