old sweet的博客

原创 吴恩达机器学习作业6——SVM

import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as sbfrom scipy.io import loadmatfrom sklearn import svmdef plotData(X, y): plt.figure(figsize=(8,5)) plt.scatter(X[:,0], X[:,1], c=y.flatten(), cmap='rainbow

原创 吴恩达机器学习作业5——偏差与方差

在前半部分的练习中，你将实现正则化线性回归，以预测水库中的水位变化，从而预测大坝流出的水量。在下半部分中，您将通过一些调试学习算法的诊断，并检查偏差 v.s. 方差的影响。import numpy as npimport matplotlib.pyplot as pltfrom scipy.io import loadmatimport scipy.optimize as optdef plotData(): """瞧一瞧数据长啥样""" plt.figure(figsize=

原创 吴恩达机器学习7——支持向量机SVM

吴恩达机器学习7一、SVM直观理解1. SVM引入逻辑回归2. 大边界分类器SVM3. SVM原理二、核函数1. 核函数原理和概念2. SVM和核函数结合的计算步骤三、使用SVM一、SVM直观理解1. SVM引入逻辑回归与逻辑回归和神经网络 相比，支持向量机，或者简称 SVM，在学习复杂的 非线性方程 时提供了一种更为清晰，更加强大的方式。它也是我们所介绍的最后一个监督学习算法。如我们之前的学习算法，我们从优化目标开始。为了描述支持向量机，将会从逻辑回归开始展示我们如何一点一点修改来得到本质上的支持

原创 吴恩达机器学习6——机器学习算法改进、系统设计

吴恩达机器学习6一、机器学习算法改进1. 机器学习算法评价1.1 评估模型1.2 模型选择和交叉验证集2. 偏差与方差2.1 诊断偏差和方差2.2 正则化和偏差/方差2.3 学习曲线2.4 选择修正方法二、机器学习系统设计1. 误差分析2. 处理偏斜数据3. 使用大数据集一、机器学习算法改进1. 机器学习算法评价1.1 评估模型当面对测试集，你的算法效果不佳时，你一般会怎么做？获得更多的训练样本？尝试更少的特征？尝试获取附加的特征？尝试增加多项式的特征？尝试增加λ?尝试减小λ?我们

原创 吴恩达机器学习作业4（python实现）

利用神经网络预测手写数字import numpy as npimport matplotlib.pyplot as pltfrom scipy.io import loadmatimport scipy.optimize as optfrom sklearn.metrics import classification_report # 这个包是评价报告from sklearn.preprocessing import OneHotEncoderdef expand_y(y): "

原创 sigmoid函数手动求导

原创 吴恩达机器学习5——神经网络的学习

神经网络的学习1. 代价函数和反向传播1.1 代价函数1.2 反向传播算法1.3 反向传播算法的直观理解2. 神经网络算法技巧2.1 参数展开技巧2.2 梯度检验2.3 随机初始化参数3. 神经网络算法步骤3.1 选择网络结构3.2 训练神经网络模型4. 神经网络应用于无人驾驶的实例1. 代价函数和反向传播1.1 代价函数标记方法：m为训练样本个数，每组样本包括一组输入x和一组输出y；L表示神经网络层数；Sl表示第l层的神经元个数；K表示输出单元的个数。神经网络的分类：二分类和多分类在神经网络

原创 吴恩达机器学习神经网络作业（python实现）

1. 多分类逻辑回归自动识别手写数字import numpy as npimport pandas as pdimport matplotlib.pyplot as pltfrom scipy.io import loadmatfrom scipy.optimize import minimize# 加载mat数据def load_data(path): data = loadmat(path) X = data['X'] y = data['y'] ret

原创 吴恩达机器学习4——神经网络

吴恩达机器学习4——神经网络1. 非线性假设2. 神经网络算法2.1 神经元2.2 神经网络3. 神经网络算法实例3.1 例子1：单层神经网络表示逻辑运算3.2 例子24. 多分类1. 非线性假设我们之间学习过的线性回归和逻辑回归，在面对一些多特征的问题时，计算的负荷特别大并且不能很好的画出分类的边界。这时，我们需要运用到多项式回归，通过增加函数的项数，可以使画出来的曲线有任意的角度。如下图所示：我们在增加项数时，如果我们有非常多的特征，即便我们采用两两组合的方式，也会产生成千上万的组合特征，这对于

原创 吴恩达机器学习logistic回归作业（python实现）

1. Logistic regression在这部分的练习中，你将建立一个逻辑回归模型来预测一个学生是否能进入大学。假设你是一所大学的行政管理人员，你想根据两门考试的结果，来决定每个申请人是否被录取。你有以前申请人的历史数据，可以将其用作逻辑回归训练集。对于每一个训练样本，你有申请人两次测评的分数以及录取的结果。为了完成这个预测任务，我们准备构建一个可以基于两次测试评分来评估录取可能性的分类模型。import numpy as npimport pandas as pdimport matplotl

原创 吴恩达机器学习3——逻辑回归、正则化

机器学习第三周一、逻辑回归1. 分类问题1.1 分类的概念1.2 使用线性回归来解决分类模型1.3 逻辑回归模型1.4 分类边界2. 逻辑回归模型 logistic regression2.1 代价函数2.2 梯度下降2.3 高级优化方法3. 多类别分类：一对多二、正则化1. 过拟合问题2. 修改代价函数实现正则化3. 正则化线性回归4. 正则化逻辑回归一、逻辑回归1. 分类问题在监督学习的分类中，我们了解到有回归问题和分类问题。回归问题我们采用线性回归和梯度下降算法进行求解，我们在之前已经进行过学习

原创 吴恩达机器学习2——多变量线性回归、正规方程

目录一、多变量线性回归1. 多维特征2.多变量梯度下降三、多变量梯度下降注意点3.1 特征缩放3.2 学习速率四、特征和多项式回归五、正规方程六、正规方程与梯度下降算法对比七、正规方程及不可逆性附录：正规方程的推导过程一、多变量线性回归1. 多维特征上一节我们探讨了单变量特征的回归模型，但有时单变量无法准确地预测房价，所以我们需要对房价预测模型增加更多的特征，例如房间数、楼层等等，现在模型中的特征变为(????1, ????2, . . . , ????????)。在增加更多特征之后，符号说明也

原创 吴恩达机器学习1——单变量线性回归、梯度下降

目录吴恩达机器学习第一周一、什么是机器学习？二、机器学习的分类1. 监督学习2. 非监督学习3. 监督学习和非监督学习的举例三、单变量线性回归（**Linear Regression with One Variable**）1. 模型表示2. 代价函数3. 梯度下降算法4. 梯度下降的线性回归吴恩达机器学习第一周一、什么是机器学习？Arthur Samuel 定义：使计算机无需明确编程即可学习的学习领域Tom Mitchell 定义：如果某计算机程序在T任务中的性能（由P衡量）随着经验E的提

原创 python六种基本数据类型

python六种基本数据类型Python3 中有六个标准的数据类型：number（数字）string（字符串）tuple（元组）list（列表）set（集合）dictionary（字典）前三种为不可变数据(不可变数据类型在第一次声明赋值声明的时候, 会在内存中开辟一块空间, 用来存放这个变量被赋的值, 而这个变量实际上存储的, 并不是被赋予的这个值, 而是存放这个值所在空间的内存地址, 通过这个地址, 变量就可以在内存中取出数据了. 所谓不可变就是说, 我们不能改

原创 枚举算法练习

最长平台 （简单）总时间限制: 1000ms 内存限制: 65536kB描述已知一个已经从小到大排序的数组，这个数组的一个平台（Plateau）就是连续的一串值相同的元素，并且这一串元素不能再延伸。例如，在 1，2，2，3，3，3，4，5，5，6中1，2-2，3-3-3，4，5-5，6都是平台。试编写一个程序，接收一个数组，把这个数组最长的平台找出 来。在上面的例子中3-3-3就是最长的平台...

原创 最短路算法（3种算法）

1.最短路最短路，顾名思义，最短的路径。我们把边带有权值的图称为带权图。边的权值可以理解为两点之间的距离。一张图中任意两点之间会有不同的路径相连。最短路径就是指连接两点的这些路径中最短的一条。我们有四种算法可以有效地解决最短路径问题，但是当出现负边权时，有些算法不适用。2. Floyd算法（解决多源最短路径）：时间复杂度O(n^3), 空间复杂度(n^2)推荐一篇博客。写的非常易懂：Flo...

原创 蓝桥杯 算法训练 Sticks

资源限制时间限制：1.0s 内存限制：999.4MB　　SticksTime Limit: 1000MS Memory Limit: 10000KTotal Submissions: 113547 Accepted: 26078问题描述　　George took sticks of the same length and cut them randomly until all ...

原创 蓝桥杯 算法训练 字符串合并

资源限制时间限制：1.0s 内存限制：256.0MB问题描述　　输入两个字符串，将其合并为一个字符串后输出。输入格式　　输入两个字符串输出格式　　输出合并后的字符串样例输入一个满足题目要求的输入范例。HelloWorld样例输出HelloWorld数据规模和约定　　输入的字符串长度0<n<100#include <iostream>us...

原创 蓝桥杯 算法训练 逆序对

资源限制时间限制：1.0s 内存限制：256.0MB问题描述Alice是一个让人非常愉跃的人!他总是去学习一些他不懂的问题，然后再想出许多稀奇古怪的题目。这几天，Alice又沉浸在逆序对的快乐当中，他已近学会了如何求逆序对对数，动态维护逆序对对数等等题目，他认为把这些题让你做简直是太没追求了，于是，经过一天的思考和完善，Alice终于拿出了一道他认为差不多的题目：有一颗2n-1个节点的...

原创 蓝桥杯 算法训练 安慰奶牛

资源限制时间限制：1.0s 内存限制：256.0MB问题描述Farmer John变得非常懒，他不想再继续维护供奶牛之间供通行的道路。道路被用来连接N个牧场，牧场被连续地编号为1到N。每一个牧场都是一个奶牛的家。FJ计划除去P条道路中尽可能多的道路，但是还要保持牧场之间 的连通性。你首先要决定那些道路是需要保留的N-1条道路。第j条双向道路连接了牧场Sj和Ej(1 <= Sj &l...

原创 c++中list用法

list是一个双向链表容器，可高效的进行插入和删除元素。list不可以随机存取元素，不支持at函数与operator[]操作符。#include <list>头尾的添加移除操作list.push_back(elem); //在容器尾部加入一个元素list.pop_back(); //删除容器中最后一个元素list.push_front(ele...

原创 c++中set用法

set是STL中一种标准关联容器。它底层使用平衡的搜索树——红黑树实现，插入删除操作时仅仅需要指针操作节点即可完成，不涉及到内存移动和拷贝，所以效率比较高。set，顾名思义是“集合”的意思，在set中元素都是唯一的，而且默认情况下会对元素自动进行升序排列，支持集合的交(set_intersection),差(set_difference) 并(set_union)，对称差(set_symmetri...

原创 STL7个常用容器的比较

详见STL7个常用容器的比较

原创 c++中map用法

Map是STL的一个关联容器，它提供一对一（其中第一个可以称为关键字，每个关键字只能在map中出现一次，第二个可能称为该关键字的值）的数据 处理能力，由于这个特性，它完成有可能在我们处理一对一数据的时候，在编程上提供快速通道。这里说下map内部数据的组织，map内部自建一颗红黑树(一 种非严格意义上的平衡二叉树)，这颗树具有对数据自动排序的功能，所以在map内部所有的数据都是有序的，后边我们会见...

原创 c++中queue用法

queuequeue模板类的定义在 #include <queue> 头文件中。与stack模板类很相似，queue模板类也需要两个模板参数，一个是元素类型，一个容器类型，元素类型是必要的，容器类型是可选的，默认为deque类型。定义queue对象的示例代码如下：queue q1;queue q2;queue的基本操作有：入队，如例：q.push(x); 将x...

原创 Linux系统（简介、文件管理、常用命令、账号管理、c开发工具）

文章目录1. Linux系统2.文件管理与常用命令2.1 文件和目录的层次结构2.2 文件和目录命名2.3 shell文件名通配符2.4 文件管理2.4.1 Linux常用文件类型2.4.2 Linux目录常见概念2.4.3 常见命令2.4.3.1 cat:显示文件内容2.4.3.2 ls:文件名列表2.4.3.3 more: 分屏显示文件内容2.4.3.4 less命令2.4.3.5 hea...

原创 c++中stack用法( 算法竞赛入门)

文章目录1. stack介绍2. stack对象构造方法(定义方法与其它容器相同，typename可以是任意基本数据类型或容器）3. stack容器内的常用函数4.stack的常见用途1. stack介绍Stack是一个容器类的改编，翻译为栈，是STL中实现的一个先进后出的容器.使用头文件 #include <stack>2. stack对象构造方法(定义方法与其它容器相同，t...

原创 c++中vector用法(涵盖算法题中知识点)

文章目录1. vector1.1 vector的说明1.2 特别注意1.3 vector实例2. vector 创建与初始化3.vector 常用内置函数4. vector 中元素的访问4.1 从vector中读取元素4.1.1 通过下标4.1.2 通过迭代器4.1.3 c++11新特性4.2 向vector中添加元素5. vector 常用算法1. vector1.1 vector的说明...

原创 蓝桥杯 算法训练 结点选择

问题描述有一棵 n 个节点的树，树上每个节点都有一个正整数权值。如果一个点被选择了，那么在树上和它相邻的点都不能被选择。求选出的点的权值和最大是多少？输入格式第一行包含一个整数 n 。接下来的一行包含 n 个正整数，第 i 个正整数代表点 i 的权值。接下来一共 n-1 行，每行描述树上的一条边。输出格式输出一个整数，代表选出的点的权值和的最大值。样例输入51 2 3 4 5...

原创 蓝桥杯 算法训练 K好数

问题描述如果一个自然数N的K进制表示中任意的相邻的两位都不是相邻的数字，那么我们就说这个数是K好数。求L位K进制数中K好数的数目。例如K = 4，L = 2的时候，所有K好数为11、13、20、22、30、31、33 共7个。由于这个数目很大，请你输出它对1000000007取模后的值。输入格式输入包含两个正整数，K和L。输出格式输出一个整数，表示答案对1000000007取模后的值。...

原创 c++控制格式输出

cout函数控制输出精度、位数、显示正负，对齐#include<iostream>#include<algorithm>#include<cmath>#include<vector>#include<iomanip>using namespace std;int main(){ float a = 3.1415;...

原创 蓝桥杯 算法训练 最大最小公倍数

问题描述已知一个正整数N，问从1~N中任选出三个数，他们的最小公倍数最大可以为多少。输入格式输入一个正整数N。输出格式输出一个整数，表示你找到的最小公倍数。样例输入9样例输出504数据规模与约定1 <= N <= 106。解题思路思路：若n 和 n-1和n-2 三个数 两两互质的话，那么结果就是这三个数的积。根据数论知识：任意大于1的两个相邻的自然数都是互质...

原创 【C/C++】最大公约数和最小公倍数（辗转相除、更相减损、stein）

一、最大公约数和最小公倍数数学性质：如果b是A和B的公约数，那么：b也是A+B的约数，即b是A,B,A+B的公约数。b也是A-B的约数，即b是A,B,A-B的公约数。更一般地，对于任意整数x、y，b也是Ax+By的约数，即b是A,B,Ax+By的公约数。根据上一条性质，r = A - kB = A mod B，所以A mod B也是A+B的约数，即b是A,B,A mod B的公约数用式子写...

原创 数学建模 时间序列分析

时间序列也称动态序列， 是指将某种现象的指标数值按照时间顺序排列而成的数值序列。时间序列分析大致可分成三大部分，分别是描述过去、分析规律和预测未来，时间序列分析中常用的三种模型：季节分解、指数平滑方法和ARIMA模型， 常用Spss软件对时间序列数据进行建模。1、时间序列数据对同一对象在不同时间连续观察所取得的数据。例如：（1）从出生到现在，你的体重的数据（每年生日称一次)。（2）中国历...

原创 数学建模 聚类模型

“物以类聚，人以群分”，所谓的聚类，就是将样本划分为 由类似的对象组成的多个类的过程。聚类后，我们可以更加 准确的在每个类中单独使用统计模型进行估计、分析或预测； 也可以探究不同类之间的相关性和主要差异。1、K-means聚类算法1、算法流程一、指定需要划分的簇[cù]的个数K值（类的个数）;二、随机地选择K个数据对象作为初始的聚类中心 （不一定要是我们的样本点）;三、计算其余的各个数据...

原创 数学建模 分类模型

1、水果分类的例子根据水果的属性，判断该水果的种类。mass: 水果重量 width: 水果的宽度 height: 水果的高度 color_score: 水果的颜色数值，范围0‐1 fruit_name：水果类别前19个样本是苹果 后19个样本是橙子 用这38个样本预测后四个样本对应的水果种类。应用逻辑回归的操作，先进行数据预处理，生成虚拟变量。2、逻辑回归对于因变量为分类变量的情况...

原创 数学建模 图论最短路径问题

1、图的基本概念图论中的图（Graph）是由若干给定的点及连接两点的线 所构成的图形，这种图形通常用来描述某些事物之间的某种 特定关系，用点代表事物，用连接两点的线表示相应两个事 物间具有这种关系。一个图可以用数学语言描述为G(V(G),E(G))。V(vertex)指 的是图的顶点集，E(edge)指的是图的边集。根据边是否有方向，可将图分为有向图（图一）和无向图（图二）。另外，有些图的边上...

原创 数学建模7 多元线性回归分析

1、回归思想相关性（不是因果性）Y：因变量，常常是我们需要研究的核心变量，分为连续值型，0-1型，定序变量，计数变量，生存变量X：自变量（解释变量）回归分析：研究x和y之间的相关性的分析，尝试去解释Y的形成机制，进而达到通过x去预测y的目的。回归分析的目的：1.变量选择，识别重要变量（逐步回归法）2. 正相关还是副相关？3. 不同变量的重要性（估计权重）2、回归分析分类3、线...

原创 数学建模6 典型相关分析

1、典型相关分析和皮尔逊相关系数/斯皮尔曼相关系数对比皮尔逊相关系数和斯皮尔曼相关系数针对的是两个变量的相关性，典型相关分析针对的是两组变量进行相关分析，每组变量还可以由多个变量构成。例如：下图求皮尔逊相关系数，求各变量之间的相关系数，即（身高，体重）得到一个相关系数，（身高，肺活量）得到一个相关系数，依次类推，得到互不相同的所有变量之间的相关系数。下图求典型相关性，求两组变量的相关性，即...

原创 数学建模 相关系数（皮尔逊相关系数和斯皮尔曼相关系数）

皮尔逊 person相关系数和斯皮尔曼spearman等级相关系数，它们可用来衡量两个变量之间的相关性的大小，根据数据满足的不同条件，我们要选择不同的相关系数进行计算和分析（建模论文中最容易用错的方法）。1、相关概念总体：所要考察对象的全部个体叫做总体。样本：从总体所抽取的一部分个体叫总体的一个样本。使用样本数据的样本均值和样本标准差来估计总体平均水平和偏离程度。2、皮尔逊Person相...