- 博客(15)
- 收藏
- 关注
RSS订阅原创 多项式回归Polynomial-Regression（8.1）
多项式回归完全使用线性回归的思路。关键在于我们为原来的数据样本添加新的特征，而得到这些新的特征的方式是原有特征的多项式组合，这样就可以解决一些非线性问题。多项式阶数越高模型越复杂所以训练过程 可以先添加特征，然后再调用线性回归import numpy as np import matplotlib.pyplot as plt#生成数据x = np.random.uniform(...
2019-10-16 22:05:35
252
翻译 梯度下降法（6）
梯度下降法Gradient Descent梯度下降法本身不是一个机器学习的算法，不能解决回归/分类问题 是一种基于搜索的最优化方法 作用：最小化一个损失函数 梯度上升法：最大化一个效用函数超参数：初始起点 学习率 线性回归法的损失函数具有唯一最优解，不需要多次运行随机化初始点 在第6行if判断语句中，当学习率太大，会使得J(theta)很...
2019-10-16 21:33:32
174
翻译 线性回归算法（5）
线性回归算法解决回归问题 思想简单，容易实现 许多强大的非线性模型的基础 结果具有很好的可解释性 蕴含机器学习中很多重要思想 1简单线性回归分类问题的y周 为特征，颜色为类别，回归问题因为要预测连续的结果，所以需要一个轴来表示预测结果，y轴表示预测结果 2最小二乘法 import numpy as npclass Si...
2019-10-16 21:25:04
155
翻译 算法面试--数组问题最常见
如何写出正确的程序？以二分查找法为例。二分查找法的思想在1946年提出，但第一个没有bug的二分查找法在1962年才出现。问题多出在边界练习 27 26 80练习 88 215上面复杂度为nlogn如何做到复杂度为O(n)那？（使用对撞指针）对撞指针练习 125...
2019-07-23 16:10:38
209
翻译 算法面试---时间复杂度
假如：对于算法A来说对整个数据n扫描一遍对每个数据要执行10000条指令 对于算法B需要双重循环两次扫描B，但是在具体的双重循环中进行处理的时候只要执行10条指令A的常数项远远大于B的常数项时间复杂度衡量的是量级上的差距。当n突破了一个点的时候时间复杂度低的就一定会比时间复杂度高的算法快而且n越大这个优势越明显（当n=10^6时如果A需要1天则B需要运行...
2019-07-23 10:00:33
235
翻译 运筹学---动态规划
动态规划：把复杂问题分为简单的小问题，当这些小问题前后有联系的时候，为动态规划。（用前面的解决的小问题结合当前的去求最优；如果之前求解的不需要用上，只考虑眼前/当前的最优就是贪婪算法/或者启发式算法）（当用编程实现动态规划方程时，就会用到递归方程）分治法：把复杂问题分为简单的小问题，当这些小问题互相没有关系的时候，为分治法（比如二分查找，前面一段找到了最小值或者后面一段找到了最小值，程序就结束...
2019-07-20 17:25:50
1977
翻译 运筹学--对偶问题及对偶单纯形法
假设有某个公司想把该工厂的资源收买过来，它至少应付出多大的代价才能使该工厂愿意放弃生产活动，让出自己的资源公司----收购----目标：代价最小...
2019-07-20 14:35:57
3142
1
翻译 运筹学--指派问题
例2：每一列最小都是0，不需要列再变化，但是只圈出了4个0，没有找出不同行不同列的5个0.需要进一步变换，固定选定的0，再通过每行每列减固定的数 ...
2019-07-20 10:31:43
4916
1
翻译 运筹学--运输问题及解法
运输问题是特殊的线性规划问题，因此有他特殊的求解方法。如果使用线性规划去求解，因为运输问题的变量比较多将会出现大量的退化现象。所以用单纯型法去求解计算的时间会比较多一点。当然运输问题作为一个特殊的线性规划问题，人们研究出了求解方法。利用单纯型的思想用到运输问题里面，就得到了运输问题的表上作业法。如果是产销不平衡问题，比如产量多，就需要增加一个虚拟的销售地作为仓库；如果销量多就需要增加一个...
2019-07-20 09:56:32
23891
3
翻译 运筹学--线性目标规划
把数拿到右边 上面方程有四个约束条件三个约束目标，属于多目标决策问题对于多目标决策问题，其中的一个做法就是依次求解每个目标，那么谁先谁后就要引进一个优先因子p1,p2,p3（不一定是数，可以是任何符号表示优先顺序）分别解决第123个目标这样就将整个问题化成了偏差（d）最小化的问题二、求解方法：序贯算法三、lingo求解方法分别让p1,p2,p3=...
2019-07-19 16:00:13
2053
1
原创 运筹学概论
一、运筹学的主要内容1线性最优化2非线性最优化3离散最优化4其它最优化二、运筹学与算法的关系： 运筹学<---------------------->算法1、线性规划 迭代改进法2、整数规划 分支定界法/回溯法3、图论 ...
2019-07-19 14:57:03
1140
原创 支持向量机 SVM Support Vector Machine （11.1）（线性（hard/soft））
SVM既可以解决分类问题也可以解决回归问题1线性SVM公式推导 将W_d计为W； b_d计为b，得到下面的方程。其中新的W和b和一开始的W和b不一样了，差一个系数||W||d不要忘记我们的目标是最大化d，而d代表我们的支撑向量x到决策边界的距离。对于任意支持向量x有： =1任意支持向量到决策边界的距离d= = 所以max d = ...
2019-04-04 22:21:07
43
原创 逻辑回归Logistic Regression（9.2）（解决非线性问题）
逻辑回归如何解决下面非线性类型的分类问题x1/x2平方项前面加上系数就是椭圆，加上x1/x2项圆心的位置就可以在坐标任意位置。加上x的立方或更高次项后，就会得到更复杂的任意边界在实际使用多项式逻辑回归中 degree C 正则化(penalty='L1','L2') 都是超参数需要用网格搜索来确定，最适合我们数据的参数在实际使用逻辑回归中 C 正则化(penalty='L1',...
2019-04-03 10:30:44
41
原创 逻辑回归 Logistic Regression (9.1)（解决二分类）
下图为2017 kaggle 比赛统计的各算法使用频度，可见LR虽然本身不难但是是非常有用的。很多时候机器学习算法并不是越复杂越好，要根据使用场景选择合适算法。（天下没有免费午餐定理）而且深度学习使用较少，这是因为使用深度学习对数据要求很高，需要有非常大的计算量，与此同时对计算能力的要求也非常高。在有些时候手中的数据不是很大的时候这些所谓的简单的方法使用好了也是非常的有效的。1.逻辑回归：...
2019-04-03 00:17:15
69
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人