weepon-CSDN博客

原创交叉熵、熵和相对熵的通俗易懂解释

交叉熵（Cross-Entropy）交叉熵是一个在机器学习领域经常提到的概念。它经常用作代价(损失)函数，而均方误差或平均绝对误差在使用梯度优化的方法时往往效果不佳，一些饱和的神经网络输出单元结合这些代价函数时会产生非常小的梯度，这也是交叉熵代价函数比均方误差或平均绝对误差更受欢迎的原因。在学习交叉熵之前，我们先来了解下其他的基础概念：1.什么是自信息(self-information)？...

2018-07-06 11:28:32 7559 1

原创（干货）结合Scikit-learn介绍几种常用的特征选择方法

系统版本：window 7 （64bit） python版本：python 3.5 我的GitHub：https://github.com/weepon 写在前面：前段时间正好用到特征选择的知识，有幸读到这篇文章，本文也主要参考这篇文章写成，但与原文章有不同之处：第一、纠正了原始文章中的代码错误，使其能用python3.5正常运行；第二、增加了一些新的特征选择内容，使其更加完善。本文中

2018-01-31 10:46:04 9473 7

原创对异常检测技术的简要概述(干货)

转载请注明作者和出处：http://blog.csdn.net/u013829973 我的GitHub：https://github.com/weepon 欢迎评论，顶！什么是离群值如何处理它们离群值的类型数据集中出现异常值的最常见原因一些最流行的离群检测方法是Z-ScoreDbscanIsolation Forests总结ConclusionsZ-Score 优点Z-Scor

2017-09-17 22:03:49 16724

原创分类中常见的类别不平衡问题解决方法

常见的类别不平衡问题解决方法通常的分类学习方法中都有一个共同的假设，即不同类别的训练样例数目相同。如果不同类别的训练样例数目稍有差别，通常对分类影响不大，但是若差别很大，则会对学习造成影响，测试结果非常差。例如二分类问题中有998个反例，正例有2个，那么学习方法只需返回一个永远将新样本预测为反例的分类器，就能达到99.8%的精度；然而这样的分类器没有价值，我们必须要解决这个问题。

2017-08-29 11:01:32 33419 6

原创集成学习—boosting和bagging原理及区别

集成学习1.什么是Boosting2.什么是Bagging3.Bagging和Boosting的区别1）偏差—方差2）样本选择：3）样例权重：4）基学习器权重：5）串、并行计算：4 参考喜欢请点赞！集成学习集成学习通过构建并结合多个学习器来完成学习任务，有时也被称为多分类器系统（multi-抽拉式私服而 system）、基于委员会的学习（commit...

2018-07-11 11:31:45 4101 1

原创深度学习中常见的激活函数总结

深度学习中常见的激活函数总结本文这里介绍了深度学习中常见的激活函数，因为深度学习在训练时利用反向传播的思想，需要计算激活函数的导数。针对以下四种激活，介绍其特点：1. sigmoid activation function2. Tanh activation function 3. Rectified Linear Unit (ReLU)4. Leaky ...

2018-07-07 23:20:17 2042

原创 [高频面试题]64匹马，8个赛道，找出跑得最快的4匹马

[高频面试题]64匹马，8个赛道，找出跑得最快的4匹马

2018-06-23 23:04:20 66601 83

转载循环神经网络( Recurrent Neural Networks,RNN)介绍

循环神经网络(RNN, Recurrent Neural Networks)介绍这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to...

2018-03-01 14:59:58 2037

转载梯度下降优化算法综述

梯度下降优化算法综述该文翻译自An overview of gradient descent optimization algorithms。总所周知，梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最常用的优化方法。几乎当前每一个先进的(state...

2018-03-01 11:46:35 1101

原创 Python Jupyter Notebook 快捷键

Python Jupyter Notebook 快捷键写在前面：最近用Jupyter Notebook写python代码，实在是挺好用的，但是很多时候不知道快捷键怎么用，每次用到都要查，掌握快捷键可以节省很多时间。所以本文结合网上的资料整理了神器Jupyter Notebook的快捷键功能表。Jupyter在顶部菜单提供了一个快捷键列表：Help > Keyboard Shortcu

2018-01-21 10:52:47 3607

原创解决MATLAB2016b不能与M文件关联的问题

MATLAB2016b不能与M文件关联最近安装MATLAB 2016b之后，发现不能自动关联.m格式的文件。每次双击.文件都不能找到MATLAB打开，只能先打开MATLAB软件，然后再找到m文件打开。太麻烦。。。参考网上的资料解决了这个问题，让我们看一下步骤吧系统环境：window7 64bitMATLAB版本：MATLAB2016b解决方法：1、首先下载压缩包下载链接...

2018-01-20 23:09:35 10954 14

原创 python3.5《机器学习实战》学习笔记（五）：决策树算法实战之预测隐形眼镜类型

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit）文章出现的所有代码在我的GitHub：https://github.com/weepon python版本：python 3.5一、使用决策树预测隐形眼镜类型在上一篇文章中，我们学习了决策树算法，接下来，让我们通过一个例子讲解决策树如何预测患者需要佩戴的隐形眼镜类型

2017-11-11 21:59:41 8554 3

原创 python3.5《机器学习实战》学习笔记（四）：决策树算法

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit）我的GitHub：https://github.com/weepon python版本：python 3.5

2017-11-06 15:52:42 2417 1

原创 XGBoost参数完全指南

转载请注明作者和出处：http://blog.csdn.net/u013829973 我的GitHub：https://github.com/weepon 欢迎评论，顶！在上一篇文章 xgboost如何在window上安装之后，接下来要学习如何使用它。1. XGBoost的优势1.1 正则化标准GBM的实现没有像XGBoost这样的正则化步骤。正则化可以减少过拟合。

2017-11-03 16:13:56 2501

原创如何在windows系统Python上安装xgboost ?

转载请注明作者和出处： http://blog.csdn.net/u013829973 系统版本：window 7 （64bit）我的GitHub：https://github.com/weepon在网上各种帖子上看到安装神器xgboost的方法，踩了半天的坑终于把xgboost安装好了，特写此文记录，也为后人做个参考，不废话了，下面开始安装所需环境：系统：windows 7 64 bit

2017-09-26 22:45:40 1142

原创 python3.5《机器学习实战》学习笔记（三）：k近邻算法scikit-learn实战手写体识别

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit）我的GitHub：https://github.com/weepon python版本：python 3.5 IDE：Spyder （一个比较方便的办法是安装anaconda，那么Spyder和jupyter以及python几个常用的包都有了，甚至可以方便的安装

2017-09-23 11:22:06 2071

原创主成分分析（PCA）原理与故障诊断（SPE、T^2以及结合二者的综合指标）-MATLAB实现

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit） MATLAB版本：MATLAB2016b1.PCA原理 2.求解方法 3.pca故障诊断 4.MATLAB实现1.构造数据其中num_sample=100,a=10∗randn(num_sample,1)num\_sample = 100,a = 1

2017-09-14 16:11:10 34446 34

原创 python3.5《机器学习实战》学习笔记（二）：k近邻算法实战

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit） python版本：python 3.5 IDE：Spyder （一个比较方便的办法是安装anaconda，那么Spyder和jupyter以及python几个常用的包都有了，甚至可以方便的安装TensorFlow等，安装方法链接）实战一：k近邻算法改进约会网站的配

2017-09-12 21:58:31 1725 3

原创 python3.5《机器学习实战》学习笔记（一）：k近邻算法

转载请注明作者和出处：http://blog.csdn.net/u013829973 系统版本：window 7 （64bit） python版本：python 3.5 IDE：Spyder （一个比较方便的办法是安装anaconda，那么Spyder和jupyter以及python几个常用的包都有了，甚至可以方便的安装TensorFlow等，安装方法链接）k近邻算法1.1 k近邻算法概述

2017-09-12 11:10:41 6376 3

原创经典递归解决汉诺塔问题 python实现

什么是汉诺塔？汉诺塔（又称河内塔）问题是源于印度一个古老传说的益智玩具。大梵天创造世界的时候做了三根金刚石柱子，在一根柱子上从下往上按照大小顺序摞着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新摆放在另一根柱子上。并且规定，在小圆盘上不能放大圆盘，在三根柱子之间一次只能移动一个圆盘。转化为数学问题如下图所示，从左到右有A、B、C三根柱子，其中A柱子上面有从小叠到大的n个圆盘，

2017-09-06 09:55:18 6139 1

原创 window7（64bit）环境下安装基于TensorFlow后端的Keras 教程

window7（64bit）环境下安装基于TensorFlow后端的Keras 教程（CPU版）本教程是基于windows7 64位系统使用anaconda的方法安装TensorFlow，并且安装keras的教程教程主要面向：初学者和Windows重度使用者。背景介绍：Keras将会成为第一个被添加到TensorFlow核心中的高级别框架，这会让Keras变成Tensorflow的默认API

2017-04-23 22:48:34 8633

原创极限学习机（ELM）算法及MATLAB程序实现

极限学习机单隐藏层反馈神经网络具有两个比较突出的能力：（1）可以直接从训练样本中拟合出复杂的映射函数f :x ^ t （2 ）可以为大量难以用传统分类参数技术处理的自然或者人工现象提供模型。但是单隐藏层反馈神经网络缺少比较快速的学习方法。误差反向传播算法每次迭代需要更新n x(L+ 1) +L x (m+ 1 )个值，所花费的时间远远低于所

2016-11-06 20:48:19 47539 68

weepon的博客