fjl_csdn-CSDN博客

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(九)

上几节介绍了多种模型（线性模型、支持向量机、集成学习），这一节介绍一类新的预处理方法。九、降维（Dimensionality Reduction）在现实生活中很多机器学习问题有上千维，甚至上万维特征，这不仅影响了训练速度，通常还很难找到比较好的解。这样的问题成为维数灾难（curse of dimensionality）幸运的是，理论上降低维度是可行的。比如MNIST数据集大部分的

2018-01-24 11:08:05 3456 5

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(八)

上一节讲了决策树算法，虽然存在一些局限性，但是正是这种局限性造就了集成学习中的随机森林算法。八、集成学习与随机森林假设要解决一个复杂的问题，让众多学生去回答，然后汇总他们的答案。在许多情况下，会发现这个汇总的答案比一个老师的答案要好。同样，如果汇总了一组预测变量（例如分类器或回归因子）的预测结果，则通常会得到比最佳个体预测变量得到更好的预测结果。这种技术被称为集成学习（Ensembl

2018-01-11 21:13:49 3089

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(七)

上一节讲了SVM，这一节将另外一个强大的算法：决策树，它能够处理回归和分类问题，甚至是多输出问题，能够拟合复杂的数据（容易过拟合），而且它是集成算法：随机森林（Random forest）的基础，下面开始介绍决策树Scikit-learn的用法，以及参数的选择及算法的局限性。七、决策树(Decision Trees) 1、训练决策树并其可视化下面是决策树分类（Decisio

2018-01-11 16:21:45 4062 3

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(六)

上一节讲述了线性模型，Logistic回归模型，Softmax模型，他们这种通过定义损失函数，然后计算损失函数的梯度，并求平均值来更新参数。下面介绍一种新的模型。六、支持向量机（Support Vector Machines）支持向量机（SVM）是一种非常强大的机器学习模型，能够进行线性、非线性分类、回归问题，还能检测异常值。SVM特别适用于复杂但小型或中型的数据集的分类。 1、线性S

2018-01-10 15:50:16 5267

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(四)

上一节三节讲述了真实数据（csv表格数据）的一个实战操作的总流程，然而这个处理是一个回归模型，即目标是一些连续的值(median_house_value)。当目标是一些有限的离散值得时候（比如数字0-9），就变成了分类问题，下面开始讲述分类问题。四、分类问题下面将使用新的具有代表性的数据集MNIST（手写体数字数据集），数据集总共有70000个小图片，每个小图片为一个手写的数字，（数据中0代表白

2018-01-10 11:22:10 8357 2

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(三)

上一节讲述了真实数据（csv表格数据）训练集的查看与预处理以及Pineline的基本架构。今天接着往下进行实战操作，会用到之前的数据和代码，如果有问题请查看上一节。三、开始实战 7、选择及训练模型首先尝试训练一个线性回归模型（LinearRegression）from sklearn.linear_model import LinearRegressionlin...

2018-01-10 08:58:38 9696 10

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(二)

上一节讲述了真实数据（csv表格数据）的查看以及如何正确的分开训练测试集。今天接着往下进行实战操作，会用到之前的数据和代码，如果有问题请查看上一节。三、开始实战（处理CSV表格数据）５、查看训练集的特征图像信息以及特征之间的相关性上一节粗略地查看了数据的统计信息，接下来需要从训练样本中得到更多的信息，从而对数据进行一些处理。查看训练集的特征图像信息为了防止误操作在查看

2018-01-09 22:13:07 28498 13

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(五)

上几节讲述了真实数据集在回归问题以及分类问题上的总流程，但是对于模型的选择及参数的选择仍然一知半解，因此本节开始讲述关于模型的一些知识，本节会略过一些比较基础的知识，将一些较为深入的知识。如果在哪个方面没有看懂，可以在网上查询，网上基础资料也比较多，也可以在下方评论。五、训练模型1、线性模型线性模型形如：y=θ0+θ1x1+θ2x2+⋯θnxny = {\theta _0} + {\theta _1

2018-01-08 17:53:23 3913 1

原创机器学习实战(用Scikit-learn和TensorFlow进行机器学习)(一)

一、简介 Scikit-learn集成了很多机器学习需要使用的函数，学习Scikit-learn能简洁、快速写出机器学习程序。本文章主要是对真实数据进行实战，手把手带你走一遍使用机器学习对真实数据进行处理的全过程。并且通过代码更加深入的了解机器学习模型，学习如何处理数据，如何选择模型，如何选择和调整模型参数。二、配置必要的环境1、推荐安装Anaconda（集成Python和很多有用的P

2017-12-31 14:55:43 13566 10

fjl_CSDN的博客