6 开心果汁

尚未进行身份认证

大家好!我叫赖德发,欢迎您来到我的博客。

等级
TA的排名 584

【python 机器学习】机器学习算法之CatBoost

主要内容:一、算法背景二、CatBoost简介三、CatBoost的优点四、CatBoost的安装与使用五、CatBoost回归实战六、CatBoost调参模块七、CatBoost 参数详解一、算法背景:2017年俄罗斯的搜索巨头 Yandex 开源 Catboost 框架。Catboost(Categorical Features+Gradient Boosting)采用的策略...

2020-01-08 14:19:49

【python 机器学习】正态分布检验以及异常值处理3σ原则

正态曲线呈钟型,两头低,中间高,左右对称因其曲线呈钟形,因此人们又经常称之为钟形曲线。使用K-S检验一个数列是否服从正态分布、两个数列是否服从相同的分布。下面介绍 Python 中常用的几种正态性检验方法:scipy.stats.kstest异常值是指样本中的个别值,其数值明显偏离其余的观测值。异常值也称离群点,异常值的分析也称为离群点的分析。在进行机器学习过程中,需要对数据集进行异...

2020-01-07 11:24:54

【深度学习 误差计算】10分钟了解下均方差和交叉熵损失函数

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等,其中均方差函数和交叉熵函数在深度学习中比较常见,均方差主要用于回归问题,交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。1、均方差MSE。预测值与真实值之差的平方和,再除以样本量。均方差广泛应用在回归问题中,在分类问题中也可以应用均方差误差。2、交叉熵再介绍交叉熵损失函数之前,我们首先来介绍信息学中熵(...

2020-01-02 21:01:20

【python 机器学习】机器学习算法之LightGBM

算法介绍:LightGBM 由微软2017年提出,主要用于解决 GDBT 在海量数据中遇到的问题,以便其可以更好更快地用于工业实践中。从 LightGBM 名字我们可以看出其是轻量级(Light)的梯度提升机(GBM),其相对 XGBoost 具有训练速度快、内存占用低的特点。实际上,XGBoost和lightGBM都属于GBDT的一种实现,旨在优化算法的性能,提升算法的训练速度,与XGBoo...

2019-12-31 16:58:38

【机器学习 非线性回归模型】10分钟了解下8种常见的非线性回归模型

线性回归模型请看上篇文章,本篇文章介绍的是非线性回归模型线性回归模型链接在目前的机器学习领域中,最常见的三种任务就是:回归分析、分类分析、聚类分析。那么什么是回归呢?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。回归分析在机器学习领域应用非常广泛,例如,商品的销量预测问题,交通流量预测问题。下面介绍几种常见的非线性回归模型。1、SVR众所周知,支持向...

2019-12-29 12:20:38

【matlab 圆周率计算】matlab 求圆周率的两种算法实现比较

%author:laidefa %data:2014-09-19 %丘德诺夫斯基公式求圆周率 function mpi=qdnfsj(m) i=m; s=13591409; for n=1:i A=(factorial(6*n)(13591409+54514013*n))/(factorial(3*n)*factorial(n)^3(-640320)^(3*n));

2017-06-13 09:35:02

【机器学习 线性模型】10分钟了解下6种常见的线性模型

在目前的机器学习领域中,最常见的三种任务就是:回归分析、分类分析、聚类分析。那么什么是回归呢?回归分析是一种预测性的建模技术,它研究的是因变量(目标)和自变量(预测器)之间的关系。回归分析在机器学习领域应用非常广泛,例如,商品的销量预测问题,交通流量预测问题。下面介绍几种常见的线性回归模型。常用的线性回归算法1、线性回归线性回归拟合一个带系数的线性模型,以最小化数据中的观测值与线性预测值之间...

2019-12-29 12:08:47

【python 数据可视化】美丽漂亮的画图神器--pyecharts

今天我们介绍下pyechats 的用法和一个简单的例子。安装:pip install pyecharts步骤1:导入相关包:# 导入包import pandas as pdfrom pyecharts.charts import *from pyecharts import options as optsfrom pyecharts.globals import *from ...

2019-12-28 14:21:47

【机器学习 模型调参】GridSearchCV模型调参利器

导入模块sklearn.model_selectionfrom sklearn.model_selection import GridSearchCVGridSearchCV 称为网格搜索交叉验证调参,它通过遍历传入的参数的所有排列组合,通过交叉验证的方式,返回所有参数组合下的评价指标得分,GridSearchCV 函数的参数详细解释如下:class sklearn.model_selec...

2019-12-26 12:35:34

【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块tf.config

本篇文章将会教大家如何 合理分配显卡资源,设置显存使用策略。主要使用tf.config模块进行设置。下面我们一起了解下具体用法和例子。一、指定当前程序使用的 GPU例如,在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码:import tensorflow as tfgpus = tf.config.experimental.list_physical_devices(d...

2019-12-21 12:00:04

【深度学习 项目实战】一个简单的LSTM实现时间序列预测

我们将通过一个简单实例来讲解LSTM建模过程以及模型的使用方法。实例描述如下,我们有一个整数序列[10, 20, 30, 40, 50, 60, 70],整数序列中共有7个数字,我们的目的或者说我们要解决的问题是,利用已有的这个整数序列来建立模型,用模型预测整数序列的下一个数字应该是多少?也就是整数序列的第8个数字应该是多少?一眼就能看出来,下一个数字应该是80,但是我们需要的是让模型预测出来这个...

2019-12-19 12:22:12

【深度学习 项目实战】Keras深度学习多变量时间序列预测的LSTM模型

本篇文章将介绍基于Keras深度学习的多变量时间序列预测的LSTM模型。项目名称:空气污染预测一、主要内容:如何将原始数据集转换为可用于时间序列预测的内容。如何准备数据并使LSTM适合多变量时间序列预测问题。如何进行预测并将结果重新缩放为原始单位。二、数据下载在本教程中,我们将使用空气质量数据集。该数据集报告了美国驻中国大使馆五年来每小时的天气和污染水平。数据包括日期时间,称为PM...

2019-12-19 10:47:09

【深度学习 走进tensorflow2.0】window10安装GPU 版本 TensorFlow 安装指南

版本信息:python 3.7.5 cuda 10.0cudnn 7.6.4window 10pip install tensorflow_gpu==2.0.0本机显卡:GeForce GTX 1650 显卡驱动已从官方下载安装成功。一、下面我们安装cuda10.0:下载地址:cuda 10.0 下载地址一直下一步就可以了。二、下面我们安装cudann 7.6.4cud...

2019-12-18 09:49:51

【深度学习 走进tensorflow2.0】tensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn imp

windows10 使用tensorflow_gpu==2.0.0 版本跑代码时报错误:错误描述:Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILEDtensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn implementation. [...

2019-12-18 09:34:03

【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块TFRecord

主要介绍TensorFlow 另一个数据处理的利器——TFRecord。一、什么是TFRecord ?TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后,TensorFlow 就可以高效地读取和处理这些数据集,从而帮助我们更高效地进行大规模的模型训练。TFRecord 可以理解为一系列序列化的 tf.train.Example 元素...

2019-12-17 12:34:20

【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块:tf.data 数据流加速

上一篇文章TensorFlow 2.0 常用模块tf.data介绍了基本的使用读取数据方法,下面我们介绍如何通过 prefetch 和 map 的并行化参数,让 tf.data 的性能得到明显提升。当训练模型时,我们希望充分利用计算资源,减少 CPU/GPU 的空载时间。然而有时,数据集的准备处理非常耗时,使得我们在每进行一次训练前都需要花费大量的时间准备待训练的数据,而此时 GPU 只能空载...

2019-12-17 09:28:23

【深度学习 走开tensorflow2.0】TensorFlow 2.0 常用模块tf.TensorArray

在部分网络结构,尤其是涉及到时间序列的结构中,我们可能需要将一系列张量以数组的方式依次存放起来,以供进一步处理。当然,在 Eager Execution 下,你可以直接使用一个 Python 列表(List)存放数组。不过,如果你需要基于计算图的特性(例如使用 @tf.function 加速模型运行或者使用 SavedModel 导出模型),就无法使用这种方式了。因此,TensorFlow 提供了...

2019-12-17 09:16:07

【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块tf.data

背景:很多时候,我们希望使用自己的数据集来训练模型。然而,面对一堆格式不一的原始数据文件,将其预处理并读入程序的过程往往十分繁琐,甚至比模型的设计还要耗费精力。为此,TensorFlow 提供了 tf.data 这一模块,包括了一套灵活的数据集构建 API,能够帮助我们快速、高效地构建数据输入的流水线,尤其适用于数据量巨大的场景。1、小数据集对象的建立:tf.data 的核心是 tf.dat...

2019-12-16 09:17:14

【深度学习 走进tensorflow2.0】TensorFlow binary was not compiled to use: AVX2

window10 本地安装tensorflow cpu 版本pip install tensorflow==2.0.0 安装完成之后运行时总会显示如下警告信息:Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2如果你想忽略警告信息:import osos...

2019-12-15 20:43:08

【深度学习 走进tensorflow2.0】TensorFlow 2.0 常用模块@tf.function

1、@tf.function 是干什么用的?虽然默认的 Eager Execution 为我们带来了灵活及易调试的特性,但在特定的场合(例如追求高性能或部署模型)时,我们依然希望使用图模式,将模型转换为 TensorFlow 图模型。此时,TensorFlow 2.0 为我们提供了 tf.function 模块,结合 AutoGraph 机制,使得我们仅需加入一个简单的 @tf.function...

2019-12-15 15:07:28

查看更多

勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。