- 博客(45)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Attention-Based SeriesNet论文读后感
前提—SeriesNetSeriesNet是包含LSTM和DC-CNN两个子网络的混合神经网络，能有效解决非线性、非稳态、以及未知依赖的时间序列的预测问题。但是，其有以下缺点：每一层需要训练的参数量非常大，导致计算效率低没有考虑学习时间特征的attention机制CNN和RNN的conditioning方法并不具体由此，提出了Attention-Based Seriesnet模型。Attention-Based SeriesNetAttention-Based SeriesNet 在Ser
2020-08-06 20:10:04
506
原创 seriesnet论文读后感
1. 时间序列时间序列的特点：高纬度具有时间依赖性时间序列根据时间点的抽样变量数分为：单变量时间序列多变量时间序列2. 经典时间序列预测2.1 经典的时间序列预测模型基于autoregression（AR）自回归模型1). autoregression(AR) 模型 特点：是一个随机过程 ；输出变量与前值和随机条件呈线性关系2). moving average(MA) 和 autoregressive moving average(ARMA) 缺点：不适用于non-st
2020-08-05 11:42:31
489
原创 循环打印数字文件名
循环打印以顺序数字为标识，且格式为“0**”的文件名。for s in range(10):... a = f'train{id+s:03}.tif' ... print(a)... train004.tiftrain005.tiftrain006.tiftrain007.tiftrain008.tiftrain009.tiftrain010.tiftrain011.tiftrain012.tiftrain013.tif...
2020-08-01 17:08:01
249
原创 梯度消失和梯度爆炸
1. 前向传播和反向传播在讲解梯度消失和梯度爆炸之前，我们需要先了解什么是前向传播和反向传播。前向传播： 输入层数据开始从前向后，数据逐步传递至输出层。反向传播： 损失函数从后向前，梯度逐步传递至第一层。在讲解前向传播和反向传播计算过程之前，我们先介绍一下计算图的概念，通过计算图可以很清楚的了解后向传播的计算过程，以3层网络为例。蓝色圆圈表示运算操作，分别为乘法，激活函数，乘法，损失函数；白色框框表示传播的数值；蓝色框框表示权重；前向传播不同多说，不断的乘以权重在通过激活函数即可；反向传播的
2020-07-24 16:49:50
1132
原创 信息熵、相对熵、交叉熵总结
1、什么是信息熵信息熵是由热力学的中的熵引出的概念，在热力学中，熵通常表示事物的混沌程度，事物越混沌，其熵越大。相应的信息熵表示的是随机变量的不确定性，某个事件发生的概率越小，其信息熵越大。具体公式为：H(P)=−∑P(X)logP(X)H(P) = -\sum P(X) logP(X)H(P)=−∑P(X)logP(X)2. 什么是相对熵相对熵也称为KL散度，描述的是随机变量的真实分布和假设分布的拟合程度，拟合程度越高，相对熵越小。若真实分布与假设分布完全一致，则相对熵为0。相对熵通常用于统计
2020-07-21 20:15:18
561
原创 静态方法装饰器
怎么理解静态方法装饰器？静态方法装饰器可是理解为定义在类中的普通函数，可以用self.<name>方式调用在静态方法内部不可以实例数据和实例对象，即不可以调用self. 相关的内容使用静态方法的原因之一是程序设计的需要（简介代码，封装功能等）...
2020-07-19 11:22:59
491
原创 统计机器学习---主成分分析（PCA）
主成分分析的基本了解主成分分析方法，是一种使用最广泛的数据降维算法，PCA的主要思想是将高维的特征映射到k维上。这k维就是主成分，并能保留原始变量的大部分信息，这里的信息是指原油变量的方差。如何得到包含最大差异性的主成分方向？通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大的K个特征所对应的特征向量组成的矩阵。那么就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。得到协方差矩阵的特征值向量有两种方法：特征值分解协方差矩阵、奇异值分解协方差矩阵。所有PCA算法有
2020-07-06 10:11:50
3434
原创 奇异值分解---SVD（待补充）
什么是奇异值分解？奇异值分解是指将一个非零的 m * n 实矩阵A， 表示为以下三个实矩阵乘积形式的运算，即进行矩阵的因子分解。A=UΣVT A = U\Sigma V^T A=UΣVTUUU 是 m 阶正交矩阵，V 是 n 阶正交矩阵，Σ=diag(σ1,σ2,...,σp)\Sigma = diag(\sigma_1,\sigma_2,..., \sigma_p)Σ=diag(σ1,σ2,...,σp) 是由降序排列的非负的对角线元素组成的 m * n 矩阵对角矩阵。σ\sigmaσ 称
2020-07-06 10:11:01
1895
原创 pytorch框架学习---损失函数
损失函数是什么？损失函数衡量模型输出与真实标签的差异损失函数、代价函数、目标函数的关系？损失函数：计算目标是单个样本代价函数：计算目标是整个样本，计算每个样本的损失函数求和再取均值。目标函数：在代价函数的基础上加上正则化项，目的是为了防止过拟合，造成代价函数小但泛化能力差。下面介绍Pytorch中的十四种损失函数损失函数功能注意事项主要参数使用场景计算公式nn.CrossEntropyLossnn.LogSoftMax()与nn.NLLLoss()结合，进行交叉熵
2020-06-07 09:07:14
330
原创 统计学习方法---聚类分析
聚类分类方法是属于有监督学习，聚类是属于无监督学习。K均值聚类是最基础和最常用的聚类算法。它的基本思想是，通过迭代方法寻找K个簇的一种划分方案。通过最小化损失函数来获取最有的划分方案，损失函数可以定义为各个样本距离所属簇中心点的误差平方和。使用的距离通常为欧式距离。聚类的核心概念： 相似度或距离聚类方法：a. 欧式距离dij=(∑k=1m∣xki−xkj∣2)12d_{ij} = (\sum_{k=1}^m|x_{ki} - x_{kj}|^2)^{\frac 1 2}dij=(k=1∑m
2020-05-16 15:53:03
4819
原创 统计学习方法---条件随机场
条件随机场的定义概率无向图模型的联合概率分布P(Y) 可以表示如下：P(Y)=1Z∏CΨC(YC)Z=∑Y∏CΨC(YC)P(Y) = \frac 1 {Z} \prod_C \Psi_C(Y_C) \\Z = \sum_Y \prod_C\Psi_C(Y_C)P(Y)=Z1C∏ΨC(YC)Z=Y∑C∏ΨC(YC)因为条件随机场为无向图模型，且势函数通常定义为指数函数，所以其联合概率分布式：P(Y)=1Z∏CΨC(YC)=1Z∏i=1Kexp[−Ei(YCi)]=1Zexp∑i
2020-05-10 09:12:58
232
原创 统计学习方法---隐马尔可夫模型（HMM）
基本了解什么是马尔可夫性：通俗的说，马尔可夫性就是在当前确定的条件下，未来至于当前有关而与过去无关。我们可以从两个简单的模型来了解隐马尔可夫模型：Navie bayes ：朴素贝叶斯模型是用来判断二分类的问题，在该模型中，我们假设观测变量 xix_ixi是独立同分布的。隐马尔可夫模型就是在朴素贝叶斯模型的基础上将判断二分类 y(1∣0)y(1|0)y(1∣0) 变为标注问题，即 y...
2020-05-06 17:17:27
625
原创 理解什么是机器学习中的端对端
简单讲解一下本人对端对端模型的理解， 参考知乎回答内容。首先我们先来介绍一下什么是非端对端模型。非端对端模型就是将一个任务分为多个步骤或模型解决的模型。典型的一个非端对端模型为NLP 任务拆分为分词、词性标注、句法分析、语义分析等多个独立步骤，我们可以知道每一个小模型的参数，输出，以及可以分析每一个模型对整体模型的贡献。端对端模型： 将多步骤/模块的任务用一个步骤/模型解决的模型。可以理解...
2020-04-29 19:52:29
6150
1
原创 统计学习方法---EM
EM算法详解基本了解什么是EM算法？EM的全称是Expectation Maximization 即期望最大化。它是用来求解含有隐变量的概率模型参数的参数估计方法。因为若概率模型含有隐变量，则无法使用极大似然估计法或贝叶斯估计法来估计参数，所以提出了通过迭代不断求解似然函数的下界逼近求解对数似然函数极大化的算法即EM算法。为什么不能用极大似然估计法或贝叶斯估计法来估计参数？对数似然函数的...
2020-04-27 12:04:22
397
原创 统计学习方法---AdaBoost
前言什么是集成学习？集成学习是一种机器学习方法，在集成学习中，我们训练多个弱学习器解决同样的问题，并将它们结合起来形成强学习器，获得更好的结果。这里有一个最重要的假设为：当弱学习器被正确组合时，我们可以得到更精确或更鲁棒（即容错能力更强）的模型。什么是弱学习和强学习？概率近似正确（PAC）将学习算法分为弱学习和强学习。PAC的主要思想是用一个训练误差和一个精度ϵ\epsilonϵ来控制泛化...
2020-04-20 19:27:15
369
原创 非均衡分类问题
机器学习模型性能评估什么是非均衡分类问题？非均衡问题是指在分类器训练时，正例数目和反例数目不相等（相差很大），或者错分正反例导致的代价不同时存在的问题。而大多数情况下，不同类别的分类代价并不相等，而诸如信用卡欺诈等场景中，正反例的样本的数目相差巨大，这就需要一些新的分类器性能度量方法和技术，来处理上述均衡问题。分类性能度量指标：错误率、正确率、召回率及ROC曲线错误率是衡量分类器任务的成...
2020-04-20 19:12:34
1295
原创 机器学习实战---AdaBoost
建立单层决策树的伪代码如下：将最小错误率minError设为+∞对数据集中的每一个特征（第一层循环）：\qquad 对每个步长（第二层循环）：\qquad \qquad 对每个不等号（第三层循环）：\qquad \qquad \qquad 建立一棵单层决策树并利用加权数据集对它进行测试\qquad \qquad \qquad 如果错误率低于minError，则将当前单层决策树设为最佳单...
2020-04-20 14:26:32
156
原创 统计学习方法笔记---支持向量机
基本概念希尔伯特空间 H\mathcal{H}H：完备的，可能是无限维的，被赋予內积的线性空间完备的：对极限是封闭的內积：具有以下性质{对称性：<f,g> = <g,f>正定性：<f,f> ≥0 ,′=′⇔f=0线性:<r1f1+r2f2,g> = r1<f1,g>+...
2020-04-18 12:25:08
245
原创 机器学习方法---SVM
代码实现简单版本创建一个alpha向量并将其初始化为0向量当迭代次数小于最大迭代次数时（外循环）\qquad对数据集中的每个数据向量（内循环）：\qquad如果该数据向量可以被优化：\qquad\qquad随机选择另外一个数据向量\qquad\qquad同时优化这两个向量\qquad\qquad如果两个向量都不能被优化，退出内循环如果所有向量都没被优化，增加迭代数目，继续下一次循...
2020-04-18 12:10:03
285
原创 统计学习方法笔记---SMO算法
前言首先我们需要知道的是SMO算法适用于求解图二次规划问题的最优解，在S详细讲解SMO之前，我们需要了解坐标上升法，该算法每一轮迭代得到多元函数中的一个参数，通过多次迭代直到收敛得到所有参数解。如Θ=[θ1,θ2,θ3]\Theta = [\theta_1, \theta_2, \theta_3]Θ=[θ1,θ2,θ3]，每一轮只计算θi\theta_iθi，经过三次迭代得到Θ\Thet...
2020-04-02 00:02:24
436
原创 机器学习实战---朴素贝叶斯
from numpy import *"""func: 加载数据param: Nonereturn: postingList: 进行词条切分后的文档集合 classVec: 类别标签的集合"""def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help...
2020-03-28 17:53:45
151
原创 统计学习方法笔记---朴素贝叶斯
本章概要朴素贝叶斯是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)，具体来说，利用训练数据P(X∣Y)P(X|Y)P(X∣Y)和P(Y)P(Y)P(Y)的估计，得到联合概率分布：P(X,Y)=P(Y)P(X∣Y)P(X,Y) = P(Y)P(X|Y)P(X,Y)=P(Y)P(X∣Y)...
2020-03-28 17:46:45
199
原创 机器学习实战---逻辑斯蒂回归
'''Created on Oct 27, 2010Logistic Regression Working Module@author: Peter'''from numpy import *def loadDataSet(): dataMat = []; labelMat = [] fr = open('testSet.txt') for line in f...
2020-03-28 15:46:31
161
原创 统计学习方法笔记---逻辑斯蒂回归
基本概念几率（odds）：一个事件发生的概率与时间不发生的概率的比值。p1−p\frac p {1-p}1−pp对数几率（log odds）logp1−plog \frac p {1-p}log1−pp特征函数：P~(x)\tilde{P}(x)P~(x)本章概要逻辑斯蒂回归模型是由以下条件概率分布表示的分类模型。逻辑斯蒂回归模型可以用于二分类问题或多分类问题。...
2020-03-28 15:40:54
448
原创 机器学习实战---决策树自编程实现（python）
ID3 决策树实现'''Decision Tree Source Code for Machine Learning in Action Ch. 3'''from math import logimport operatordef createDataSet(): dataSet = [[1, 1, 'yes'], [1, 1, 'yes']...
2020-03-23 01:24:09
380
原创 统计学习方法笔记---决策树
1. 基本概念熵 H(D)H(D)H(D)：指混乱程度，比如若实例A的类别都是一样的，则混乱程度则为0，越混乱，熵越大经验熵 H(D)H(D)H(D)：熵是有数据统计得到的情况下，称为经验熵条件经验熵 H(D∣Ck)H(D | C_k)H(D∣Ck)：条件熵是由数据统计得到的情况下，称为经验条件熵信息增益 g(D,Ck)g(D, C_k)g(D,Ck)：即数据集根据某特征分类前后混乱...
2020-03-20 20:00:45
212
原创 统计学习方法笔记---k近邻
本章概要k近邻是基本且简单的分类与回归方法，既可用于二分类，又可用于多分类。支持线性不可分的数据。K近邻法的基本做法是：对给定的训练实例点和输入实例点，首先确定输入实例点的K个最近邻训练实例点，然后利用这K个训练实例点的类的多数来预测输入实例点的类。k近邻模型对应于基于训练数据集对特征空间的一个划分。K近邻法中，当训练集、距离度量、K值及分类决策规则确定后，其结果唯一确定。K邻近...
2020-03-13 15:53:11
280
原创 统计学习方法笔记---感知机
感知器本章概要感知器是根据输入实例的特征向量x对其进行二类分类的线性分类模型：f(x)=sign(w⋅x+b)f(x) = sign(w \cdot x + b)f(x)=sign(w⋅x+b)感知器模型对应于输入空间中的分离超平面w⋅x+b=0w \cdot x + b = 0w⋅x+b=0感知器学习的策略是极小化损失函数：minw,bL(w,b)−∑xi∈Myi(w⋅xi+...
2020-03-11 20:58:30
544
原创 spark编程基础（三）-- Spark SQL
Spark SQLDataFrame与RDD的区别DataFrame的推出，让Spark具备了处理大规模结构化数据的能力，不仅比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能。Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询RDD是分布式的Java对象的集合，但是，对象内部结构对于RDD而言却是不可知的。DataFrame是一种以RDD为基础...
2020-01-28 17:39:01
212
原创 spark.ml支持算法总结
一、分类1、Logistic regression1.1 适用的数据逻辑回归通常用于处理自变量是连续变量，因变量是分类变量的回归问题。1.2 代码机器结果
2019-12-18 11:24:25
2858
原创 spark编程基本（二）-- RDD编程
RDD创建从文件系统中加载数据创建RDD：Spark采用textFile() 方法来从文件系统中加载数据创建RDD方法把文件的URI作为参数，这个URI可以是： 1) 本地文件系统的地址 2) 或者是分布式文件系统HDFS的地址 3) 或者是Amazon S3的地址等通过并行集合（数组）创建RDD：可以调用SparkContext的parallelize方法，在Dri...
2019-12-10 21:48:26
525
原创 spark编程基础（一）--spark的设计与运行原理
文章目录基本概念和架构设计基本概念架构设计Spark中各种概念之间的相互关系spark运行基本流程Spark运行构架特点RDDRDD概念RDD操作RDD执行过程RDD特性RDD依赖关系和运行过程Spark的部署和应用方式基本概念和架构设计基本概念RDD：弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。DAG：有向无环图，反映RDD之间的依赖关系。Execu...
2019-12-09 09:57:49
479
原创 scala学习（一）-- 基本语法
基本语法写入文件Scala需要使用java.io.PrintWriter实现把数据写入文件import java.io.PrintWriterval out = new PrintWriter("output.txt")for (i <- 1 to 5) out.println(i)out.close如果想把文件保存到一个指定的目录下，就需要给出文件路径。读取文件可以使用...
2019-12-06 17:25:29
184
原创 scala学习（四）--面向对象编程基础
面向对象编程基础1. 类1.1 类的定义创建类class Counter { private var value = 0 //Unit表示返回空值 //若果大括号里面只有一行语句，那么也可以直接去掉大括号。 def increment(): Unit = { value += 1} def current(): Int = {value} //可以去掉返回值类型和等号，只保留大...
2019-12-06 16:09:46
204
原创 scala学习（二）-- 函数
Scala函数传名调用scala的解释器在解析函数参数时有两种方式：传值调用：先计算参数表达式的值，在应用到函数内部传名调用：将为计算的参数表达式直接应用到函数内部，每次使用传名调用时，解释器都会计算一次表达式的值。object Test { def main(args: Array[String]) { delayed(time()); } d...
2019-12-06 16:09:10
558
原创 scala学习（三）-- 数据结构
数据结构val 类型指定对象的指针不可变，但指向的对象可变。1. Scala字符串String对象不可变，若想创建一个可以修改的字符串，可以使用String Builder类。2 Scala数组数组是一种可变的、可索引的、元素具有相同类型的数据集合。使用圆括号。可以不给出数组类型。Scala会自动根据提供的初始数值推断出数组类型。采用Array类型定义的数组属于定长数组，其数组长...
2019-12-06 13:13:19
155
原创 spark官方文档学习---聚类
聚类官方文档K-meansk均值是最常用的聚类算法之一，它将数据点聚集成预定数量的聚类。 MLlib实现包括称为kmeans ||的k-means ++方法的并行变体。Means被实现为一个估计器，并生成一个KMeansModel作为基础模型。from pyspark.ml.clustering import KMeansfrom pyspark.ml.evaluation impo...
2019-11-22 09:42:12
290
原创 spark官方文档MLlib学习---分类与回归
分类与回归官方文档一、分类1. 逻辑分类Logistic回归是一种用于预测分类响应的流行方法。 这是广义线性模型的一种特殊情况，可以预测结果的可能性。 在spark.ml中，逻辑回归可以通过使用二项式逻辑回归来预测二进制结果，或者可以通过使用多项逻辑回归来预测多类结果。 使用family参数在这两种算法之间进行选择，或者不设置它，Spark会推断出正确的变体。通过将family参数设置为...
2019-11-21 22:58:21
733
原创 spark官方文档Mlib学习（一）
机器学习库指南MLlib时Spark的机器学习库，其目标是使实用的机器学习可扩展切容易。在较高级别，它提供了以下工具：机器学习算法：常用的学习算法如分类，回归，聚类，和协同过滤。特征化：特征抽取，变换，降维和选择管道：用于构建，评估和调整ML管道的工具声明：基于DataFrame的API是主要API基于MLlib RDD的API现在处于维护模式。Data sources在本节中...
2019-11-20 16:54:52
1058
1
原创 吴恩达机器学习之路---muti-class classfication and Neural Networks
1.多类别分类本文将使用逻辑回归和神经网络来识别手写数字( 0-9 )。以下代码皆为matlab实现。1.1 数据集% 从文件中加载已保存的矩阵load('ex3data1.mat');% 矩阵X和y将已经存在MATLAB环境中数据集中一共有5000个训练样本，每个训练样本是2020像素的数字灰度图像。每个像素为一个浮点数，代表在当前位置的灰度值。将2020的像素展开成一个400的向...
2019-11-18 14:55:23
157
Optimization_paper.zip
2020-05-27
IDEA安装导入sbt依赖库时失败！尝试了三天依然无法成功导入，求大神指点！！！
2019-12-16
TA创建的收藏夹 TA关注的收藏夹
TA关注的人