- 博客(14)
- 资源 (1)
- 收藏
- 关注
原创 自然语言处理之Seq2seq的注意力机制,循环模型的问题,self-attention及Transformer结构讲解
seq2seq即通过一个RNN作为encoder将输入的源语言转化为某表征空间中的向量,再通过另一个RNN作为decoder将其转化为目标语言中的句子。问题:encoder中的最后一个隐藏状态需要保存源句的所有信息,达到了信息瓶颈Attention的机制(在seq2seq中的解释decoder关注encoder的信息)解决这一由长序列到定长向量转化而造成的信息损失的瓶颈(核心:在decoder中的每一个时间步,对encoder使用直接连接去专注于源句某个特定的部分)过程:从decoder的每一个
2022-03-11 09:44:05 1931
原创 机器学习之 线性回归,lasso,ridge回归,对数几率回归(逻辑回归),线性判别分析
@机器学习之 线性回归,对数几率回归(逻辑回归),线性判别分析属性特征处理:二值离散特征(0和1)有序连续特征(1,2,3对应小 中 大)无序离散特征(one-hot编码)线性回归均方误差最小化(最小二乘估计)几何意义上是预测值和实际值的差平方(并不是垂直距离的误差,那样成了正交差)aigmin(w,b) 求最小值的w和b极大似然估计(估计概率分布的参数值)问:线性回归中怎么能利用极大似然估计去估计y(预测值)的分布呢将误差代替之后,y就是原概率密度函数中独立同分布的随机变
2021-10-26 14:59:16 1207
原创 极大似然估计
极大似然估计之前没有真正的搞清楚,在听了Datawhale的机器学习课程之后,对它有一些清楚的明了 ,下面简单的对其进行介绍,由于不会使用一些公式插入,可能直接使用了图片,但是最终的目的还是为了读明白:极大似然估计(估计分布的参数)这个方法的用途是 估计概率分布的参数值 也是得到一个函数 -> 参数在上面 离散型的随机变量X,是概率质量函数P, 连续型的是概率密度函数p(由概率论定义)在建模之前,我们可能会给定数据分布的一种形态,例如是正态分布或者其他例如: 正态分布 其中的θ就
2021-10-20 17:05:04 236
翻译 图神经网络的表示学习以及图神经网络笔记
表示学习也就是特征学习,特征提取分为特征工程和特征学习,特征学习强调人工,机械劳动,特征学习是采用技术进行特征提取
2021-08-31 11:06:35 3273
翻译 图神经网络之图嵌入笔记学习
图嵌入综述图分析任务的分类:(a)节点分类(b)链接预测(c)聚类(d)可视化真实的图(网络)往往是高维、难以处理的,嵌入的思想是在向量空间中保持连接的节点彼此靠近图嵌入的目的是发现高维图的低维向量表示图嵌入的方法(1)基于因子分解的方法;(2)基于随机游走的方法;(3)基于深度学习的方法。预备知识一阶近似:边缘近似的权值也称为节点vi和vj之间的一阶近似值,因为他们是两个节点之间第一也是最重要的相似性度量。二阶近似:一对节点之间的二阶近似描述了该对节点领域结构的相似性。在上图中因
2021-08-30 10:39:03 1579
翻译 卷积和转置卷积
卷积首先我们知道,卷积是一种提取特征的过程,通过卷积核操作,就是**输入和卷积核“逐”元素相乘求和的过**程,在图像中的理解就是,某一处特征的边缘特征也是一样的,那么就可以通过卷积提取,简化中间的计算操作:输入 * 卷积核 = 输出在程序中的计算不是我们肉眼可见的通过卷积核的滑动窗口来计算,而是将输入拉成一维向量,卷积核通过操作化为矩阵,过程简便为矩阵计算,例如 输入I(4*4) 卷积核U(3*3) 输出O(2*2)**输入拉成16*1的向量,卷积核通过在输入中的计算位置,通过补0,化为4*
2021-07-23 10:11:08 315
原创 GAN的评价图像评价指标(IS和FID)
在学习GAN的结构,首先是要用模型生成数据,然后必须要用一些指标来评价自己生成的数据的质量和多样性,自己在做一维数据的生成,发现IS和FID是用来评价图像的,但是也记录一下俩个指标的具体理解IS(Inception Score)IS指标开始以为IS是要单独评价一张一张图片效果,经过阅读之后发现,IS是从整理来评价一个生成模型的好坏,具体就是:生成的图片质量生成的图片的多样性质量直观理解就是我们在训练的时候图片的清晰度,分辨率(因为生产模型的直接目的就是生成真实的图片) 如果图像 x.
2021-07-22 19:38:52 5215 2
原创 截断正态分布的随机数生成方法
文章目录前言一、截断正态分布是什么?1.概率密度函数:(限制了a,b的范围)二、如何截断生成想要的范围的正态分布1.说明本人想要截断范围的正态分布的意图2.奉上代码,并且简要的介绍补充:前言对于一般的正态分布,μ=0,σ=1的分布在python中的代码:plt.hist(np.random.normal(0,1,size = 1000),bins=100) hist是画图工具一、截断正态分布是什么?截断分布是指,限制变量x取值范围(scope)的一种分布。例如,限制x取值在0到50之间,即
2021-04-23 15:07:30 3149 2
原创 交叉验证解读
最开始的理解之前对在学习《统计学习方法》的时候只看到过交叉验证,大意是使用数据分成不同类进行训练,但是在最近的学习中用到了电力系统中节点的电压幅值数据进行SVM分类,由于样本较少,分类正确率很小,所以开始看Matlab中的Fitcsvm代码进行解读SVMModel = fitcsvm(X,Y,'Standardize',true,'KernelFunction','RBF',... 'KernelScale','auto'); CVSVMModel = crossval(SVMModel
2021-03-30 22:34:29 832
原创 KKT条件
KKT条件在求解最优化问题的时候得到最优解,(1)对于无约束条件,那么直接求导值为0得解, (2)对于等式约束条件,直接采用拉格朗日乘子法求解,对n个条件下分别求导,这样得到n+1个方程,也可以得到最优解,(3)对于不等式约束条件,那么在满足KKT条件(具体的问题对待在求解的时候 对不同的参数添加不同的约束条件)的时候才可以使用拉格朗日乘子法,以下分别介绍具体参考:https://blog.csdn.net/johnnyconstantine/article/details/46335763...
2021-03-12 14:35:41 135
原创 欧式空间与希尔伯特空间
欧式空间与希尔伯特空间 在学习统计学习方法的时候,遇到核技巧的时候,理解从输入空间到特征空间的非线性映射出现了俩个空间,有些难懂,特意做一些笔记 欧几里得空间,希尔伯特空间,巴拿赫空间或者是拓扑空间都属于函数空间。函数空间 = 元素 + 规则 ,即一个函数空间由 元素 与 元素所满足的规则 定义,而要明白这些函数空间的定义首先得从距离,范数,内积,完备性等基本概念说起距离 说到距离,我们首先想到的是点与点之间的距离,除此之外还有向量之间的距离,曲线之间的距离,函数之间的距离…。这儿谈到 距
2021-03-11 16:43:21 787
原创 anaconda安装tensorflow框架以及jupyter的页面显示
@anaconda中使用conda安装tensorflow框架进行深度学习,以及一些问题前言提示:这里可以添加本文要记录的大概内容:例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。提示:以下是本篇文章正文内容正文tensorflow安装时自带numpy, 版本1.4.0若在导入时出现Warning,是由于numpy版本过高,可以百度降低numpy的版本,Anaconda Prompt(anaconda3)控制台程序是操
2020-10-18 18:15:50 169 1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人