2 烟雨风渡

尚未进行身份认证

科学研究切忌心浮气躁

等级
TA的排名 5w+

pytorch实现加性注意力机制

加性注意力机制计算注意力得分的公式为计算注意力分布的公式为现用pytorch框架实现加性注意力公式参考attention-networks-for-classification用于文本分类的多层注意力模型(Hierachical Attention Nerworks)用仿真数据跑出来的实验效果截图如下:...

2019-11-13 16:39:42

pytorch版CLSTM

# -*-coding:utf-8-*-"""@author:taoshouzheng@time:2019/8/8 15:19@email:tsz1216@sina.com"""import torchimport torch.nn as nnfrom torch.nn import Parameterfrom torch.nn import initfrom torch ...

2019-11-09 10:28:29

使用LSTM模型进行多分类并查看综合分类效果

#!/usr/bin/env python# encoding: utf-8'''@author: taoshouzheng@contact: tsz1216@sina.com@file: 1 lstm + linear.py@time: 2019/11/7 9:15'''import torchimport torch.nn as nnfrom torch.nn impo...

2019-11-07 16:34:36

pytorch计算余弦相似度

在pytorch中,可以使用torch.cosine_similarity函数对两个向量或者张量计算余弦相似度。先看一下pytorch源码对该函数的定义:classCosineSimilarity(Module):r"""Returnscosinesimilaritybetween:math:`x_1`and:math:`x_2`,computed...

2019-09-10 20:42:46

关于注意力机制的思考

关于注意力机制可以看这两篇文章: 神经网络中的注意力机制总结及PyTorch实战 深度学习中的注意力机制1 如何使用注意力机制? 注意力机制很灵活,使用它关键在于根据注意力机制的基本原理,设计出对业务场景而言有道理、有效的计算注意力分布的方式。未完待续......

2019-09-09 20:20:01

生成对抗网络到底做了什么?

生成对抗网络Generative Adversarial Net的基本思想:引自生成对抗网络GANs理解(附代码)

2019-09-05 09:41:41

推荐几篇关于变分自编码器VAE学习的博客

前段时间有其他学校的老师做报告的时候讲了变分自编码器VAE和生成对抗网络GAN能够学习数据的分布,进而生成比较逼真的数据,之前对VAE和GAN的了解比较粗浅,这两天找资料看了一下,了解深入了一些,推荐一下以下这几篇博客,结合原论文《Auto-Encoding Variational Bayes》看的话应该能对VAE有个比较深入的了解。1变分自编码器(一):原来是这么一回事...

2019-09-04 10:33:03

item2vec代码

#-*-coding:utf-8-*-"""@author:taoshouzheng@time:2019/8/20 10:46@email:tsz1216@sina.com"""import torchimport torch.nn as nnfrom torch.autograd import Variableimport torch.optim as optimimpo...

2019-08-22 09:07:56

pytorch框架中的两种常用乘法

在使用pytorch框架复现模型的时候,我们需要再forward()函数中定义模型的逻辑,这时就要对模型参数使用一些运算,这里简单介绍一下pytorch框架下的两种常用的乘法运算。1 按元素乘 按元素乘,即张量的对应元素相乘,将每个位置上相乘的结果作为返回值,使用“*”实现。看一下例子:import torcha = torch.Tensor([[1...

2019-08-12 08:37:46

PyTorch框架下自定义层和自定义模型

PyTorch是一款简洁且高效的深度学习框架,目前在学术界被广泛使用。 和TensorFlow、Keras等框架一样,PyTorch框架下集成了一些常用的神经网络模型,如卷积神经网络、循环神经网络、全连接神经网络等,我们可以很方便地调用这些模型解决自己的问题。但是,当我们需要尝试用一些新的模型结构来解决自己的问题时,这些框架内置的模型就不行了,这时我们需要自己在P...

2019-07-11 11:13:02

Semi-supervised Classification with Graph Convolutional Networks

今天准备在所里分享的文章,GCN的提出论文,2017年发表在ICLR上,目前(截止到2019/4/20)在谷歌学术上被引用了近1000次。...

2019-04-20 10:54:08

Keras框架下输出模型中间层学习到的表示的两种常用方式

深度学习本质上是表示学习,它通过多层非线性神经网络模型从底层特征中学习出对具体任务而言更有效的高级抽象特征。针对一个具体的任务,我们往往会遇到这种情况:需要用一个针对特定任务已经被训练好的模型学习出特征表示,然后将学习出的特征表示作为另一个模型的输入。这就要求我们会获取模型中间层的输出,下面以具体代码形式介绍两种具体方法。目录1 通过K.function()函数打印模...

2019-04-10 20:21:18

Keras版GCN源码解析

直接上代码:后面会在这份源码的基础上做实验;TensorFlow版的GCN源码也看过了,但是看不太懂,欢迎交流GCN相关内容。1setup.pyfromsetuptoolsimportsetupfromsetuptoolsimportfind_packagessetup(name='kegra',...

2019-04-03 20:49:27

pandas的一些基本功能

这两天用pandas做数据分析时学习到一些技巧,在这里记录下来备以后使用。目录1 将从MySQL数据库中查询的结果转换为DataFrame类型2 使用groupby函数以某一列为键计算另一列的平均值3 使用lambda表达式执行逐元素操作4 使用reset_index函数还原索引5 使用head函数查看DataFrame中的前几条样本6 使用shape属...

2019-03-25 22:26:14

tf.nn.softmax_cross_entropy_with_logits函数

tf.nn.softmax_cross_entropy_with_logits函数在TensorFlow中计算分类问题交叉熵损失函数时会用到。 这个函数的返回值不是一个数,而是一个向量。如果要求最终的交叉熵损失,我们需要再做一步tf.reduce_sum操作,即对向量中的所有元素求和。 让我们以具体示例来说明tf.nn.softmax_cross...

2019-03-25 21:28:56

TensorFlow学习——基本概念(1)

最近在学深度学习的编程实现,以博客的形式把每天学到的东西总结一下,相信会有所收获。 注:写这篇博客时参考了《TensorFlow实战Google深度学习框架》第二版,主要对其中的第三章“TensorFlow入门”中的内容进行总结。目录1 TensorFlow的计算模型——计算图2 TensorFlow的数据模型——张量3 TensorFlow的运...

2019-03-23 09:59:35

基于注意力机制的多层感知机的实现

        写作这篇博客的过程中参考了keras教程-n-循环神经网络的注意力机制的理论和实现里面的问题和代码,但是这篇文章中的问题描述不清晰、代码比较冗余,所以按照自己对问题和注意力机制的理解改进了其中的问题描述和代码实现。1 问题描述  &

2019-02-14 20:27:23

Sequence-to-Sequence model

        在2017年发表在AAAI上的论文Topic Aware Neural Response Gen

2019-02-12 19:12:53

循环神经网络+注意力机制概述

        总结了最近学的循环神经网络和注意力机制,最近很火的东西。基础知识部分很大程度上参考了邱锡鹏老师的《神经网络与深度学习》这本书。参考文献:邱锡鹏 《神经网络与深度学习》周志华 《机器学习》QQ:3408649893...

2019-01-24 20:57:34

机器学习概述

        这两天整理的关于机器学习的一些基本概念,可以作为深度学习的入门资料来学习。参考文献:        邱锡鹏 《神经网络与深度学习》 &

2019-01-23 20:19:43

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。