2 学人工智能的皮皮虾

尚未进行身份认证

我要认证

人工智能、NLP、知识图谱、大数据

等级
TA的排名 26w+

Transformers是怎样工作的?

Transformers是一种越来越流行的神经网络架构。 OpenAI最近在他们的语言模型中使用了Transformers,DeepMind最近也在AlphaStar中使用了Transformers-他们的程序击败了顶级的专业Starcraft玩家。开发Transformers用来解决序列转导(sequence transduction)或神经机器翻译的问题。这意味着任何将输入序列转换为输出序列的任务。这包括语音识别,文本到语音转换等。为了使模型执行序列转导,那么这个模型必须具有某种存储功能。例如,

2020-07-08 16:06:12

什么是XLNet,为什么它会比BERT更加出色?

原文连接:https://towardsdatascience.com/what-is-xlnet-and-why-it-outperforms-bert-8d8fce710335在XLNet发布之后至少一周,似乎我在NLP领域的每个人都在谈论XLNet。是的,“对BERT完成20项任务的改进”确实吸引了我们的眼球。但是更重要的是要了解它的工作原理以及为什么它优于BERT。因此,在阅读本文后,我写了这个博客来分享我的想法。内容的结构如下。什么是XLNet?XLNet和BERT有什么区别?XLN

2020-07-08 10:24:46

Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

论文解读:使用图注意力网络进行多粒度机器阅读理解的文档建模阅读目的:学习该论文中基于文档结构的多粒度建模。摘要“自然问题”是一种具有挑战性的新机器阅读理解基准,它具有两个粒度的答案,即长答案(通常是一个段落)和短答案(长答案中有一个或多个实体)。尽管现有方法在此基准上很有效,但它们在训练期间会分别对待这两个子任务,而忽略了它们之间的依赖性。为了解决这个问题,我们提出了一个新颖的多粒度机器阅读理解框架,该框架专注于以文档的分层性质对文档进行建模,这些文档具有不同的粒度级别:文档,段落,句子和标记。我们使

2020-07-02 10:52:58

如何使用图卷积网络在图上进行深度学习(二)(How to do Deep Learning on Graphs with Graph Convolutional Networks)

Part 2: Semi-Supervised Learning with Spectral Graph Convolutions基于图的机器学习是一项艰巨的任务,因为它非常复杂,而且信息结构也很丰富。这篇文章是有关如何使用图卷积网络(GCN)在图上进行深度学习的系列文章中的第二篇,图卷积网络是一种功能强大的神经网络,旨在直接在图上工作并利用其结构信息。我将简要回顾上一篇文章,但您可以在这里找到该系列的其他部分:图卷积网络的高级介绍具有谱图卷积的半监督学习(本文)在上一篇文章中,我对GCN作了简要

2020-06-30 13:58:08

如何使用图卷积网络在图上进行深度学习(一)(How to do Deep Learning on Graphs with Graph Convolutional Networks)

图的机器学习是一项艰巨的任务,因为它非常复杂,而且信息结构也很丰富。这篇文章是有关如何使用图卷积网络(GCN)在图上进行深度学习的系列文章中的第一篇,图卷积网络是一种功能强大的神经网络,旨在如何利用其结构信息并且直接在图上进行工作。该系列的文章是:图卷积网络的高级介绍频谱图卷积的半监督学习在本文中,我将对GCN进行介绍,并使用编码示例说明如何通过GCN的隐藏层传播信息。我们将看到GCN如何汇总来自先前各层的信息,以及该机制如何产生图中节点的有用特征表示。什么是图卷积网络?GCN是用于基于图的机

2020-06-30 12:29:09

RNN、LSTM、Seq2seq、Transformer、BERT

RNNLSTMSeq2seq with attentionTransformerBERT

2020-05-28 09:39:04

The Unreasonable Effectiveness of Recurrent Neural Networks

我们将训练RNN模型,该模型通过逐个生成字符最终构成文本,那么“RNN是怎么做到这些的呢?”。顺便说一句,我还将这篇文章的代码在Github上发布,使您可以训练基于多层LSTM的字符级语言模型。您给它大量的文本,它将学习一次生成一个字符。那么什么是RNN?Recurrent Neural NetworksSequences:根据您的背景,您可能会想知道:为何递归网络会如此特别? Vanilla神经网络(以及卷积网络)的一个明显限制是它们的API过于受限:它们接受固定大小的矢量作为输入(例如图像),并

2020-05-28 09:38:54

Connecting the Dots: Document-level Neural Relation Extraction with Edge-oriented Graphs

文档句子关系抽取 EMNLP 2019论文地址代码地址abstract文档级关系提取是一个复杂的人工过程,需要逻辑推理才能提取文本中命名实体之间的关系。现有的方法使用基于图的神经模型,以单词为节点,边为单词之间的关系,来对句子之间的关系进行编码。这些模型是基于节点的,即,它们仅基于两个目标节点对来形成表示。但是,实体关系可以通过为节点之间构造唯一的边表示来更好地表达。因此,我们提出了一种用于文档级关系提取的面向边的图神经模型,该模型利用不同类型的节点和边来创建文档级图。图边缘的推理机制使用多实例学习

2020-05-22 21:01:57

Heterogeneous Graph Neural Networks for Extractive Document Summarization

异构图神经网络用于抽取文档摘要(2020 ACL)abstract学习跨句子之间的关系作为提取文档摘要过程中的关键步骤,已有多种方法被提出来研究该问题。一种直观的方法是将它们放在基于图的神经网络中,该网络具有更复杂的结构以捕获句子之间的关系。在本文中,我们提出了一种基于异构图的神经网络(HETERSUMGRAPH)用于提取摘要,该网络包含除句子外的不同粒度级别的语义节点。这些额外的节点充当句子之间的“中介”,并丰富了跨句关系。此外,通过引入文档节点,我们的图结构可以灵活地自然扩展,从单个文档设置到多文档

2020-05-22 11:30:05

Classifying Relations by Ranking with Convolutional Neural Networks

句子关系抽取论文阅读(2015 ACL)abstract关系分类是一项重要的语义处理任务,而最新的系统仍依赖于费时费力的人工抽取特征。在本文的工作中,我们使用卷积神经网络来解决关系分类任务,该卷积神经网络通过排名(ranking)进行分类。我们提出了一个新的成对排名损失函数(pairwise ranking loss function)。我们使用SemEval-2010 Task 8数据集执行实验,该数据集旨在对句子中标记的两个名词之间的关系进行分类。使用CR CNN,我们可以在不使用任何昂贵的手工抽取

2020-05-21 12:00:38

Attn: Illustrated Attention

几十年来,统计机器翻译一直是主要的翻译模型[9],直到神经机器翻译(NMT)诞生。 NMT是一种新兴的机器翻译方法,它试图构建和训练一个大型的神经网络,该网络可以读取输入文本并输出翻译[1]。NMT的先驱者是Kalchbrenner and Blunsom (2013), Sutskever et. al (2014) and Cho. et. al (2014b)等人。其中最熟悉的框架是从Sutskever等人那里借鉴的序列到序列(seq2seq)。本文将基于seq2seq框架以及如何在此框架上构建立.

2020-05-20 17:28:51

PyTorch Autograd

Background我们不得不认同,在涉及大型神经网络时,我们都不擅长微积分。通过显式求解数学方程式来计算此类大型复合函数的梯度是不切实际的,尤其是当这些曲线存在于大量维度中并且无法理解其具体含义时。这就是PyTorch的autograd出现的地方。它抽象了复杂的数学,并帮助我们“神奇地”仅用几行代码即可计算出高维曲线的梯度。这篇文章试图描述autograd的魔力。PyTorch Basics在继续之前,我们需要了解一些基本的PyTorch概念。张量(Tensor):简单来说,它只是PyTorch

2020-05-20 11:06:21

An Opinionated Guide to ML Research(机器学习研究指南)

借鉴前人(Jhon Schulam)在ML方面的学习经验,怎样做好ML的研究,希望对大家有帮助:我最初是在2017年12月为OpenAI Fellows程序编写此指南的在本文中,基于我的研究经验和为他人提供的一些咨询经验,我为新兴的机器学习(ML)研究人员提供了一些建议。该建议涵盖如何选择问题和安排时间。我还建议以下有关类似主题的文章:You and Your Research by Ri...

2020-03-03 11:48:02

Deep Computer Vision Using Convolutional Neural Networks

在本章中,我们将探讨CNN的来源,其构造块的外观以及如何使用TensorFlow和Keras实施它们。然后,我们将讨论一些最佳的CNN架构以及其他视觉任务,包括对象检测(对图像中的多个对象进行分类并在其周围放置边框)和语义分割(根据对象的类别对每个像素进行分类)。视觉皮层的架构David H. Hubel和Torsten Wiesel分别在19581年和19592年(以及几年后在猴子上)对猫进...

2020-02-17 10:45:56

Understanding LSTM Networks

Recurrent Neural Networks人类不会每秒都从头开始思考。阅读本文时,您会根据对先前单词的理解来理解每个单词。您不会丢掉一切重新开始从头思考,并且你的一些记忆是会有一段时间的留存的。传统的神经网络无法做到这一点,这似乎是一个重大缺陷。例如,假设您想对电影中每个点发生的事件进行分类。尚不清楚传统的神经网络如何利用其对电影中先前事件的推理来告知后期事件。递归神经网络解决了这个...

2020-02-13 14:46:52

XLNet Fine-Tuning Tutorial with PyTorch

前言在本教程中,我将向您展示如何使用huggingface PyTorch库对预先训练好的XLNet模型进行调整,以快速生成用于文本分类的分类器。Introduction这篇文章有两种形式——一种是博客,另一种是Colab notebook。内容是相同的,但:博客文章格式可能更容易阅读,并包含一个讨论的评论部分。Colab Notebook允许您运行代码并在阅读过程中检查它。Wha...

2019-11-12 19:07:14

The IIIustrated Word2vec

我发现embeddings是机器学习中最有趣的概念之一。如果你曾经使用过Siri、谷歌助手、Alexa、谷歌翻译,甚至是下一个带有单词预测功能的智能手机键盘,那么你很可能已经从这个已经成为自然语言处理模型核心的想法中受益了。在过去的几十年里,在神经模型中使用embeddings已经有了相当大的发展,譬如最近发展的BERT和GPT2这样的考虑了上下文环境的词嵌入( word embeddings)...

2019-11-01 17:02:45

A Visual Intro to NumPy and Data Representation

numpy的学习原文连接numpy包是python生态系统中数据分析、机器学习和科学计算的主力。它极大地简化了向量和矩阵的操作和运算。python的一些主要包依赖NumPy作为其基础架构的基本部分(例如scikit-learn、SciPy、panda和tensorflow)。除了能够对数字数据进行切片和分割之外,掌握numpy还将使您在处理和调试这些库中的高级用例时获得优势。在这篇文章中,...

2019-11-01 15:12:12

Transformer:Attention is all you need

学习TransformerTransformer详细解读

2019-11-01 09:15:26

Tensorflow之手写数字识别(CNN)

卷积神经网络更多卷积神经网络介绍import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 载入数据mnist = input_data.read_data_sets('MNIST_data', one_hot=True)# 每个批次的大小,每次训练的时候并不是一次性将所有的图...

2019-10-24 10:24:24

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。