阿泽的学习笔记-CSDN博客

原创【Code】关于 GCN，我有三种写法

本篇文章主要基于 DGL 框架用三种不同的方式来实现图卷积神经网络。1. DGLDGL（Deep Graph Library）框架是由纽约大学和 AWS 工程师共同开发的开源框架，旨在为大家提供一个在图上进行深度学习的工具，帮助大家更高效的实现算法。用现有的一些框架比如 TensorFlow、Pytorch、MXNet 等实现图神经网络模型都不太方便，同样现有框架实现图神经网络模型的速度不够快。DGL 框架设计理念主要在于将图神经网络看作是消息传递的过程，每一个节点会发出它自己的消息，也会接收来自其

2020-05-21 21:06:23 2637 1

原创【GNN】万字长文带你入门 GCN

断断续续写了一个多星期，期间找了很多同学讨论学习，感谢指导过点拨过我的同学们，为了精益求精本着不糊弄别人也不糊弄自己的原则在本文中探讨了很多细节。当然，还有很多细节没提到，包括总变差（Total Variation）、空域和频域视角下的图信号等，有兴趣的同学可以深入了解下图信号处理，本人才疏学浅还希望抛砖引玉引出更多的 GCN 的文章。非常感谢知乎 @superbrother 同学和蘑菇先生的精彩笔记才使得我能够入门 GCN，当然我也将公开我的笔记希望能帮助更多的同学。1. Convolutional

2020-05-21 21:03:13 1671

原创基于 Flink 的实时数据分析系统

最近在学 Flink，做了一个实时数据分析的 Demo，流程如下所示：Data Mock：作为生产者模拟数据，负责从本地文件系统中读取数据并发往 Kafka；Zookeeper：Kafka 的依赖；KafKa：消息队列，可以用于发布和订阅消息；Flink：流式处理引擎，作为消费者订阅 Kafka 的消息；ElasticSearch：搜索引擎，也可以作为实时存储引擎；Kibana：可视化 ElasticSearch 中的数据。除了看过两周 Flink 外，其他的框架都没有接触过，只是简单的

2020-09-18 10:51:37 4079 1

原创【Code】OGB：图机器学习的基准测试数据集

1.OGB1.1 OverviewOpen Graph Benchmark（以下简称 OGB）是斯坦福大学的同学开源的 Python 库，其包含了图机器学习（以下简称图 ML）的基准数据集、数据加载器和评估器，目的在于促进可扩展的、健壮的、可复现的图 ML 的研究。OGB 包含了多种图机器学习的多种任务，并且涵盖从社会和信息网络到生物网络，分子图和知识图的各种领域。没有数据集都有特定的数据拆分和评估指标，从而提供统一的评估协议。OGB 提供了一个自动的端到端图 ML 的 pipeline，该 pip

2020-06-09 22:31:24 6824 1

原创【GNN】NGCF：捕捉协同信号的 GNN

今天学习的是新加坡国立大学和中国科技大学同学合作的论文《Neural Graph Collaborative Filtering》，发表于 2019 年 ACM SIGIR 会议。Embedding 向量是现代推荐系统的核心，但是目前的方法无法捕捉到 user-item 交互中潜在的协作信号。因此，由此产生的 Embedding 向量可能不足以捕获到协同过滤的内容。为此，作者提出神经网络协同过滤（Neural Graph Collaborative Filtering，NGCF），旨在将 user-it

2020-06-09 22:30:13 1318

原创【GNN】WL-test：GNN 的性能上界

今天学习斯坦福大学同学 2019 年的工作《HOW POWERFUL ARE GRAPH NEURAL NETWORKS?》，这也是 Jure Leskovec 的另一大作。我们知道 GNN 目前主流的做法都是通过迭代地对邻居进行聚合（aggreating）和转换（transforming）来更新节点的表示向量。而在这篇文章中，本文作者提出了一个可以用于分析 GNN 能力的理论框架，通过对目前比较流行的 GNN 变体（如 GCN、GraphSAGE 等）进行分析，其结果表明目前的 GNN 变体甚至无法区分

2020-06-09 22:28:31 7068 3

原创【GNN】PinSAGE：GCN 在工业级推荐系统中的应用

今天学习的是 Pinterest 和斯坦福大学 2018 年合作的论文《Graph Convolutional Neural Networks for Web-Scale Recommender Systems》，目前有 200 多次引用。论文中提出的 PinSAGE 结合了随机游走和 GCN 来生成节点的 Embedding 向量。同时考虑了图结构和节点的特征信息。此外，PinSAGE 也设计了一种新颖的训练策略，该策略可以提高模型的鲁棒性并加快模型的收敛。这篇论文是 GraphSAGE 一次成功的应

2020-06-09 22:26:50 2620 1

原创【GNN】NLNN：self-Attention 的泛化框架

今天学习的是 CMU 和 Facebook 的同学 2017 年的工作《Non-local Neural Networks》，发表于 CVPR 18，作者王小龙，导师是何凯明老师，这篇论文的截止目前的引用量有 1100 多次。这篇论文的应用领域最初是在计算机视觉，作者提出的非局部神经网络（non-local neural network，NLNN）来捕获深度神经网络的长依赖关系，这种非局部运算是对所有位置特征的加权计算，因此也可以被看作是不同“self-attention”的方法的统一。1.Intro

2020-06-09 22:25:59 1307

原创【GNN】JK-Net：深层 GNN 架构

今天学习的是 MIT 同学 2018 年的论文《Representation Learning on Graphs with Jumping Knowledge Networks》，发表于 ICML，目前共有 140 多次引用。目前的图表示学习都遵循着领域聚合的方式，但这种方式的层数无法增加，kipf 的 GCN 使用了两层模型，随着深度增加会出现 over-smooth 的问题，导致性能下降。为了更好的学习邻居的结合和属性，作者提出了一种叫跳跃知识的网络（Jumping Knowledge Netwo

2020-06-09 22:23:51 4215

原创【GNN】GN：更通用的 GNN 架构

今天学习的是 DeepMind 2018 年的工作《Relational inductive biases, deep learning, and graph network》，目前超 500 次引用。这篇论文是 DeepMind 联合谷歌大脑、MIT、爱丁堡大学等 27 名同学发表的重磅论文，同时提出了“图网络”的框架，将端到端学习与归纳推理相结合，并有望解决深度学习无法进行关系推理的问题。这篇论文一部分是对过去的工作进行回顾，另一部分是过去的工作进行总结与统一。作者指出组合泛化能力（combinato

2020-06-09 22:22:46 2066

原创【GNN】GCMC：GNN 在推荐系统中的应用

今天学习的是 KDD18 的一篇论文《Graph Convolutional Matrix Completion》，作者是阿姆斯特大学的同学，Thomas N. Kipf 大佬是二作。前面我们介绍了 Kipf 大佬利用变分自编码器（VGAE）来完成链接预测问题，链接预测问题放在矩阵中可以被认为是矩阵补全。这篇论文在 VGAE 的基础上提出了 GCMC 模型，设计了一个可微的基于消息传递的图自编码框架进行矩阵补全（matrix completion），同时考虑边信息和网络结构，并分析了边信息在推荐系统冷启动

2020-06-09 22:21:34 3708

原创【GNN】GAT：Attention 在 GNN 中的应用

今天学习的是剑桥大学的同学 2017 年的工作《GRAPH ATTENTION NETWORKS》，目前引用数量超过 1100 次。Attention 机制在 NLP CV 等领域被广泛应用，其可以帮助模型对输入数据赋予不同的权重信息。同样的，Attention 也可以应用于网络图中，它可以对邻居中不同的节点指定不同的权重，既不需要进行矩阵运算，也不需要事先了解图的全局结构。通过这种方式，作者解决了基于频谱的图神经网络的几个关键问题，并使得模型更方便的应用于归纳和转换问题。1.Introduction

2020-06-09 22:20:28 2372 1

原创【GNN】Diff Pool：网络图的层次化表达

今天学习的是斯坦福大学的同学 2018 年的工作《Hierarchical Graph Representation Learning with Differentiable Pooling》，目前共有 140 多次引用。目前，GNN 在图分类任务中的处理方法本质上是平面的（Flat），无法学习图形的层次化表达。对于一个包含多个标签的图来说，传统的方法都是为图中每个节点生成一个 Embedding 向量，然后利用这些 Embedding 向量来做全局池化或者输入到 MLP 中来预测图标签，但这种方法忽视了

2020-06-09 22:19:24 1407

原创【GNN】R-GCN：GCN 在知识图谱中的应用

关注公众号跟踪最新内容：阿泽的学习笔记。今天学习的是阿姆斯特丹大学 Michael Schlichtkrull 大佬和 Thomas N. Kipf 大佬于 2017 年合作的一篇论文《Modeling Relational Data with Graph Convolutional Networks》，目前引用超 400 次，虽然这篇文章只是发到了 C 类会议，但论文中提出的 R-GCN 无疑开创了使用 GCN 框架去建模关系网络的先河。(只发到 C 可能是因为 R-GCN 表现不太好)这篇论文主要

2020-06-09 22:18:11 13680 2

原创【GNN】MPNN：消息传递神经网络

今天学习的是谷歌大脑的同学 2017 年的工作《Neural Message Passing for Quantum Chemistry》，也就是我们经常提到的消息传递网络（Message Passing Neural Network，MPNN），目前引用数超过 900 次。严格来说，MPNN 不是一个模型，而是一个框架。作者在这篇论文中主要将现有模型抽象其共性并提出成 MPNN 框架，同时利用 MPNN 框架在分子分类预测中取得了一个不错的成绩。1.Introduction深度学习被广泛应用于图像、

2020-06-08 16:30:01 11824 1

原创【GNN】VGAE：利用变分自编码器完成图重构

今天学习的是 Thomas N. Kipf 的 2016 年的工作《Variational Graph Auto-Encoders》，目前引用量为 260 多。VGAE 属于图自编码器，是图神经网络细分类别的一大类。Kipf 同学也非常厉害，其影响力最大的一篇论文莫过于 2017 年提出的 GCN 模型。VGAE 全称为 Variational Graph Auto-Encoders，翻译过来就是变分图自编码器，从名字中我们也可以看出 VGAE 是应用于图上的变分自编码器，是一种无监督学习框架。看到这

2020-05-21 21:14:22 4444 2

原创【Code】GraphSAGE 源码解析

1.GraphSAGE本文代码源于 DGL 的 Example 的，感兴趣可以去 github 上面查看。阅读代码的本意是加深对论文的理解，其次是看下大佬们实现算法的一些方式方法。当然，在阅读 GraphSAGE 代码时我也发现了之前忽视的 GraphSAGE 的细节问题和一些理解错误。比如说：之前忽视了 GraphSAGE 的四种聚合方式的具体实现，对 Alogrithm 2 的算法理解也有问题，再回头看那篇 GraphSAGE 的推文时，实在惨不忍睹= =。进入正题，简单回顾一下 GraphSAG

2020-05-21 21:09:31 4890 3

原创【GNN】GraphSAGE：GCN 可能没我强

今天看的论文是斯坦福大学的同学的论文《Inductive Representation Learning on Large Graphs》，于 2017 年发表于 NIPS，目前被引次数超过 1200 次。对于大规模网络图来说，低维的分布编码具有举足轻重的意义，但现有的诸多模型都属于直推式学习（transductive），其可以解决参与训练的节点的编码问题，但无法泛化到未知节点（即，如果有新节点加入需要重新训练）。针对这一痛点，斯坦福大学的同学提出了归纳式学习算法（inductive）——GraphSAG

2020-05-21 21:07:58 829

原创【PTM】XLNet：通过广义自回归预训练改善语言理解

今天学习的是谷歌大脑的同学和 CMU 的同学的论文《XLNet: Generalized Autoregressive Pretraining for Language Understanding》，于 2019 年发表于 NIPS，目前引用超 300 次。XLNet 是一个广义自回归预语言模型，它在 Transformer-XL 的基础上引入了排列语言模型（Permutation Language Model，以下简写 PLM），该方法可以很好解决自回归预编无法处理上下文建模的问题，最后用三倍于 BER

2020-05-21 20:50:35 446

原创【PTM】ALBERT：自监督学习的轻量级 BERT

今天阅读的是 Google 同学 2019 年的论文《ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS》。我们知道模型效果会随着模型深度的增加得到提升，然而模型深度的增加也会使得训练变得更困难，为了解决这个问题，Google 的同学提出了一个轻量级的 BERT：ALBERT，参数比 BERT-large 更少，且效果更好。1.Introduction通常来说，模型深度与模型效果成正比，但是模型越深也

2020-05-20 21:20:18 835

原创【PTM】Transformer-XL：捕捉超长上下文依赖

今天学习的是谷歌大脑的同学和 CMU 的同学于 2019 年联合出品的论文《Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context》，目前被引次数超 200 次。这篇论文提出的 Transformer-XL 主要是针对 Transformer 在解决长依赖问题中受到固定长度上下文的限制，如 Bert 采用的 Transformer 最大上下文为 512。Transformer-XL 采用了一种 segment-lev

2020-05-20 21:16:42 561

原创【PTM】GPT-2：四只角的独角兽

今天阅读的是 OpenAI 的同学于 2019 年发表的论文《Language Models are Unsupervised Multitask Learners》，目前具有 300 多引用量。在有了之前论文的基础后读这篇论文就比较简单了，论文介绍的是 OpenAI 对 GPT 的一个改进模型 GPT-2，其模型结构与 GPT 相比几乎没有什么变化，只是让模型变得更大更宽，并且取消了 Fine-tuning 的步骤。也就是说 GPT-2 采用了一阶段的模型（预训练）代替了二阶段的模型（预训练+微调），并

2020-05-20 21:15:09 918

原创【PTM】GPT：通过预训练改善语言模型

今天阅读的是 OpenAI 2018 年的论文《Improving Language Understanding by Generative Pre-Training》，截止目前共有 600 多引用。在这篇论文中，作者提出了一种半监督学习方法——Generative Pre-Training（以下简称 GPT），GPT 采用无监督学习的 Pre-training 充分利用大量未标注的文本数据，利用监督学习的 Fine-tuning 来适配具体的具体的 NLP 任务（如机器翻译），并在 12 个 NLP 任

2020-05-20 21:12:54 1123

原创【PTM】ELMo：通过预训练语言模型生成词向量

今天学习的是 AllenNLP 和华盛顿大学 2018 年的论文《Deep contextualized word representations》，是 NAACL 2018 best paper。这篇论文提出的 ELMo 模型是 2013 年以来 Embedding 领域非常精彩的转折点，并在 2018 年及以后的很长一段时间里掀起了迁移学习在 NLP 领域的风潮。ELMo 是一种基于语境的深度词表示模型（Word Representation Model），它可以捕获单词的复杂特征（词性句法），也可

2020-05-20 21:12:11 1709

原创【PTM】Transformer：Attention Is All You Need

今天阅读的来自谷歌大脑的同学于 2017 年发表的论文《Attention Is All You Need》，目前论文被引次数高达 6100 次。Attention 机制是 Bengio 等同学在 2014 年提出的，并广泛应用于深度学习各个领域，如计算机视觉、NLP 等。其中，Seq2Seq 模型采用了 RNN 和 Attention 的结合成功应用于机器翻译领域，在诸多任务中都有显著的提升。在这篇文论文中，作者提出了 Transformer 网络架构，其摒弃了传统的 RNN、LSTM 架构，完全基于

2020-05-20 21:11:22 492

原创【Embedding】EGES：阿里在图嵌入领域中的探索

今天学习的是阿里巴巴 2018 年的论文《Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba》。这是一篇比较实用的工业论文，提出了 Enhanced Graph Embedding with Side Information（以下简称 EGES）算法，旨在利用 Graph Embedding 的方法解决推荐系统在工业界中的三大问题：扩展性、稀疏性和冷启动问题。我们一起来看下论文，可以重点关注下如何利用 Si

2020-05-20 21:09:47 5749 2

mysql-connector-java-5.1.7-bin.jar

空空如也