3 上杉翔二

尚未进行身份认证

我要认证

青空之下,怪兽退治。

等级
TA的排名 1w+

博文目录索引

博文目录索引整理下博客分类,只按时间分有点乱。一. 基础理论:机器学习基础,深度学习基础二. 流行技术:生成对抗,强化学习,图神经网络三. 应用领域:推荐系统,计算机视觉,自然语言处理,多媒体和多模态,金融量化四. 其他:备忘和github一. 基础理论机器学习基础文章名传送门内容概要kNN门k-近邻决策树门ID3,C4.5,CART贝叶斯门贝叶斯线性回归门线性回归,梯度下降,正则化逻辑回归门逻辑回归,常用损失函数整理,M

2020-08-09 20:58:30

Graph Neural Network(GAE,GVAE,ARGA)

前面几次的整理GCN,GAT,GraphSAGE等等都适合在半监督,监督的场景下,而有没有图方法可以使用于在无监督的场景下使用呢?去发现节点的内在结果,挖掘隐藏关系如链接预测等等任务。答案是:自编码器(AE) /变分自编码器(VAE)+GraphGraph Auto-Encoders (GAE)GAE的目的是通过encoder-decoder 的结构去获取到图中节点的 embedding,然后再去做具体的下游任务比如链接预测。首先回顾一下自编码器,它是利用神经网络将数据逐层降维压缩,相当于让每层神

2020-08-09 17:21:10

Knowledge Graph Completion(知识图谱补全)

知识图谱补全算法能让知识图谱变得更加完整,按照能否处理新实体或者新关系,可以将知识图谱补全算法分成两类:静态知识图谱补全(Static KGC),该场景的作用是补全已知实体之间的隐含关系。仅能处理实体以及关系都是固定的场景,扩展性较差动态知识图谱补全(Dynamic KGC),涉及不止知 识图谱G中的实体或关系,该场景能够建立知识图谱与外界的关联,从而扩大知识图谱的实体集、关系集以及三元组集。可以处理含有新实体或者新关系的场景,能够构造动态的知识图谱,具有更好的现实意义虽然知识图谱能提供高质量的结

2020-08-09 15:01:10

Cross-modal Video Moment Retrieval(跨模态视频时刻检索综述)

这个方向的出的文章已经有很多了,但是似乎还没有一个统一一点的名字,叫 时域语言定位(Temporally Language Grounding),或者跨模态视频时刻检索/定位(Cross-modal Video Moment Retrieval/Localization)等等都有。大概给一个定义就是:给定一句自然语言描述的查询语句query,在未剪裁的完整视频中确定该描述发生的时间片段(起始时间,终止时间),简单来讲如上图,就是用一段文字查询具体的视频片段。它与纯的动作定位任务不同之处在于多了跨模态(文.

2020-07-13 17:54:21

Unsupervised Visual Representation Learning(无监督学习与MoCo)

Momentum Contrast for Visual Representation Learning。Kaiming大神的文章还是需要细细琢磨的。先简单回顾一下Unsupervised Learning。Unsupervised Learning虽然身处数据时代, 每个人都无时无刻不在产生着数据,但是能用的数据实际上是很少的,而且而且现在大量的数据都是没有标注的。目前性能最好的当然是监督学习,但它的表现是完全靠大规模标注数据集+多GPU/TPU的算力支撑的,对于数据集的收集和人工标注需耗费大量的人.

2020-07-12 18:41:19

图神经网络用于推荐系统问题(NGCF,LightGCN)

何向南老师组的又两大必读论文,分别发在SIGIR19’和SIGIR20’。Neural Graph Collaborative Filtering协同过滤(collaborative filtering)的基本假设是相似的用户会对物品展现出相似的偏好,自从全面进入深度学习领域之后,一般主要是先在隐空间中学习关于user和item的embedding,然后重建两者的交互即interaction modeling,如MF做内积,NCF模拟高阶交互等。但是他们并没有把user和item的交互信息本身编码进 .

2020-06-26 17:22:55

Strategies for Pre-training Graph Neural Networks(图预训练)

STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKSICLR2020,Stanford出品。用于GNN的预训练策略。paper:https://openreview.net/forum?id=HJlWWJSFDH&noteId=HJlWWJSFDHcode:https://github.com/snap-stanford/pretrain-gnns/预训练从CV领域开始取得了很好的效果,到BERT在NLP大杀四方,终于Graph也开始Pretr.

2020-05-31 18:12:43

胶囊网络用于推荐系统问题(MIND,CARP)

Multi-Interest Network with Dynamic Routing for Recommendation at Tmall多兴趣动态路由,出自一直在学术前沿的阿里:https://arxiv.org/pdf/1904.08030.pdf 。推荐系统中默认用户的历史行为代表着用户的兴趣,而传统的Embedding方式会用DNN把用户特征固定成一个低维向量,不能很好的捕捉到用户动态的,多方面丰富的兴趣特征。所以DIN方法采用自注意力,使同一个用户与不同的item预测时用户产生的Embe.

2020-05-29 22:37:21

知识图谱用于推荐系统问题(CKE,RippleNet)

Knowledge Graph知识图谱是一种语义图,其结点(node)代表实体(entity)或者概念(concept),边(edge)代表实体/概念之间的各种语义关系(relation)。一个知识图谱由若干个三元组(h、r、t)组成,其中h和t代表一条关系的头结点和尾节点,r代表关系。引入知识图谱进入推荐系统领域的优点在于:精确性(precision)。为物品item引入了更多的语义关系,可以深层次地发现用户兴趣多样性(diversity)。提供了不同的关系连接种类,有利于推荐结果的发散,避免.

2020-05-29 18:16:39

知识图谱用于推荐系统问题(MKR,KTUP,KGAT)

前一篇文章介绍了知识图谱用于推荐系统问题(CKE,RippleNet),这一篇博文目整理对KG和RC融合的更加深入的两篇文章MKR,KTUP。MKR利用一个Cross单元使两者融合,KTUP则是相互补全相互增强的思路。Multi-task Learning for KG enhanced Recommendation (MKR)交替学习文章以更好的融合KG和RC。模型图如下:左边是推荐任务。用户和物品的特征表示作为输入,预测点击率y右边是知识图谱任务。三元组的头结点h和关系r表示作为输入,预测

2020-05-29 18:08:30

图神经网络用于推荐系统问题(PinSage,EGES,SR-GNN)

Session-based Recommendation with Graph Neural Networks会话序列推荐的图应用,发自AAAI 2019,先放链接:blog:https://sxkdz.github.io/research/SR-GNN/paper:https://arxiv.org/abs/1811.00855code:https://github.com/CRIPAC-DIG/SR-GNN会话推荐是指,对于一个用户的点击序列(即session),预测下一个要点击的物品。即输.

2020-05-29 14:44:54

注意力机制用于推荐系统问题(DIN,DIEN,BERT4Rec)

当注意力机制都已经变成很tasteless的手法的时候,使用/魔改注意力机制一定要专注讲好自己的故事…即为什么要用Attention,为什么要魔改Attention。DIN和DIEN都是阿里针对CTR预估的模型,都主要是对用户历史行为数据的进一步挖掘的工作。CTR预估任务是,根据给定广告/物品、用户和大量的上下文情况等信息,对点击进行预测,所以对用户的兴趣理解,历史行为数据非常重要。Deep Interest Network for Click-Through Rate Prediction(DIN).

2020-05-28 21:14:02

Source-Code-Notebook(源码解析和逐行笔记)

Source-Code-Notebook关于一些经典论文源码Source Code的中文笔记,尽量做到整体框架梳理和逐行源码注释。不过太早期的代码一般都模块化了,所以主要更一些后期(2017-NOW)的笔记。语言主要是pytorch和Tensorflow版本的代码,部分keras。有注解错误和思路问题欢迎讨论。大部分都在本博客里面有文章整理过吧,思路+源码一起吃能对pap...

2020-05-03 21:36:50

Cross-modal Retrieval(跨模态检索)

前一篇文章整理了多模态融合Multimodal Fusion,最近看到一篇很好的跨模态检索的文章,这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另,如果有其他idea很好的跨模态论文,希望你在文章后面留言!Cross-modal Retrieval一般一个跨模态检索过程可以既包括模态表征,模态转换,模态对齐和联合学习(唯独没有模态融合,基本上不需要融合)。Adversarial ...

2020-05-03 20:55:32

Scene Graph(视觉关系场景图检测)

Scene GraphNeural Motifs: Scene Graph Parsing with Global Context开山经典之作。motif指场景图中重复出现的子结构。引入relation priors(主语和宾语确定,relation很容易确定,并且类似的motif会大量出现)后,直接通过统计的方法,不需要图片信息就能得到较高的准确率。文中的方法先将图片做proposal...

2020-05-02 20:58:16

Transformer变体(Star-Transformer,Transformer-XL)

Star-Transformer来自NAACL 2019的论文。问题:Transformer的自注意力机制每次都要计算所有词之间的注意力,其计算复杂度为输入长度的平方,结构很重在语言序列中相邻的词往往本身就会有较强的相关性,似乎本来就不需要计算所有词之间解决:Star-Transformer用星型拓扑结构代替了全连通结构如上图左边是Transformer,而右边是Star-Tra...

2020-05-02 19:15:33

Multi-task Learning in LM(多任务学习,MT-DNN,ERNIE2.0)

MTDNN多任务学习ENRIE1.0,3种mask策略(BPE)预测短语和实体。ERNIE2.0连续增量学习。主要贡献是两个:序列多任务学习的预训练任务机制(sequential multi-task learning),使模型能够学习到词汇,语法,语义信息。不同于持续学习和多任务学习,序列多任务学习在引入新的训练任务时,先利用之前学习到的参数对模型进行初始化,再同时训练新任务和旧任务...

2020-03-29 21:25:05

Cross-modal Pretraining in BERT(跨模态预训练)

BERT以及BERT后时代在NLP各项任务上都是强势刷榜,多模态领域也不遑多让…仅在2019 年就有8+篇的跨模态预训练的论文挂到了arxiv上…上图是多篇跨模态论文中比较稍迟的VL-BERT论文中的比较图,就按这个表格的分类(Architecture)整理这几篇论文吧。所有的论文都是基于BERT做改装或者暴力组合的,如果按Architecture可以分为one single和two sing...

2020-03-29 13:50:42

Multimodal Fusion(多模态融合)

Jeff Dean:我认为,2020年在多任务学习和多模态学习方面会有很大进展,解决更多的问题。我觉得那会很有趣。多模态融合 (Multimodal Fusion)一般来说,每一种信息的来源或者形式,都可以称为一种模态(Modality),目前研究领域中主要是对图像,文本,语音三种模态的处理。之所以要对模态进行融合,是因为不同模态的表现方式不一样,看待事物的角度也会不一样,所以存在一些交叉(所...

2020-03-28 19:44:15

Dynamic Routing Between Capsules(胶囊网络与源码解析)

胶囊网络叫做向量神经元 (vector neuron) 甚至张量神经元 (tensor neuron) 更贴切。不变性指不随一些变换来识别一个物体,具体变换包括平移 (translation),旋转 (rotation),视角 (viewpoint),放缩 (scale) 等。不变性通常在物体识别上是好事,因为不管雕像怎么平移、2D旋转、3D旋转和放缩,我们都可以识别出它是雕像。如果我们的任务比...

2020-03-19 22:43:07

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。