8 yichudu

尚未进行身份认证

我要认证

code anything

等级
TA的排名 1k+

GNN,deep walk 与 LINE

deep walk简述word2vec 工作,skip-gram 模式下的优化目标是 P({vi−2,vi−1,vi+1,vi+2}∣vi)P(\{v_{i-2},v_{i-1},v_{i+1},v_{i+2}\}|v_i)P({vi−2​,vi−1​,vi+1​,vi+2​}∣vi​),即在自然语言序列中,使用当前词预测周围的邻居,最终学习到每个word的向量表示,可以反映它们各自在语义空间中的位置。类比于word2vec, deepwalk希望从graph中学习节点的空间表示。deepwalk

2020-08-14 10:13:09

sqlite,轻量级可嵌入的数据库

简介互联网软件中,通常client的数据请求会发送给server, 由server端的数据库完成计算。如淘宝的订单,购物车等功能。那么在单机软件中,想完成数据的增删改查怎么办? SQLite就是这种场景的解决方案。安装去官网 sqlite.org 下载.环境变量将以上下载文件解压,得到截图内容将 D:\Program Files\sqlite 设为环境变量,console 中输入 sqlite 即可。...

2020-08-11 14:36:34

SDM,长短期兴趣融合召回

目录SDM简述贡献网络结构user profile preferenceshort-term preferencelong-term preferencelong-short term fusion gatecandidate matchingpaper对比实验我的讨论参考SDM简述贡献在已有的 sequence-based 工作基础上,解决两个问题:session 中存在 multiple interest tendencieslong-term behaviors are various a

2020-08-07 15:44:55

因果推断 在 电商权益发放 场景中的应用

本文未完成。应用场景为了促进转化,电商平台(如淘宝,拼多多)通常会给用户发放一些营销权益(红包,满减券等)。那么,如何精细化、个性化地决策,在同样的营销费用支出下,得到更多的转化呢?比如给定用户下,平台要不要发红包,发多大面额的红包,整体ROI才会更高,就需要因果推断建模了。因果推断在上文的电商营销场景下,X代表用户特征,T∈{t∣不同的红包面额}T\in \{t|不同的红包面额\}T∈{t∣不同的红包面额},Y∈{0,1}Y\in \{0,1\}Y∈{0,1}代表用户是否使用红包购物(即对红

2020-08-04 20:22:55

推荐系统中的GNN,图神经网络

简述session-based 方法(如 GRU4REC)表现活跃,比 i2i 好用,但被认为其不能建模 item 之间的复杂转移关系,所以GNN类的Rec论文活跃, 通过引入GNN思想可以取得性能提升。参考own blog, SR-GNN,图网络召回MGNN-SPred...

2020-07-26 21:23:11

GNN,图神经网络 (LINE,Graph Sage)

简述图指 G=(V,E)G=(V,E)G=(V,E)。参考paper, graphSagewebsite, graphsage

2020-07-24 17:39:11

ESMM CTCVR 多任务学习

介绍术语定义CTR,post-view Click-Through Rate,4% 量级。CVR, post-click ConVersion Rate, 5‰ 量级。CTCVR, post-view Click-Through&ConVersion Rate, 二者相乘,万分之二 量级。可以看到有 impression -> click ->conversion 的依赖路径。传统的CVR模型,训练样本就是 post-click items 。但预测时是在 post-v

2020-07-22 12:58:34

py word cloud 词云图制作

介绍将一些关键词,以不同的 {大小,颜色,方向} 作可视化展示。wordcloud可以用该py库作词云生成。完整例子from wordcloud import WordCloudimport jiebafont_path = r'C:\Windows\Fonts\simsun.ttc' # 字体, 否则中文易乱码mytext = "不仅产品定位区别于传统导购, 在CTR预估任务上,洋淘更是面临来访用户历史点击少,必须借助商品兴趣的迁移规律作辅助意图理解的挑战.回顾集团内外的典型工作,如

2020-07-20 15:27:02

RNN for recommendation,GRU4REC

简述第一次将 RNN 用于 session-based rec。先空着。 反正 bert4rec 都把这些超了。参考GRU4REC,paper,SESSION-BASED RECOMMENDATIONS WITH RECURRENT NEURAL NETWORKS

2020-07-15 20:11:44

地理空间计算, geographical computation

GPS坐标国际惯用 (维度,经度).degree 格式、两点间的距离计算三方库from geopy import distanceclass gps: def __init__(self, latitude, longitude): self.latitude = latitude self.longitude = longitude def to_tuple(self): return self.latitude, self.

2020-05-22 14:19:48

分类任务简述及超大规模任务设计

鸢尾花分类多类别Multiclass classification: classification task with more than two classes. Each sample can only be labelled as one class.多标签Multilabel classification: classification task labelling each sa...

2020-04-28 16:41:28

residual connection, 残差链接

背景更深的网络理论上会有更强的表达能力, 但实际训练中遇到的问题是层数加深后, 训练集误差不降反升.图: layer-20 与 layer-56 的比较, 后者训练集误差更大residual-connection标准实现图: 维度一样, 可以直接相加, 可以是 a+b, 或 tf.add(a,b), 是 element-wise 的op.维度变化论文给出了3中选择.A: ze...

2020-03-27 16:01:03

List-wise Ranking

背景ranking is a prediction task on list of objects. 所以 point-wise, pair-wise 等方法的训练任务与工作场景有差异, list-wise 理应更好.list-wise ranking with S-IE该改论文见参考[1].Session Infomation Embedding (S-IE)算是一个预训练, task...

2020-03-08 15:21:09

基于Bert的Vison-Language多模态网络

多模态任务VQA用自然语言对给定图片作相关提问.Image-text retrieval图像-文本 跨模态检索,任务是根据语言描述,从候选中选定相关的图片, 反之亦然, 即也可以给定图片选文本.数据集如MSCOCO ,Flickr30K.模型套路模态表示文本. 同Bert一致, 分词后作 emb_lookup.图片. 用 Faster-RCNN 选定若干个 ROI(Regio...

2020-03-03 16:09:34

SR-GNN, 图网络召回

简述将用户的session序列构建成有向图,通过考虑item之间的转移关系, 更好的学习item emb及用户的向量表达.related work一些流行的GNN演变.word2vec, DeepWalk, LINE, node2vec.结构及解读网络结构nodes connectionAsA_sAs​ is defined as the concatenation of two...

2020-02-25 23:04:54

MMoE 多任务学习

背景论文见[1].MMoE, Multi-gate Mixture-of-Experts.底层共享,上层拆塔,是多任务学习的常规实现. 论文提出了使用多个expert(其实就是DNN), 并使用多个gate(expert_num 的 softmax) 的架构设计, 直观明了.网络结构图: 多任务学习的网络架构演化, c 为MMoE网络架构gate图: 截自论文的 gate 说明...

2020-02-15 12:13:33

多模态,常用数据集

VQAVisual Question Answeing. 看图并回答用自然语言表述的相关问题. 问题包括The goal of visual question answering (VQA) (Antol et al., 2015) is to answer a natural language question related to an image. We take VQA v2.0 da...

2020-02-06 13:57:04

多模态机器学习,MMML

总述多模态通常指 语音/文本/图像 等不同形态的特征. 同时,模态也可以有非常广泛的定义,比如我们可以把两种不同的语言当做是两种模态.很多人工智能的应用, 会同时涉及到多种模态的信息,所以它成了一个研究分支. 该分支下有以下几个领域.多模态表示学习multimodal representations.是指通过利用多模态之间的互补性,剔除模态间的冗余性,从而学习到更好的特征表示。主要包括两...

2020-01-27 23:43:31

tf predict 模型的预测模式

训练模型就是为了让其作预测. 笔记如下.model_fn预测的原理是, tf 进程构建了预测 mode下的计算图, 然后从 model_dir 中恢复变量, 就绪后作预测.# _model_fn 定义def _model_fn(features, # This is batch_features from input_fn labels, # This is...

2020-01-08 15:28:36

数学基础

多项式由数或字母的积组成的代数式叫做单项式,单独的一个数或一个字母也叫做单项式。单项式中的数字因数叫做这个单项式的系数(Coefficient),一个单项式中,所有字母的指数的和叫做这个单项式的次数(Degree of a monomial)。单项式是几次,就叫做几次单项式。在数学中,由若干个单项式相加组成的代数式叫做多项式.整式为单项式和多项式的统称,是有理式的一部分.因式分解, 是指...

2020-01-05 10:40:09

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。