- 博客(21)
- 收藏
- 关注
RSS订阅原创 深度学习推荐系统
深度学习推荐系统互联网的增长引擎 —— 推荐系统前深度学习时代 —— 推荐系统的进化之路协同过滤UCF矩阵分解FM浪潮之巅 —— 深度学习在推荐系统中的应用强化学习和推荐系统的结合Embedding 技术在推荐系统中的应用多角度审视推荐系统深度学习推荐系统的工程实现在线部分召回粗排（可选）排序业务策略近线部分离线部分推荐系统的评估深度学习推荐系统的前沿实践FacebookGBDT+LRDLRM (...
2020-06-01 12:08:26
4930
3
原创 Data Parallelism vs. Model Parallelism
在现在的DNN模型训练中，模型参数和训练数据量都大幅增加，因此需要使用multi-node（GPU） training来进行模型训练优化。Data Parallelism一般在batch数据上学习梯度训练模型，这样做的缺点是，因为每次学习到的梯度不一定代表全集梯度，所以模型收敛需要更多的时间。Data Parallelism的训练过程：在每一个GPU/Node上，使用相同的模型/参...
2020-04-22 14:45:56
706
原创 DNN训练技巧
Weight Constraint在训练过程中，weight constraint（比如L2 norm，max norm）能保证学到的权重较小，和weight penalty效果等价。如果权重较大，则说明模型从异常值里学到了噪音，容易导致模型过拟合、不稳定。在loss中加入weight penalty，当weight很大时，会增加penalty，loss也就变大，但是，weight penal...
2020-04-20 16:26:58
698
原创 Sequence-Aware Recommendation with Long-Term and Short-Term Attention Memory Networks（LSAMN）
Time：2019Author：Daochang Chen, Rui Zhang, Jianzhong Qi, Bo Yuan（清华）Abstract在电商场景下，一个session里各个购买商品对于预测下一个购买物品的权重是不同的。使用Attention Memory Network来学习每个session里的embedding、用户的长期兴趣和短期兴趣。Model ...
2020-04-17 19:38:46
658
1
原创 Neural News Recommendation with Long- and Short-term User Representation（LSTUR)
Time：ACL2019会议论文Author：Mingxiao An, Fangzhao Wu, Chuhan Wu, Kun Zhang, Zheng Liu, Xing XieAbstract论文介绍了一种能同时学习用户长期、短期兴趣的方法来推荐新闻。新闻编码器：从新闻标题和一级、二级类目中学习新闻的表示，并使用注意力机制来选择重要的词 用户编码器：从用户id的embe...
2020-04-17 18:49:36
2319
2
原创 Recommending What Video to Watch Next: A Multitask Ranking System
Time：Author：Zhe Zhao, Lichan Hong, Li Wei, Jilin Chen, Aniruddh Nath, Shawn Andrews, Aditee Kumthekar, Maheswaran Sathiamoorthy, Xinyang Yi, Ed ChiAbstract推荐系统中面临的两大问题：存在潜在冲突的多目标问题 用户反馈中的i...
2020-04-15 12:07:34
439
原创 Youtube DNN
Time：2016-09Author：Paul Covington, Jay Adams, Emre SarginAbstractYoutube推荐存在三个主要挑战：Scale：Youtube拥有非常大规模的用户和视频量，一个分布式算法和高效的serving系统非常必要 Freshness：Youtube每秒钟都有好几个小时的视频上传，因此基于最新的视频和用户最近的行为进行...
2020-04-15 12:07:19
921
原创 Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations
Time: September 2019Author: Xinyang Yi, Ji Yang, Lichan Hong, Derek Zhiyuan Cheng, Lukasz Heldt, Aditee Kumthekar, Zhe Zhao, Li Wei, Ed ChiAbstract工业界目前训练双塔结构一般是通过随机mini-batch的方式来优化损失函数（in-ba...
2020-04-15 12:07:05
1353
原创 A/B测试系统
一个完整的A/B测试系统至少要有实验管理、分流模块、业务接入、数据采集和结果分析5个模块。实验管理试验管理是A/B实验配置后台，包括创建A/B测试实验、配置实验参数配置、增加新的A/B测试分组、调整A/B测试方案各个组的比例分流模块一个好的分流分流模块可以让流量分配的更均匀随机，同时需要具备根据用户、地域、时间、版本、系统、渠道、事件等各维度来对请求进行分组的能力，并且保证分...
2020-04-09 15:25:56
513
原创 推荐之冷启动算法
目的：当一个新用户进来的时候，我们没有他的历史行为记录，就需要一个策略来快速探索用户的兴趣点以便留住客户。EE问题：EE问题又叫exploit-explore问题。Exploite就是对用户比较确定的兴趣，推荐响应的内容来吸引用户，Explore就是探索用户新的兴趣点，可以长期留住客户。Bandit算法：用分类或者topic来表示用户兴趣，我们可以通过几次试验，来获得用户对每个类别...
2020-03-29 16:42:05
863
原创 metapath2vec: Scalable Representation Learning for Heterogeneous Networks
Time:Author: Yuxiao Dong, Nitesh V. Chawla, Anathram Swamihomogeneous networks: representation of singular type of nodes and relationships, such as DeepWalk, LINE, and node2vec heterogeneou...
2020-03-24 12:54:44
495
原创 Entire Space Multi-Task Model: An Effective Approach for Estimating Post-CVR (ESSM）
Author：Xiao Ma, Liqin Zhao, Guan Huang, Zhi Wang, Zelin Hu, Xiaoqiang Zhu, Kun Gai (Alibaba)Time：2018-04-24Abstract传统CVR模型的缺点：sample selection bias：只使用点击数据作训练，却在所有曝光数据上作推理，模型的泛化性差 extreme ...
2020-03-17 11:40:40
430
原创 DeepCTR模型优缺点对比
模型 时间 模型结构 优缺点 FNN 2016.01 LR Embedding Layer MLP FM需要预训练 无法拟合低阶特征 每个field只有一个非零值的强假设 PNN 2016.11 Embedding Layer Product Layer...
2020-03-01 16:40:05
1188
原创 RecSys2019 最佳论文 Are We Really Making Much Progress?
时间：2019.08作者：Maurizio Ferrari Dacrema, Paolo Cremonesi, Dietmar JannachAbstract：文中提出两个推荐系统论文的问题：论文结果的reproducibility baseline model的选择作者挑选了18篇2018年发表的深度学习方向的论文（top-n recommendation方向），其中7...
2020-02-27 17:04:27
288
原创 Collaborative Deep Learning
作者：Hao Wang, Naiyan Wang, Dit-Yan Yeuing时间：2015.06.18Abstract:CDL是一个hierarchical Bayesian model，从content information中学到特征，从rating matrix中学到items、users之间的关系和相似度。文中使用SDAE（stacked denoising auto...
2020-02-24 23:19:40
1011
原创 Neural Collaborative Filtering
时间：2017.08.26作者：Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie, Xia Hu, Tat-Sent ChuaAbstract以往deep learning模型只用在content information上，比如描述商品的文字、音乐、图片，对于用户、物品的交互信息，用的还是MF（隐向量之间的点乘）来学习。而NCF在im...
2020-02-24 21:48:14
365
原创 AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks
时间：2019.08作者：Weiping Song, Chence Shi, Zhiping Xiao, Zhijian Duan, Yewen Xu, Ming Zhang, Jian TangAbstract使用Multi-head self attention来进行自动特征交叉学习Model ArchitectureEmbedding Layerc...
2020-02-24 20:08:48
1379
原创 Combining Feature Importance and Bilinear feature Interaction for CTR Prediction (FiBiNET)
时间：2019.05作者：Tongwen Huang, Zhiqi Zhang, Junlin ZhangAbstract文中使用Squeeze-Excitation Network（SENET）动态学习特征的重要性，并且使用bilinear function学习特征组合Model Structure SENET LayerSqueeze：...
2020-02-24 19:36:25
664
原创 Feature Generation by CNN (FGCNN)
时间：2019.04作者：Bin Liu, Ruiming Tang, Yingzhi Chen, Jinkai Yu, Huifeng Guo, Yuzhou ZhangAbstractFeature Generation模块自动提取有效特征，它利用CNN提取local patterns并且使用MLP生成新的全局特征组合，这解决了CCPM（2015）只提取相邻特征组合的问题。...
2020-02-24 18:58:52
696
原创 Collaborative Memory Network for Recommendation Systems
时间：2018.06作者：Travis Ebesu, Bin Shen, Yi FangAbstract：memory module: stacking multiple memory modules yield deeper architectures capturing increasingly complex user-item relationsneural attenti...
2020-02-21 16:58:43
404
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人