- 博客(40)
- 收藏
- 关注
RSS订阅原创 去中心化的联邦图神经网络
《Decentralized Federated Graph Neural Networks》论文阅读笔记发表在2021年的IJCAI背景GNN广泛用来分析图结构数据，然而，在用户端有隐私，规则限制，商业竞争等。因此，我们能看到的图结构数据是分布式的，这也就限制了GNN的应用。已有方法已有一些关于中心化联邦图神经网络的研究，中心服务器协调各个参与者从图结构数据中训练的GNN模型。存在问题中心服务器需要进行模型聚合操作，在很多跨领域场景下，这种中心服务器是不被接受的。因此，去中心化的学习模型在
2021-12-14 17:37:58
16428
原创 FedGraph：GCN与联邦学习的结合
这里写目录标题《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记《FedGraph: Federated Graph Learning with Intelligent Sampling》论文阅读笔记背景：FL能够在分布式设备中协同机器学习，同时保护数据隐私，因此受到了研究关注。然而，现有的FL主要关注卷积神经网络，在学习图像和声音数据上具有较高的准确性，但很多应用都是生成图结构数据，CNN并不能有效处理图结构数
2021-12-14 15:57:14
2717
原创 k-阶特征交叉增强图卷积网络
@《》《Cross-GCN: Enhancing Graph Convolutional Network with k-Order Feature Interactions》论文阅读笔记何向南老师团队发表于2021年，TKDE背景图作为一种数据结构，已经应用到了数字化图书馆，推荐系统，问答系统等信息检索应用中。随着深度学习的发展，图挖掘技术已经从结构理解转换到了特征学习。为预测分析（节点分类，边连接）提供一种通用的方式。图卷积网络GCN是从图数据中学习的一种新兴技术。在图结构上进行特征学习，通
2021-12-01 21:40:28
1386
原创 分层式个性化联邦学习建模用户
《Hierarchical Personalized Federated Learning for User Modeling》论文阅读笔记发表在2021，WWW背景：用户建模是获得用户潜在特征的关键，在推荐系统中，用户建模可以辅助建模用户的兴趣。但通常这个过程是中心化训练的，会泄露隐私。考虑到个人数据的隐私性和敏感性，提出一些规则来限制个人数据的使用。FL可以安全分布式的建模用户，受到广泛关注。但它假设数据是独立同分布的，不同客户端简单的初始化本地模型。这些假设限制了FL去适应不同信息且异构的模型。
2021-11-04 14:30:16
1628
原创 借助喜好传播GraphNet的跨域推荐
《Cross-Domain Recommendation via Preference Propagation GraphNet》论文阅读笔记发表在2019年CIKM背景：用户和项目的交互可以被视为图中连接预测问题。单个域中生成的图可能会面临冷启动和数据稀疏性问题，用多个域扩充，即叠加跨域用户项目交互图，引起了广泛的研究。已有方法：已有的跨域推荐方法主要通过隐空间知识迁移建模域内交互。NeuMF+简单的共享用户的嵌入向量。NATR也利用了潜在的知识迁移，通过不共享用户的信息保护隐私。存在问题：
2021-11-01 22:02:51
304
原创 基于神经图匹配的协同过滤算法
《Neural Graph Matching based Collaborative Filtering》论文阅读笔记发表在2021，SIGIR背景：协同过滤是推荐系统中使用最频繁的一个算法，它是基于假设：相似的用户在相似的项目上有相同的喜好。面临的挑战：如何考虑用户，项目属性来增强预测的性能。不同的属性交互对于最终的预测结果也是不同的。比如，电影推荐是预测一个用户对于电影的喜好，因此，属性交互可以分为两类，内部交互：用户或者项目之间的交互；交叉交互：用户和项目之间的交互。两种属性交互：内部交互
2021-10-29 17:15:31
519
原创 联邦学习与神经协同过滤模型的结合
《Federated Neural Collaborative Filtering》论文阅读笔记发表在2021，SIGIR1. 背景：推荐系统能够收集用户的不同特征，如地理位置，评分，与特定物品的交互，目标是根据近期用户的交互行为预测未来的喜好。传统的推荐系统中，用户的喜好及学习到的用户特征都与可能泄露敏感信息，因此，需要设计一个鲁棒性的推荐系统。联邦学习目前已在业界和学术界受到广泛关注，但是，（1）机器学习技术在联邦推荐系统的背景下仍有待开发；（2）隐私信息还是有可能泄露。2. 本文：FedNC
2021-10-28 10:00:41
730
原创 双向迁移图协同过滤GCF的跨域推荐
2020，CIKM《Cross Domain Recommendation via Bi-directional Transfer Graph Collaborative Filtering Networks》背景：个性化推荐充分利用用户的历史交互数据来预测用户可能购买的商品。协同过滤是个性化推荐的常用方法，基于相似用户或项目学习推荐模型，CF的关键是有效学习用户项目特征。GCN也是一种提取特征的有效方法。数据稀疏性是推荐系统面临的问题。已有方法：跨域推荐利用相关域的信息能够有效地解决数据稀疏性
2021-04-24 21:48:05
1182
原创 多目标跨域推荐相关
2020，Recsys《HeroGRAPH: A Heterogeneous Graph Framework for Multi-Target Cross-Domain Recommendation》背景：协同过滤是推荐系统中的有效技术，但是会面临数据稀疏性问题。跨域推荐能够解决，将一个域的信息迁移到另外一个域中，提高推荐性能。已有研究：CDR主要分为两类：单目标CDR和双目标CDR。大部分CDR都属于STCDR,DTCDR近几年才开始研究（通常有两种方法建模双目标：基于共同用户；利用映射函数
2021-04-23 14:00:37
1368
原创 跨域推荐综述文章阅读
2021年，IJCAI《Cross-Domain Recommendation: Challenges, Progress, and Prospects》跨域推荐的动机：实际应用场景中，少量的用户提供评分或者评论，传统的协同过滤方法会面临数据稀疏性问题，尤其对于新用户新产品（冷启动问题）。跨域推荐（2007年提出）：使用相对丰富域上的信息提高稀疏域上推荐的准确性。关于CDR的综述：Cross-domain recommender systems: A survey of the state of
2021-04-21 20:32:07
920
原创 基于深度学习的推荐系统中的毒药攻击
发表于2021年的NDSS，首个在基于深度学习的推荐系统中进行毒药攻击的研究。《Data Poisoning Attacks to Deep Learning Based Recommender Systems》论文阅读笔记背景：（1）推荐系统，从基于近邻，关联规则，矩阵分解，到基于深度学习的模型（非线性变换，传统方法达不到，性能好），已在工业界得到广泛应用。非个性推荐系统：给所有用户推荐相同的项目；个性化：根据用户的历史行为建模兴趣，给每个用户推荐排名靠前的几个（2）推荐系统中的毒药攻击：
2021-01-20 11:10:06
1605
原创 CTR中首个联合训练matching和ranking的研究
阿里发表于2020年的AAAI，首个联合训练matching和ranking的模型《Deep Match to Rank Model for Personalized Click-Through Rate Prediction》论文阅读笔记背景：召回和排序是推荐系统中的两个阶段，在召回阶段使用协同过滤计算用户项目的相关度，从而选择出最相关的项目。在排序阶段，根据召回得分对项目进行排序。CTR预测是推荐中的核心任务。已有方法：许多基于DL的方法学习特征交互，关注网络结构。有些研究从用户的行为数据
2020-12-24 13:27:23
353
3
原创 多交互注意网络进行特征学习
发表于2021年WSDM《Multi-Interactive Attention Network for Fine-grained Feature Learning in CTR Prediction》论文阅读笔记背景：CTR预测，估计用户点击项目的可能性，在线广告，推荐系统等应用中很重要。候选的项目根据CTR排序。已有方法在CTR预测中，监督式机器学习方法，如LR，FM及其变体学习浅层特征交互；深度学习模型学习复杂的特征交互，如wide&deep，deepFM，deep &
2020-12-23 17:29:33
690
1
原创 考虑二分图中全局特征的图嵌入方法
2021,WSDM《Bipartite Graph Embedding via Mutual Information Maximization》论文阅读笔记背景：二分图：建模两种类型节点的关系，边表示它们之间是否有交互。已有方法：图嵌入的方法从图中学习节点特征，但并不是为二分图设计的，可能会陷入局部最优。其他研究主要分为：（1）基于随机漫步：生成不同的节点序列，通过预测滑动窗口中的上下文节点来学习节点特征。（2）基于重构：通过学习不同的编码器重构邻接矩阵。存在问题：假设节点都与其邻居节点
2020-12-16 10:04:23
976
原创 同时考虑用户兴趣和社交影响变化的动态图
2019，WSDM《Session-based Social Recommendation via Dynamic Graph Attention Networks》论文阅读笔记推荐中面临挑战：（1）用户兴趣是动态变化的；（2）用户会受到朋友的影响，而且影响者是动态的（用户在搜索滑稽电影时会受到喜欢喜剧朋友的影响；而在搜索动作片时，可能会受到另一组朋友的影响）已有方法：为了获得用户的动态兴趣，将用户的行为划分为子序列（会话），在当前会话中给用户推荐下一个感兴趣的项目。此外，朋友也会对推荐
2020-12-14 11:26:15
287
原创 阿里考虑时空相关广告的CTR预测
阿里，2019，KDD《Deep Spatio-Temporal Neural Networks for Click-Through Rate Prediction》论文阅读笔记背景：CTR预测用户点击某个项目的概率。已有方法：FM，DNN，wide&deep关注怎么更好的表示特征以及特征交互。存在问题：大量研究将每个广告单独考虑，忽视了其他广告对目标广告CTR的影响。解决问题：（1）模型怎样容纳所有可能的（每一类辅助数据的个数不同）情况；（2）怎样提取有用信息；（3）怎样区
2020-12-11 10:03:43
178
原创 阿里跨域点击率预估混合兴趣模型
2020，CIKM《MiNet: Mixed Interest Network for Cross-Domain Click-Through Rate Prediction》论文阅读笔记背景：点击通过率预测（CTR）是在线广告系统的关键任务，预测用户点击某特定广告的概率，已应用到工业和学术界。已有方法：FM建模点对特征交互；DNN自动学习特征和高阶特征交互；wide&deep混合浅层和深层模型；DIN基于历史行为建模用户的动态兴趣。存在问题：主要处理单域CTR预测问题。
2020-12-10 10:19:44
223
原创 利用自注意卷积网络处理评论信息
《A Hierarchical Self-attentive Convolution Network for Review Modeling in Recommendation Systems》论文阅读笔记背景：从评论中学习用户，项目的特征是非常重要的，可以解决数据稀疏性问题，提高推荐性能。已有方法：（1） 基于CNN的模型从评论中提取特征；（2） 基于RNN的方法从评论中学习上下文特征。存在问题：（1） 关注局部，不能建模文本中的长期依赖关系；（2） 不能并行计算，模型训练慢。
2020-12-09 10:04:51
150
原创 处理动态图的图神经网络
汤吉良老师团队发表于2020年的SIGIR《Streaming Graph Neural Networks》论文阅读笔记背景：图能够很好的表示实际数据（如社交网络，传输网络）。利用神经网络建模图结构数据，学习特征表示，改善图相关任务（如边预测，节点分类）的性能。已有方法：图神经网络（扩展传统的神经网络）用来处理图结构相关的任务。存在问题：已有的图神经网络都是为静态图设计的，不能利用动态图（比如社交网络中新用户加入或者有新的关系时）中的信息（已被证明能够促进各种图分析任务，如社区发现、边预测等
2020-12-07 17:14:00
5480
原创 基于异构信息网络的推荐
发表于2019年TKDE《Heterogeneous Information Network Embedding for Recommendation》论文阅读笔记异构信息网络建模RS中复杂异构的辅助数据（基于HIN的推荐）。挑战：提取和利用HIN中的信息。已有方法：利用基于路径的相似性进行推荐，不能完全挖掘用户，项目的潜在结构特征。存在问题：（1） 当路径连接稀疏或者存在噪声时，基于路径的相似性不可靠；（2） 主要描述语义相似性，不能直接应用到RS中。本文：通过异构网络嵌入方法学习节点嵌入
2020-12-03 20:05:50
975
原创 动态调整嵌入向量的维数
汤吉良老师团队，发表于2020的SIGIR《Automated Embedding Size Search in Deep Recommender Systems》论文阅读笔记背景：深度推荐系统，将用户项目表示为低维嵌入向量，然后输入到深度神经网络中进行预测。基于深度学习的推荐系统，能够很好的学习用户，项目的特征表示，而且还能建模用户，项目之间的非线性关系。已有方法：用户，项目的嵌入向量大小固定统一。软选择嵌入向量的大小。存在问题：推荐性能并不是最优，并且空间复杂。（1） 不同的用户，项目
2020-12-02 14:48:46
992
原创 推荐系统中嵌入向量维数选择
《AutoEmb: Automated Embedding Dimensionality Search in Streaming Recommendations》论文阅读笔记背景：基于深度学习的推荐系统，能够有效获得用户项目之间的非线性关系，并学习他们的特征。主要由三部分组成：（1） 嵌入层：将用户项目特征从高维空间映射到低维空间中；（2） 隐藏层：对输入特征进行非线性变换；（3） 输出层：基于特征进行预测已有研究：为用户，项目嵌入向量预定义一个固定统一的维数。重点关注隐藏层和输出层。存
2020-12-02 09:47:34
1986
原创 对抗性社交推荐
发表于2019年IJCAI《Deep Adversarial Social Recommendation》论文阅读笔记背景：社交网络能改善推荐的性能，社交信息通过置信传播获得。已有方法：将用户-项目交互和用户-用户关系统一成用户特征表示。存在问题：（1）以用户作为两个域连接的桥梁，但用户的行为和交互在两个域中是不同的，因此在两个域中得到的特征是异构的；（2）采用负采样技术优化用户，项目特征，是无效的（原因：在训练阶段，许多负用户-项目样本仍在真实用户-项目样本中，但在后期优化中，负采样无
2020-11-30 15:23:04
315
2
原创 社交推荐相关论文
发表于2019年RecSys《Deep Social Collaborative Filtering》论文阅读笔记背景：除了用户-项目交互，社交网络也能提供用户喜好的有用信息。社交理论中提到，用户会受到邻居的影响，这就出现了相似喜好的同质现象。深度神经网络在推荐系统中用来提取用户特征。存在问题：而现有的深度神经网络技术并不能充分利用社交网络信息。（1） 只利用直接邻居的信息；用户可能会受到间接邻居的影响 + 当直接邻居无法共享有用信息时，用户需要间接邻居（弱关系）。（2） 平等对待每一个邻居信
2020-11-28 09:10:47
721
2
原创 基于GNN的社交推荐系统
发表于2019年WWW《Graph Neural Networks for Social Recommendation》论文阅读笔记GNN，融合了节点信息以及结构信息，在图结构数据中学习。在社交推荐系统中可以将用户-用户社交图，用户-项目图作为系统中的数据，学习用户和项目的特征，因此GNN在处理的时候有很大的优势。问题：基于GNN建立社交推荐系统面临挑战：（1） 需要从用户-项目图，社交图中获得用户特征，怎样结合这两个图；（2） 用户-项目图中不仅包含用户项目之间的交互，还有评分。怎样获得用户项目
2020-11-27 11:49:23
2374
2
原创 在稀疏域中发现用户社区
发表在2020年SIGIR《Detecting User Community in Sparse Domain via Cross-Graph Pairwise Learning》论文阅读笔记背景：网络空间（以社交媒体和电子商务为例）中包含大量用户和项目交互，这些关系通常用二分图表示。在这种异构图中发现用户社区（发现用户信息，进一步增强推荐性能）是一个关键任务。对于全连接图，使用传统方法就能直接在节点上估计连通性并生成高质量的社区，而对于稀疏连接图，社区发现算法很难得出有用的信息优化社区结构。存在问题
2020-11-26 10:55:11
172
原创 针对一个密集域，多个稀疏域的跨域推荐
发表在2020年的SIGIR上《Transfer Learning via Contextual Invariants for One-to-Many Cross-Domain Recommendation》论文阅读笔记已有方法（跨域共聚类）：利用不同域中共享的用户和项目提高推荐的质量。存在问题：仅依赖共享的评分数据，无法扩展到多个稀疏目标域（即一对多迁移）。本文：在密集和稀疏域共享相同的部分，改进在稀疏域中学习到的用户和项目特征。利用跨域上下文不变性来开发这些共享模块，并验证了在用户项目交互的上下
2020-11-23 17:50:53
480
3
原创 因式分解处理具有隐式反馈的数据集
《Factorization Machines for Datasets with Implicit Feedback》论文阅读笔记FM是协同过滤一种分解模型，比其他的CF模型有优势。存在问题：FM是针对具有显式反馈（如评级）的数据集进行优化的，对于具有隐式反馈（如点击）的数据集并不是很有效。本文：提出FM-Pair（带有成对损失函数的因式分解机，对于具有隐式反馈的数据集是有效的）。 FM-Pair中的优化模型是基于BPR（Bayesian Personalized Ranking）准则建立起来的成对
2020-11-20 10:03:13
177
原创 跨域相关最新论文
《Towards Equivalent Transformation of User Preferences in Cross Domain Recommendation》论文阅读笔记跨域推荐解决数据稀疏性问题。针对场景：不同的域共享相同的用户数据集，但是项目不同。已有工作：大多数方法研究跨域迁移共享用户的特征。问题：共享用户的特征旨在不同域中学习重合的部分，而减小用户在不同域中特定喜好的影响。本文：学习用户在不同域中重合以及特定的属性。具体：假定用户在不同域中的喜好是相关的，一个域中的喜好可以
2020-11-19 11:00:49
411
原创 社交推荐解决冷启动问题
《Attentive Social Recommendation: Towards User And Item Diversities》论文阅读笔记社交推荐系统：利用用户之间的社交关系以及用户-项目评分预测用户评分（通常用图结构表示），已被证明可以解决冷启动和数据稀疏性问题。Social factor: 受社交图中邻居的影响；User-rating factor: 用户主观上评分的影响；Item-rated factor: 所有评分对项目的影响。问题：没有充分利用用户/项目的多样性。应该更多地考
2020-11-16 09:58:20
336
原创 使用联邦学习解决推荐系统中的隐私泄露问题
推荐系统中的安全问题《A NOVEL PRIVACY-PRESERVED RECOMMENDER SYSTEM FRAMEWORK BASED ON FEDERATED LEARNING》论文阅读笔记推荐系统：解决信息过载的问题。RS需要收集用户个性化信息和行为，从而得到用户的喜好。存在问题：集中收集的数据对隐私敏感，任何泄漏都可能给用户和服务提供商带来严重问题。推荐系统中的隐私威胁：（1） 内部威胁：好奇或者不诚实的服务提供者；（2） 外部威胁：黑客攻击。隐私泄露的案例：（1）2015年5
2020-11-15 16:57:59
1722
1
原创 在知识图谱中进行伪标记解决RS中的冷启动问题
发表于2021年WSDM《Alleviating Cold-Start Problems in Recommendation through Pseudo-Labelling over Knowledge Graph》论文阅读笔记待解决问题：对于推荐系统中的新用户和新项目，解决数据稀疏性问题是必要的。目前的研究：大多将未观测到的样本视为负信号。存在问题：经常将新项目作为负信号处理，可能会导致对已经流行的项目的结果产生偏差。本文：基于图神经网络提出了一个知识图谱感知的推荐系统，通过伪标签来增加标记样
2020-11-15 10:55:14
927
原创 GNN应用在推荐系统中综述
《Graph Neural Networks in Recommender Systems: A Survey 》阅读笔记推荐系统的关键：从用户-项目交互历史或者辅助信息（如社交关系，知识图谱等）中学习用户项目的特征。根据推荐系统是否考虑项目的顺序，可以将推荐分为两类：一般推荐（评分预测/前N推荐）和序列推荐（推荐用户可能点击的下一个项目，即next item 推荐）。为什么要用GNN：由于大多数信息本质上都是图结构，GNN在特征学习方面具有优势。因此在推荐系统中应用GNN是有研究前景的。为什么要在
2020-11-13 16:11:04
610
原创 GCN在推荐系统中的应用
《Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach 》论文阅读笔记图卷积网络GCN（迭代叠加多层卷积聚合操作和非线性激活操作）是最新的基于图的特征学习模型，已经广泛应用到了很多领域，社交网络分析，交通网络，推荐系统等。CF从用户的历史交互数据中学习用户和项目的嵌入向量，提供项目推荐，若将用户的历史交互行为看成是一个二分图，CF就是在图中进行边的预测。
2020-11-07 15:40:59
2353
原创 序列推荐论文阅读笔记
《Memory Augmented Graph Neural Networks for Sequential Recommendation》阅读笔记用户将会接触的项目取决于之前所接触的项目。序列推荐系统面临的挑战：（1）短时间内用户喜好难以建模；（2）长期用户喜好难以获取；（3）有效建模项目的共现模式。本文：图增强神经网络获得长短期用户喜好。具体：使用图神经网络建模短时间内项目的上下文信息，利用共享的记忆网络获得项目之间长期的依赖关系。对于用户兴趣的建模，使用双线性函数来获得相关项目的共现模式。
2020-11-06 15:49:35
365
原创 推荐系统相关论文阅读笔记
Deep Pairwise Hashing for Cold-start Recommendation 论文阅读笔记在线推荐的挑战：推荐效率和数据稀疏性问题。本文：数据稀疏性问题：统一用户-项目交互和项目内容信息，有效学习用户和项目的特征表示。效率问题：提出Deep Pairwise Hashing (DPH)，将用户和项目映射到汉明空间的二进制向量。具体：首先通过Denoising Auto-encoder从项目内容中预训练项目的特征，然后添加一个带有离散约束的成对损失对整个框架进行微调。此外，
2020-11-05 19:26:20
220
原创 Sequential相关论文阅读笔记
分享一些最近阅读的WangYan老师团队的文章《Sequential Recommender Systems: Challenges, Progress and Prospects 》问题：传统的推荐方法没有考虑一段时间内序列用户行为，用户项目交互，用户喜好和项目受欢迎程度的变化。sequential recommender systems (SRSs)：将用户-项目交互视为动态的序列。输入一系列用户-项目交互，预测在不久的将来可能发生的后续用户-项交互。为什么需要SRSs？（1）用户-项目交
2020-10-24 17:53:58
189
原创 《Group-Buying Recommendation for Social E-Commerce》论文阅读笔记
《Group-Buying Recommendation for Social E-Commerce》团购：社交电子商务中一种新兴的购买模式，能够吸引用户，提高平台的收益。问题：为团购设计一个个性化推荐模型。本文：考虑到有多种类型的行为（启动和加入）和结构化的社交网络数据，首先构造有向异构图（用来表示行为数据和社交网络），利用嵌入传播设计一个图卷积网络模型（提取复杂的高阶图结构，学习嵌入表示），最后设计一个double-pairwise损失函数来提取喜好信息。构建（组）阶段：用户[发起者]共享感兴趣
2020-10-15 18:39:18
555
原创 推荐系统论文阅读笔记
分享一些最新的论文阅读笔记《Overcoming Data Sparsity in Group Recommendation》目的：给一组用户进行推荐。主要问题：怎样聚合个人的喜好来推断一个组的决策。已有工作：传统的组推荐方法使用预先定义的聚合策略。缺点：静态，不能建模复杂的组决策过程。本文：利用二分图嵌入模型（建模组-项目之间的关系），自注意机制（解决用户-项目交互稀疏的问题，利用用户的社交网络增强用户的特征学习）和图卷积网络，学习组和用户的喜好。背景：随着智能手机，社交网络服务的发展，人们
2020-10-14 14:35:23
677
原创 Pytorch中model.train()和model.eval()
@[TOC]Crystal的博客Pytorch中model.train()和model.eval()问题：刚开始接触pytorch时，发现别人的代码中，会在训练模型的一开始写上model.train()，对应的，在测试模型一开始写上model.eval()。我尝试不使用这两句，发现程序仍然能够正常运行，所以就非常好奇这两句有什么作用，为什么要这么写。解答：（1） 用法：这两个方法是针对在模型训练和评估时采用不同的方式的情况。如果模型中有BN层(Batch Normalization）和正则化Dro
2020-10-05 16:04:00
308
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人