- 博客(70)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 dsp平台怎么分发成百上千亿的流量？
运营团队根据规则对这些流量进行分发，以分发到外部，也就是合作的广告主（腾讯、网易等）为例。广告主对这些流量进行选择是否竞价以及竞价多少，然后回传给我们素材，我们再对多个同一个流量的多个竞价公司进行对比（同一个流量可能同时分发给多个广告主），然后选择其中之一返回给“媒体方”（媒体方那边也不止一个dsp第三方广告平台，会有多个平台来共同参与）去参与竞价，最后是否再进行展示（可能还会有自有广告流量，那就是自有广告+第三方广告的联合竞价）
2023-07-11 00:11:09
525
原创 lora，固定模特+固定衣服，怎么实现？
在电商行业，经常会有一个需求，就是把固定的衣服让模型穿上，然后拍很多的图片，放在商品主图、详情页、买家秀......人工智能发展到现在，最近aigc也挺热门的，有没有办法用“人工智能”算法就实现这个功能，下面讲解下我在这个点上的探索（出于任务肖像权，这里将人脸进行模糊处理）
2023-06-12 02:28:44
1942
5
原创 淘宝搜广推技术备注
可能是想拿到cate_attention这种收益(在精排上已经验证是很有效的，sim)，所以增加了左边这个结构，淘宝的用户体系在30亿左右，日活在3.5亿左右，不用对着3.5亿用户都存储在每种cate上的向量，只需要做过去N天（比如60天活跃），cate也是选择交互过的cate，这样做出来的kkv表，数据量就不是特别大了，可以满足线上性能，再把emb维度缩小点，这样性能会更好一点。uctr是用户的ctr（比如进入淘宝首页的用户量是3亿，从这里进入淘宝直播宫格的是1亿，那么uctr是0.33）；
2023-05-05 20:18:31
952
1
原创 沉浸式推荐业务和信息流推荐业务
但是点其中任何一个商品进去会出现大约80%是A商品，下面的20%会漏出B商品（这个功能很重要，属于引导下滑，会给浏览深度这个指标造成很大的影响），这个又属于”沉浸式推荐“。淘宝app首页中部有个“有好货”icon/宫格，这里面的每个内容和猜你喜欢有明显的差别，有推荐，有推荐的文字，有优势，有回头客，有多少年老店这种展示，产品之所以设计成这样，目的一是导购、二是推荐好产品给用户提高用户对产品的依赖性、三是沉浸式推荐，就是通过这种很全面、花里胡哨的界面让用户产生和刷抖音一样的感觉，也属于是”沉浸式推荐“。
2023-05-05 20:18:22
277
原创 大模型，真的有未来吗？
业界最近比较热门的应该就是大模型这个事情了，从openai发布chatgpt为开始，国内外众多公司~名人都有相应的反映。这真的是一件很有价值的事情吗，今天博主就来聊聊自己的看法文章从这样几个点出发看下，一是业界公司的一些消息，二是大模型对普通公司、个人来说可以干一些啥，三是谈谈未来情况。
2023-05-05 20:15:38
341
原创 pepnet：通过注入个性化的先验信息来训练参数化、嵌入化的个性化网络
设计思想可能是：主干网络和ppnet网络层次分明、各干各的事，如果混在一起在快手这边可能效果不好。每个tower的N个mlp层乘不乘ppnet的输出都可以，如果只是ppnet的话，可以只乘到最底层的特征嵌入层。翻译：多任务重点在拟合不同任务之间的分布，但是忽略了多领域(场景)下特征空间的不同点。如果把这种先验知识放在最底层，那么在网络向上传播的过程中这种信息会变得非常弱，所以在哪里、怎么设计是很重要的一环。同一场景下的不同目标之间、不同场景下同一目标，样本稀疏程度、特征空间、用户分布等都是差异。
2023-03-14 17:34:26
762
原创 变分学习框架
https://arxiv.org/pdf/2201.10980.pdf因为样本量较少，所以基于点估计的学习架构是不置信的1：我们提出了一个具有可解释概率嵌入生成过程的通用变分嵌入学习框架 (VELF)，以缓解 CTR 预测中的冷启动问题。sparse和dense层是端到端学习的。2：利用丰富的辅助信息，学习新颖的参数化和正则化先验，旨在进一步改进我们模型的泛化能力。3：在三个基准数据集上进行了广泛的实验。结果验证了我们提出的 VELF 的有效性和提出的参数化和正则化先验的优势。......
2022-07-01 23:39:17
272
原创 双重迁移学习框架来改进长尾item推荐
从头部item把信息迁移到尾部item。我们提出了一个共同学习知识迁移的学习框架。1. 模型级指样本迁移，2. 样本级指迁移item特征信息𝜃1->𝜃 ∗，左边是模型参数迁移。右边是特征迁移1：很多现有的迁移学习方法都是经过在源任务上预训练，再在最终目标任务上进行微调，这个需要两个数据有同分布，但是头部和长尾不存在这个分布2：推荐系统中，头部item会重点影响用户体验，推荐尾部有风险.........
2022-05-19 11:27:25
360
原创 Gradient Surgery for Multi-Task Learning
参考文章：论文阅读：Gradient Surgery for Multi-Task Learning - 知乎
2022-04-26 19:16:13
540
原创 直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排(3) - loss权重的4种方案
直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排(3) - loss权重的4种方案
2022-04-23 03:01:03
2123
原创 Progressive LayeredExtraction(PLE):ANovelMulti-Task Learning(MTL)ModelforPersonalizedRecommendations
重点回顾1：多个目标分数怎么融合？其中每个 w 确定每个预测的相对重要性score, f (video_len) 是视频时长中的非线性变换函数，例如 sigmoid 或 log 函数。wV T R,wV CR,wSH R,wCMR是通过在线实验搜索优化的超参数，目的是最大化在线指标。2：解决了mmoe每个任务都是从共享专家网络中进行选择，ple除了共享专家网络还有自己的独有网络，然后这些合并在一起（假设有8个专家网络，4个独有网络），那么就有12个softmax过后的权重进行相乘3：不.
2022-04-10 19:52:49
1437
原创 Modeling Task Relationships in Multi-task Learning withMulti-gate Mixture-of-Experts
许多基于 DNN 的多任务模型对：数据分布、任务之间的差异很敏感，导致并不一定是多任务会优于单模型每个专家网络是一个前馈网络门控网络采用输入特征，输出专家的不同权重的softmax门为了解 MMoE 如何针对不同级别的任务，学习其专家和门控网络，我们用 Pearson 相关性来衡量不同任务之间的相关性。 与 [24] 类似，我们使用两个合成回归任务并使用正弦函数作为数据生成，引入非线性的机制。 我们的方法表现出色，尤其是在任务相关时低时。 在这组实验中，我们还发现 MMoE 是在多次运.....
2022-04-09 11:52:37
1334
原创 The LambdaLoss Framework for Ranking Metric Optimization
论文地址:https://storage.googleapis.com/pub-tools-public-publication-data/pdf/1e34e05e5e4bf2d12f41eb9ff29ac3da9fdb4de3.pdf如何优化排名指标，例如标准化折扣累积增益（NDCG）是一个重要但具有挑战性的问题，因为排名指标在任何地方都是平坦的或不连续的，这使得它们很难直接优化。在现有的方法，LambdaRank 是一种新颖的算法，它在loss计算上结合了Metric排序指标，一般来说loss是尽.
2022-04-04 00:41:18
1429
原创 直播推荐、搜索中的召回、相关性、多目标精排、特征、重排、样本 - 样本
1：负样本采样全民K歌直播推荐算法实践对于没有正样本的请求，所有的都是负样本对于有正样本的请求，可以采用skip-above（正样本位置前面的样本才可作为负样本，后面的样本当做是用户没有交互过）；click-around（博主对这个做法也没有实际尝试过，做法应该是定义正样本后面N个位置也可以当做负样本）......
2022-03-06 11:13:49
427
原创 直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排(1)
直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 多目标精排
2022-03-03 08:46:21
954
1
原创 直播推荐、搜索中的召回、相关性、多目标精排、特征、重排 - 重排篇
一、YY直播的重排思路Dolphin.海豚会|基于推荐算法提升直播业务的效能实践_用户二、全民k歌的重排设计腾讯音乐：全民K歌推荐系统架构及粗排设计
2022-02-28 15:27:45
1832
原创 直播推荐、搜索中的召回、相关性、多目标精排 - 相关性篇
二、搜索相关性1：dssm做相关性，dssm一般有3种，还有两种变形cnn-dssm，lstm-dssmDSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用+距离运算_古月哲亭-CSDN博客_lstm语义相似度(1) dssm有几个重要的点 - 优缺点1) 优点：英文的输入层处理方式是通过word hashing。举个例子，假设用 letter-trigams 来切分单词（3 个字母为一组，#表示开始和结束符），boy 这个单词会被切为 #-b-o, ..
2022-02-23 23:30:19
1365
原创 推荐领域 - 用户未来兴趣探索办法
一、来自2021召回技术在内容推荐的实践总结-阿里云开发者社区MIND里面主要是对用户序列通过胶囊网络提取出多兴趣（多个user_embedding），然后每个user_embedding都可以召回topN个item，和这里说到的“通过兴趣之间的相似”，貌似没有什么关系二、来自阿里，长序列建模三、来自阿里的dien......
2022-02-13 17:39:32
369
原创 阿里 - 淘宝 - 精排模型发展趋势
一、DIN网络2018年7月19日，提出attention结构用在用户序列特征上，这种attention不是self-attention，而是预估item用来当做query，用户序列中的每个item作为key value阿里兴趣网络DIN网络中几个关键的点(三)_1066196847的博客-CSDN博客_din网络二、DIEN网络 2018年相对于DIN网络有这样改进点，DIN网络只做了用户序列attention这件事，DIEN首先加了一个loss，用gru计算点击序列（长度为T）的T个输.
2022-02-12 21:26:45
780
原创 Multi-Interest Network with Dynamic Routing for Recommendation at Tmall（MIND）
1：这个是用在召回阶段，每个用户计算N个兴趣向量时，只用计算1遍，和din这种和预估item绑定的思路是分开的胶囊网络： “胶囊”的概念，一小群神经元组装输出一个完整的向量，首先由Hinton [13] 在 2011 年提出。动态路由替代反向传播[21]用于学习胶囊之间连接的权重，通过利用期望最大化来改进算法 [14] 克服了几个不足并取得了更好的准确性。 这两个与传统神经网络的主要区别使得胶囊网络能够编码部分与整体之间的关系，这在计算机视觉、自然语言处理中是先进的。 SegCaps [18] 证明胶囊
2022-02-10 12:39:26
711
原创 搜索推荐 - 召回总纲
一、召回总述CMDM：基于异构序列融合的多兴趣深度召回模型在内容平台的探索和实践_淘系技术-CSDN博客当前工业界的召回算法主要分为两类：基于协同过滤的召回（比如swing i2i）：优点：基于协同过滤的i2i召回从全局来看简单高效，依靠内容的共现性可以保证用户兴趣性、相关性，同时借助实时trigger便于捕捉用户的实时兴趣，在召回算法中发挥着非常重要的作用缺点：但是i2i召回本身也存在一些问题，比如对新用户和新商品不友好，难以解决冷启动问题基于深度学习的向量召回（比如deepmat
2022-02-05 14:08:28
701
原创 淘宝逛逛，融合淘宝商品序列 - 逛逛场景内容序列的办法
一、难点一右侧的公式是从底往上看两个mean-pooling很简单，假设形成64维的向量 Ec1 Ei1，相乘得到Ef1，也是64维向量，这里的vanilla-attention（推荐搜索的冷启动问题_1066196847的博客-CSDN博客）vanilla-attention的重点是，Query由decoder输出，也就相当于这里的Ef1，K V由encoder输入，从Ec2 Ei2公式中看都是C或者都是I，用C来举例，那么就都是content sequence的每个item，先和
2022-02-04 22:28:12
1079
原创 京东 - 负反馈的pairwise方式强化学习 - Recommendations with Negative Feedback viaPairwise Deep Reinforcement Lea
论文名称：Recommendations with Negative Feedback via Pairwise Deep Reinforcement Learning论文地址：https://arxiv.org/pdf/1802.06501.pdf其他讲解论文的文章：推荐系统遇上深度学习(三十五)--强化学习在京东推荐中的探索(二) - 程序员大本营基于强化学习的推荐系统有两个优点。1：首先，在和用户交互期间，他们不断更新他们的试错策略，直到系统收敛到最优策略，生成最适合用户动态偏好的推荐
2022-01-30 23:24:35
1252
原创 maml - Warm Up Cold-start Advertisements - 论文研读
论文地址：https://arxiv.org/pdf/1904.11547.pdf
2022-01-26 22:46:28
1756
原创 推荐搜索的冷启动问题
首先冷启动分为3种，用户冷启动、item冷启动、query冷启动(在搜索中常常称为长尾query)。这里有一个专业名词 Exploration and Exploitation 探索和开发一、这里面 item冷启动是最常见的，先聊聊这种的常见做法对item冷启动来说，一般要面临3个问题，每个item保量多少、保量时间区间、保量给谁，item冷启是一个双向行为，做的不好就会对系统有损，做的好就能使用新item给用户带来更好的体验1：常见的一种做法是精排阶段两轮冷启动boost(pid+ucb)，这
2022-01-24 23:42:40
3666
原创 Modeling Across-Context Attention For Long-Tail Query Classification in E-commerce
原文链接：acm上，需要付费下载，也可以去百度学术上免费求助，一两分钟就可以下载了一 简介类别意图表现出查询之间的跨上下文相关性及其变化，这个我们尚未研究。 图 1 说明了跨上下文注意力的概念。 该图的左上部分描绘从查询“table household”到其变体query查询“简易 麻将 卓 家用”。它应该最关注“麻将”。右上角描述了另一个查询“麻将 卓”，最关注“麻将”和“桌”。 我们如何理解一个新的查询“麻将桌 家用”？ 与左查询或右查询相似吗？ 底部该图的一部分描绘了新的query与“麻将表”
2022-01-22 11:30:43
1175
原创 推荐搜索，召回、粗排、精排之间的漏斗考虑
一、首先从数量上看下这几个阶段二、粗排漏斗分析1：学习目标学习目标是“精排的输出”（可能只是曝光+点击，有时也会用到unpv样本），尽量保证粗排和精排的效果一样，取topk才能会精排缓解压力。就是因为精排的量级太大，才引入的粗排...
2022-01-16 11:04:53
2019
原创 向量内积召回
向量召回的目标1：内积时既考虑到了相关性、又考虑到了兴趣，所以这就是前两个目标2：有的还会考虑rpm最大化3：有的团队还会在训练模型时，loss上加入点击loss、下单loss等目标一、阿里全链路召回 - LDM（Learning to Rank based Deep Match Model)原文链接：阿里广告技术最新突破：全链路联动-面向最终目标的全链路一致性建模 - 知乎这篇文章中讲了两个召回思路，其中一个就是ldm，是以学习后链路（精排）的序为目标优点，1：以序为目标，而不
2022-01-12 21:51:32
620
原创 腾讯音乐（K歌）的粗排模型
文章地址：腾讯音乐：全民K歌推荐系统架构及粗排设计重点：K歌的粗排模型和上一篇文章（爱奇艺随刻短视频/推荐 - 粗排模型_1066196847的博客-CSDN博客）挺像的，也是采用了模型蒸馏的方法，不过粗排模型的loss只有爱奇艺随刻那边的2部分（蒸馏loss、student loss）。爱奇艺随刻在线上部分将模型变成了级联模型，直接改变样本为“taecher model”的topN作为正样本，这里并不是这样，这里线上部分一是要online learning，二是直接将online learing的样本
2021-10-17 14:35:49
487
原创 爱奇艺随刻短视频/推荐 - 粗排模型
文章地址：爱奇艺短视频推荐：粗排篇重点掌握：最开始的GBDT->双塔DNN(知识蒸馏方式 和 精排widedeep模型一起进行训练，得到粗排小模型)->级联模型(精排是mmoe)------------------------------------------------------------------------------------------背景工业界在做粗排模型选型时，性能通常是一个很重要的考量因素。按照工业界选型粗排模型的发展历程，大致可以将粗排模型分为以下几大
2021-10-16 20:39:48
460
原创 阿里粗排模型-cold
cold全称：computing power cost-aware online and lightweight deep pre-ranking system算力成本感知在线轻量级深度预排序系统论文链接：https://arxiv.org/pdf/2007.16122.pdf讲解：阿里粗排技术体系与最新进展导读：在搜索、推荐、广告等需要进行大规模排序的场景，级联排序架构得到了非常广泛的应用。以阿里的在线广告系统为例，按顺序一般包含召回、粗排、精排、重排等模块。粗排在召回和精排之间，一般需要从.
2021-10-16 18:54:36
1672
Deep Learning Recommendation Models for Personalization
2019-07-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人