11 jony0917

尚未进行身份认证

我要认证

远征开启

等级
TA的排名 3w+

Isotonic Regression

模型校准模型的预估值往往存在偏差,其原因包括:模型的假设不一定完全成立,比如贝叶斯模型对事件独立同分布的假设训练样本是有偏差的,没有反应真实的分布情况训练算法的缺陷,导致并没有学习到最优的参数以点击率估计为例,某些场景下,有偏点击率是可以直接使用,比如排序场景下重要的是估计值的相对大小,点击率绝对值并不重要;另一些场景下,有偏估计值需要经过校正后才能使用,比如过滤逻辑中点击率的绝对值就会影响物品会不会被过滤掉,例如风控模型,另外将点击率作为其他模型输入的情况下,点击率的绝对值也是有意义的。模

2020-08-06 17:59:37

MMR与CalibratedRec的再思考

最大边缘相关性(Maximum Marginal Relevance)推荐场景下,MMR对物品重排的目标是找出与推荐目标相关性高,但与已选集合内物品的相似度低的物品,公式表达如下:MMR(Q,C,R)=ArgMaxdi∈C/R[λSim1(Q,di)−(1−λ)maxdj∈RSim2(di,dj)]MMR(Q,C,R)=ArgMax_{d_i\in C/R}[\lambda Sim_1(Q,d_i) - (1-\lambda)max_{d_j\in R}Sim_2(d_i,d_j)]MMR(Q,C,R)

2020-08-05 17:45:07

深度模型(十四):EdgeRec

本文对原论文中的核心内容做翻译和讲解系统论文提出的模型架构如下图所示,一部分部署在云端服务器中,一部分部署在终端设备上(用户的移动设备):3.1 系统概要EdgeRec系统的主要模块和工作流程如下:本地客户端(Client Native):本地客户端首先初始化请求并缓存云端推荐服务返回的推荐结果。然后收集用户行为并触发模型服务模块。最后从模型服务模块获取未曝光商品的有序列表。模型服务(Model Serving):模型服务模块从本地客户端接收用户行为和原始候选商品。进行特征处理并运行重排模型

2020-08-04 23:01:23

Redis使用笔记

1. 数据类型和接口单机模式下,Redis支持以下的数据结构和接口:2. Redis集群Redis集群实现了单机模型功能集合的一个子集,包含所有单个key的功能。Redis 集群中的节点有以下责任:持有键值对数据。记录集群的状态,包括键到正确节点的映射(mapping keys to right nodes)。自动发现其他节点,识别工作不正常的节点,并在有需要时,在从节点中选举出新的主节点。Redis 集群的键空间被分割为 16384 个槽(slot), 集群的最大节点数量也是 1638

2020-07-16 23:12:00

Youtube时长预估

Watch Time推导论文中排序模型的训练目标为视频点击率,记为:p=P(y=1∣x)=11+e−θTxp = P(y=1|x)=\frac{1}{1+e^{-\theta^Tx}}p=P(y=1∣x)=1+e−θTx1​模型上线后的预测值计算方法却是:predict=eθTxpredict = e^{\theta^Tx}predict=eθTx其中θ\thetaθ表示模型的参数,xxx表示模型的特征(θ,x\theta,xθ,x实际是模型最后一层隐层参数和输入,当模型只有一层隐层时候,则是模型

2020-07-04 14:18:52

推荐系统实践笔记(三)

1. 线性回归最小二乘估计的概率解释线性回归模型如下:y(i)=θTx(i)+ϵ(i)y^{(i)}=\theta^Tx^{(i)}+\epsilon^{(i)}y(i)=θTx(i)+ϵ(i)并假设误差ϵ\epsilonϵ符合正太分布,即:p(ϵ(i))=1σ2πe−(ϵ(i)−μ)22σ2p(\epsilon^{(i)})=\frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(\epsilon^{(i)}-\mu)^2}{2\sigma^2}}p(ϵ(i))=σ2π​

2020-06-27 23:42:02

线性回归

原文地址:线性回归4.1 一元线性模型一元线性模型定义如下yi=β0+β1xi+ϵi,i=1,...,ny_i=\beta_0+\beta_1x_i+\epsilon_i,i=1,...,nyi​=β0​+β1​xi​+ϵi​,i=1,...,n其中ϵi\epsilon_iϵi​为随机变量(需要一些假设)xix_ixi​为固定值(独立/预测变量)yiy_iyi​为随机变量(依赖/响应变量)β0\beta_0β0​为截距β1\beta_1β1​为斜率4.1.1 最小二乘估计选择参数β

2020-06-27 22:02:11

深度模型(十五):Calibrated Recommendations

原文地址:Calibrated Recommendations1 简介推荐系统在许多不同的应用程序域中提供个性化的用户体验,包括在线购物,社交网络和音乐/视频流。在本文中,我们揭示针对准确性(例如,排序指标)进行训练的推荐系统可以轻松生成关注用户主要兴趣领域的推荐项目列表,而用户的次要兴趣领域却往往未被充分利用甚至消失。随着时间的推移,这种不平衡的推荐可能会逐渐缩小用户的兴趣范围。此问题也适用于多个用户共享同一帐户的情况,在该情况下,同一帐户内不太活跃的用户的兴趣可能会在推荐中被排挤。我们将在第2节中

2020-06-07 12:36:01

深度模型(十四):CB2CF

原文地址:CB2CF: A Neural Multiview Content-to-Collaborative Filtering Model for Completely Cold Item Recommendations1. 简介Microsoft的推荐服务在Windows Store为全球数十亿用户提供服务(包括MS商店和Xbox)。该商店提供许多不同类型的推荐方案,其中“类似物品清单”(标题为 “其他人也喜欢”)是用户参与度和销售的主要驱动力。引入新(冷)商品时,我们希望能够仅根据CB数据即可找

2020-06-05 09:39:55

推荐系统实践笔记(二):利用与探索问题

推荐系统的经典问题之一,利用(Exploitation) 与 探索(Exploration)问题Exploitation:满足已知的用户需求Exploration:探索未知的用户需求Exploitation的必要性比较容易理解,通过满足用户已知的需求,产生用户价值,这也是推荐系统存在的意义。Exploration的价值怎么理解呢?首先,对于新用户而言,系统并不知道用户的需求,这时必须通过Exploration探索和发现用户的需求。其次,对于老用户而言,兴趣点也是在不断变化中的,这时也需要通过Exp

2020-06-01 17:24:10

高斯过程(一)

我们来考虑一个简单的线性回归问题:假设我们需要建模的函数为f:R→Rf:R\rightarrow Rf:R→R我们有一些观察数据$ \bold x = [x_1, …,x_N]^T, \bold y=[y_1,…,y_N]^T, y_i=f(x_i)$我们想预测函数fff在一些未观察点x∗x_*x∗​的值采用高斯过程建模函数高斯过程的核心思想是采用多元高斯分布建模函数。输入空间的每一...

2020-04-06 18:03:05

推荐系统实践笔记(一)

推荐算法工程师的工作一般都可以建模为带约束条件的最优求解问题。目标设定目标的设定需要较强的业务理解和领域知识:尤其是偏中长期的目标目标的测量方法与目标本身同样重要:需要考虑采用哪些指标,哪些属于短期指标,哪些属于长期指标,测量周期是多久,等等。总之,无法测量的目标,也就无法验证是否实现约束条件与目标同样重要:需要考虑目标对哪些既有指标会有影响,属于正向还是负向影响,预期是影响度有多大;约...

2020-03-15 19:39:22

CUDA编程手册(二)

3 编程接口3.2 CUDA运行时cuda运行时的实现在cudart库中,通过静态链接或动态链接库的方式链接到应用程序。3.2.4 页锁定宿主内存cuda运行时(runtime)库提供页锁定宿主内存(相对于malloc分配的可分页内存)相关函数:cudaHostAlloc和cudaFreeHost分配和释放页锁定宿主内存cudaHostRegister页锁定malloc分配的内存...

2020-02-14 10:55:43

CUDA编程手册(一)

1 简介1.1 从图像处理到通用并行计算由于市场对实时高清3D图形计算的强烈需求,可编程图像处理器(programmable Graphic Processor Unit)或简称GPU,已发展成高并行、多核、多线程的处理器,拥有强大算力和高内存带宽。以下图一和图二比较了CPU和GPU之间浮点运算能力和内存带宽间方面的差异:图一:CPU和GPU每秒浮点运算次数比较图二:CPU与GPU之...

2020-02-13 00:33:36

深度模型(十三):Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts

1 简介近些年深度神经网络被成功地应用于了各种大规模系统中,比如推荐系统[11]。在这些推荐系统中我们经常需要同时优化多个目标。例如,在电影推荐系统中,我们不仅希望用户购买和观看系统推荐的电影,还希望用户能喜欢系统推荐的电影。我们可以建立模型,同时预测用户的购买和评分。实际上,很多大规模的推荐系统已经使用了深度神经网络(DNN)进行多任务学习[3]。一些研究报告表明通过正则化和迁移学习,多任务...

2020-02-09 17:01:54

TEF(Tensorflow Extend Framework):大规模推荐系统深度学习解决方案

背景Tensorflow是目前使用最广泛的深度学习解决方案,但是在面对高维稀疏数据的场景(如广告,推荐,搜索等)下,有些力不从心,有以下几点缺点:参数必须以固定维度的矩阵形式提前分配(训练开始前),不支持参数的实时(训练过程中)分配与淘汰不支持参数的增量形式的导出为了克服这些缺点,目前支持高维稀疏场景的深度学习解决方案可以分为三类:自主研发:完全替代Tensroflow。以百度Pa...

2020-02-05 14:30:58

Summary of Effective Recommendation Algorithms

简介本文以问题为导向介绍推荐算法。问题一问题定义:假设U={u1,u2,...,un}U=\{u_1, u_2, ..., u_n\}U={u1​,u2​,...,un​}表示用户集合, P={p1,p2,...,pm}P=\{p_1, p_2, ..., p_m\}P={p1​,p2​,...,pm​}表示物品集合,S∈Rn×mS\in R^{n\times m}S∈Rn×m表示用户对物品...

2020-01-23 20:09:46

深度模型(十二):Billion-scale Commodity Embedding for E-commerce Recommendation in Alibaba

简介互联网技术一直不断地在改变着商业,今天电子商务已经非常普及了。阿里作为中国最大的电子商务企业,使得全世界的消费者和企业在线上做生意。阿里拥有十亿的用户,2017年的总交易额(Gross Merchandise Volume)为37,670亿人民币,总收入为1,580亿人民币。2017年双十一购物节总交易额在1,680亿左右。其中,淘宝作为最大的C2C平台,贡献了75%的交易额。淘宝拥有10...

2019-12-23 23:28:35

深度模型(十一):On Using Very Large Target Vocabulary for Neural Machine Translation

摘要近来提出的完全基于神经网络的神经机器翻译,相比于传统方法比如基于短语的统计机器翻译,取得了令人满意的成绩。但是在神经机器翻译对词表的大小有限制,随着词表的增大,训练的复杂度以及解码的复杂度都会相应增大。本文提出了一种基于重要性采样的方法,可以在不加大训练复杂度的情况下,使用非常大的目标词表。通过选择目标词表的一个较小的子集,较大目标词表的解码的效率也可以有效的提高。通过这种方法训练的模型,追...

2019-11-10 17:12:26

推荐算法普查(基于深度学习)

摘要深度学习已经成为推荐算法研究者们理想的选择。随着机器学习领域研究兴趣的强力增长,已经很难跟踪谁才是TopN推荐问题的最先进算法。与此同时,最近有几篇文章指出现在机器学习领域实践方面的一些问题,比如结果可复现性,以及baseline的选择问题。本文报告了对TopN推荐算法的系统性分析结果。我们分析了最近几年在顶级研究会议上发表的18种算法。其中只有7种算法,经过合理的尝试后复现了结果。并且,...

2019-10-10 15:33:01

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。