7 雪伦_

尚未进行身份认证

暂无相关描述

等级
TA的排名 8k+

《Deep Neural Networks for YouTube Recommendations》学习笔记

Google出品,学习一下! 文章脉络清晰,主要包括六个部分:YouTube使用DNN的背景、整体推荐系统框架、候选集生成(candidategeneration)、排序(ranking)、总结、感谢,其中候选集生成和排序是推荐系统框架的重要组成部分。本文主要学习下整体推荐系统框架、候选集生成(candidategeneration)、排序(ranking)这三个部分1.整体推荐系统框架不得不说

2017-05-05 17:54:26

《Wide and Deep Learning for Recommender Systems》学习笔记

顾名思义,Google提出的这篇文章将WideModel和DeepModel结合起来进行,思路非常值得学习。1.WideModel首先说一下WideModel,就是上图中左边的那一部分,是一个简单的逻辑回归模型。这一部分比较简单,不多有一个新的思路就是交叉特征:论文中一个比较形象的例子Forbinaryfeatures,across-producttransformation

2017-05-02 14:26:35

Jupyter notebook远程访问服务器

1.背景  一直苦恼于本地机器和服务器上都要配置一些机器学习方面的环境,今天花了点时间研究了下Jupternotebook远程访问服务器,所以记录一下。  有些步骤非必须,这里尽量写清楚,读者理解后自行决定如何安装,本文以非root用户安装。2.安装步骤(1)登录服务器(2)检查是否有安装jupyternotebook,终端输入jupyternotebook,如果报错就是没有啦,那么就要用下面

2017-02-18 13:20:31

python利用LSTM进行时间序列分析预测

关键词:python、Keras、LSTM、Time-Series-Prediction    关于理论部分,可以参考这两篇文章(RNN、LSTM),本文主要从数据、代码角度,利用LSTM进行时间序列预测。(1)原始时间序列数据(只列出了18行)1455.2199711399.4200441402.1099851403.4499511441.4699711457.59997614

2017-01-12 12:52:38

奇异值分解(SVD)及其扩展详解

SVD是一种常用的矩阵分解技术,是一种有效的代数特征提取方法。SVD在协同过滤中的主要思路是根据已有的评分情况,分析出评分者对各个因子的喜好程度以及电影包含各个因子的程度,最后再反过来分析数据得出预测结果。RSVD、SVD++、ASVD是基于SVD的改进算法。本文算法主要考虑个性化推荐领域1.MatrixFactorizationModel和BaselinePredictors  SVD

2017-01-10 13:36:19

协同过滤算法

1.初识协同过滤(CF)  要理解什么是协同过滤(CollaborativeFiltering,简称CF),首先想一个简单的问题,如果你现在想看个电影,但你不知道具体看哪部,你会怎么做?大部分的人会问问周围的朋友,看看最近有什么好看的电影推荐,而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。  协同过滤一般是在海量的用户中发掘出一小部分和你品位比较类似的,

2017-01-05 10:18:19

最大熵模型

以前看最大熵模型感觉是懵懵懂懂,最近看完条件随机场(CRF)之后,再来看最大熵模型,发现两者关联很大,再结合逻辑斯蒂回归,理解起来就比较容易,这里是整理笔记。1.定义

2017-01-01 10:54:54

条件随机场(CRF)

条件随机场应该是机器学习领域比较难的一个算法模型了,难点在于其定义之多(涉及到概率图模型、团等概率)、数学上近似完美(涉及到概率、期望计算,最优化方面的知识),但是其在自然语言处理方面应用效果比较好,所以本文结合李航老师的《统计学习方法》学习一下。1.定义1.1图  图是由结点和连接结点的边组成的集合。结点和边分别记作v和e,结点和边的集合分别记作V和E,图记作G=(V,E)。无向图是指边没有方向

2016-12-28 11:15:51

隐马尔可夫模型(HMM)

隐马尔可夫模型原理部分可以概括为三句话:一个定义、两个假设、三个问题  HMM是一个五元组(Y,X,π,A,B),其中Y是状态(输出)的集合,X是观察值(输入)集合,π是初始状态的概率,A是状态转移概率矩阵,B是输出观察值概率矩阵。1.定义  隐马尔可夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态的序列,再由各个状态随机生成一个观测而产生观测的序列的过程。  隐马尔可夫

2016-12-26 15:10:18

EM算法

1.背景知识(1)期望离散型  X1,X2,X3,……,Xn为这离散型随机变量,p(X1),p(X2),p(X3),……p(Xn)为这几个数据的概率函数。在随机出现的几个数据中p(X1),p(X2),p(X3),……p(Xn)概率函数就理解为数据X1,X2,X3,……,Xn出现的频率f(Xi).则:  设Y是随机变量X的函数:Y=g(X)(g(X)是连续函数)它的分布律为若绝对收敛,则有:连

2016-12-21 16:25:32

倒排索引详解及C++实现

1.介绍  倒排索引是现代搜索引擎的核心技术之一,其核心目的是将从大量文档中查找包含某些词的文档集合这一任务用O(1)或O(logn)的时间复杂度完成,其中n为索引中的文档数目。也就是说,利用倒排索引技术,可以实现与文档集大小基本无关的检索复杂度,这一点对于海量内容的检索来说至关重要。2.示例  假设我们有如下几篇文档:  D1=“谷歌地图之父跳槽Facebook”  D2=“谷歌地图之

2016-12-17 11:41:13

基于MapReduce的PageRank算法实现

PageRank对网页排名的算法,曾是Google发家致富的法宝。以前虽然有实验过,但理解还是不透彻,这几天又看了一下,这里总结一下PageRank算法的基本原理。1.什么是pagerank  PageRank的Page可是认为是网页,表示网页排名,也可以认为是LarryPage(google产品经理),因为他是这个算法的发明者之一,还是googleCEO(^_^)。PageRank算法计算每

2016-12-15 19:36:05

深度信念网络(DBN)

1.初识深度信念网络  深度信念网络是一个概率生成模型,与传统的判别模型的神经网络相对,生成模型是建立一个观察数据和标签之间的联合分布,对P(Observation|Label)和P(Label|Observation)都做了评估,而判别模型仅仅而已评估了后者,也就是P(Label|Observation)。  DBNs由多个限制玻尔兹曼机(RestrictedBoltzmannMachine

2016-12-13 12:47:20

限制玻尔兹曼机(RBM)

1.限制玻尔兹曼机的感性认识要回答这个问题大概还要从神经网络说起。(1)人工神经网络一言以蔽之,人工神经网络用于学习一个输入到输出的映射,通常由三层组成,输入层,隐层和输出层。各层之间的每个连接都有一个权值,人工神经网络的训练过程就是学习这个权值。典型的,可以使用随机梯度下降法。(2)递归人工神经网络递归人工神经网络的关键在于“递归”二字,其表现为各节点可以形成一个有向环。可以看到,递归神经网络和普

2016-12-12 16:06:28

计算广告干货整理

序本文旨在整理、分享计算广告领域的一些干货,包括paper、dataset、slide、code、video(侵删),如果看到本文的你有什么好的干货可以留言给我,持续更新,欢迎学习交流!1.Paper2007(OWL-QN)ScalableTrainingofL1-RegularizedLog-LinearModels2010(FTRL)Follow-the-Regularized-

2016-12-09 16:48:07

稀疏编码器(Sparse Encoder)

1.介绍在自动编码器一文中,我们已经简单介绍了基于隐藏神经元数量较小的假设,本文主要基于隐藏神经元数量较大的假设。此时,我们仍然通过给自编码神经网络施加一些其他的限制条件来发现输入数据中的结构。比如我们给隐藏神经元加入稀疏性限制。稀疏性可以被简单地解释如下:假设神经元的激活函数时sigmoid函数,那么当神经元的输出接近于1的时候我们认为它被激活,而输出接近于0的时候认为它被抑制,那么使得神经元大部

2016-12-08 20:14:38

自动编码器(Auto Encoder)

1.初识AutoEncoder1986年Rumelhart提出自动编码器的概念,并将其用于高维复杂数据处理,促进了神经网络的发展。自编码神经网络是一种无监督学习算法,它使用了反向传播算法,并让目标值等于输入值,比如。图1是一个自编码神经网络的示例。图1自动编码器(autoencoder)是神经网络的一种,该网络可以看作由两部分组成:一个编码器函数h=f(x)和一个生成重构的解码

2016-12-08 14:16:32

Long-Short-Term-Memories(LSTM)

1.传统RNN存在的问题在循环神经网络一文中,对前向传播、后向传播进行了仔细的推导,回顾一下,可以发现传统RNN很容易产生梯度消失、爆炸的问题。可能公式会显得有点抽象,这里举一个例子:那么,LSTM是如何解决这个问题的呢?2.RNN&&LSTM如图1所示,这就是一个传统的RNN模型,激活函数用的是tanh图1图2与图1拥有类似的网络结构,只不过内部会更加复杂,即包括输入、忘记、输出门。

2016-12-06 17:05:03

循环神经网络(RNN)

1.NN&RNN在神经网络从原理到实现一文中已经比较详细地介绍了神经网络,下面用一张图直观地比较NN与RNN地不同。从图1中可以看出,RNN比NN多了指向自己的环,即图1中的7,8,9,10节点及其连线。图2显示RNN展开的网络结构。在传统的神经网络中,我们假设所有的输入(包括输出)之间是相互独立的。对于很多任务来说,这是一个非常糟糕的假设。如果你想预测一个序列中的下一个词,你最好能知道哪些词在

2016-12-05 17:03:49

深度学习(DL):卷积神经网络(CNN):从原理到实现

序深度学习现在大火,虽然自己上过深度学习课程、用过keras做过一些实验,始终觉得理解不透彻。最近仔细学习前辈和学者的著作,感谢他们的无私奉献,整理得到本文,共勉。1.前言(1)神经网络的缺陷在神经网络一文中简单介绍了其原理,可以发现不同层之间是全连接的,当神经网络的深度、节点数变大,会导致过拟合、参数过多等问题。(2)计算机视觉(图像)背景通过抽取只依赖图像里小的子区域的局部特征,然后利用这些特

2016-12-01 20:30:30

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!