2 Mankind_萌凯

尚未进行身份认证

广东某高校大学生一枚,欢迎勾搭

等级
博文 98
排名 3w+

【推荐系统】MF-OPC与MF-MPC

文章目录1.MF-OPC算法2.MF-MPC(附代码)1.MF-OPC算法  在矩阵分解MF算法中,我们使用了SVD的思想,将user-item评分矩阵分解为user的潜在兴趣矩阵U和item的潜在特征矩阵V,但对于每个评分ruir_{ui}rui​的预测,我们只根据用户U和物品I的潜在特征进行计算。r^ui=Uu.Vi.T+bu+bi+μ\hatr_{ui}=U_{u.}V_{i.}^...

2019-03-20 10:52:15

【推荐系统】SVD++

用户对物品的评分等操作实际上很少,但是用户的点击,关注,收藏,浏览时长等隐性行为却很多,能否将这些考虑进来作为我们的预测准则之一呢?  SVD++在RSVD的基础上,考虑了用户对物品的隐式行为。因为有时候一个用户的点击,收藏,浏览时长等隐式行为,我们是可以将其考虑进来的,它作为一种交互,也反应了用户的一种隐式意愿。为了将隐式兴趣加入到模型中,在预测规则中加入r^ui=Uu.Vi.T+(1∣...

2019-03-19 15:31:13

【推荐系统】交替最小二乘法ALS和RSVD

文章目录1.ALS算法2.RSVD算法1.ALS算法  ALS(AlternatingLeastSquare,交替最小二乘法)指使用最小二乘法的一种协同推荐算法。在UserCF和ItemCF中,我们需要计算用户-用户相似性矩阵/商品-商品相似性矩阵,对于大数据量的情况下很难处理好。那我们能否像PCA,wordembedding那样,用低维度的向量来表示用户和商品呢?  ALS算法将us...

2019-03-18 16:36:05

【推荐系统】UserCF与ItemCF

电影-用户评分表nun_unu​=no.usersnmn_mnm​=no.moviesr(i,j)=1r(i,j)=1r(i,j)=1ifuserjhasratedmovieiy(i,j)=y^{(i,j)}=y(i,j)=ratinggivenbyuserjtomoviei(definedonlyifr(i,j)=1r(i,j)=1r(i,j)=1)...

2019-03-17 19:09:56

【深度学习】深度残差网络ResNet

文章目录1残差网络ResNet1.1要解决的问题1.2残差网络结构1.3捷径连接1.4总结1残差网络ResNet1.1要解决的问题  在传统CNN架构中,如果我们简单堆叠CNN的层数,深层CNN在训练集上面的表现反而要比浅层CNN在训练集上面的表现差的多。这明显是不合理的,因为浅层CNN很明显只是深层CNN的一个子集。  那也就是说,深层网络并没有能够很好地学习到训练集,它甚至连...

2019-03-16 10:28:00

【自然语言处理】word2vec模型

N-gramP(w1,w2,w3,..,wn)=P(w1∣start)P(w2∣w1)...P(wn∣wn−1)P(w_1,w_2,w_3,..,w_n)=P(w_1|start)P(w_2|w_1)...P(w_n|w_{n-1})P(w1​,w2​,w3​,..,wn​)=P(w1​∣start)P(w2​∣w1​)...P(wn​∣wn−1​)其中每个条件概率可以统计的方式进行估算...

2019-03-15 23:06:39

【深度学习】RNN与LSTM

文章目录循环神经网络RNN双向RNN循环神经网络RNN  RecurrentNeuralNetwork是一种有记忆力的神经网络。为什么说有记忆力呢?因为它的隐藏层输出会被保存起来,在下一次计算隐藏层输出的时候,会考虑到先前保存的值。  对于普通的BP神经网络,第k层的隐藏层的输出是ak(x)=wkxa_k(x)=w_kxak​(x)=wk​x  对于RNN循环神经网络来说,第k层...

2019-03-13 23:00:25

【机器学习降维】Fisher判别分析LDA

思想是,类内小,类间大。方法是,降维的角度出发,把p维的样本数据都投影到一个1维的方向,使得不同的样本在降维后的一维空间内具有“类内小,类间大”的结果,从而很好地将两类数据分开。  假设我们找到了最好的投影方向www,如果不对其做限定的话,这样的w可以有无数条,所以我们限定∣∣w∣∣=1||w||=1∣∣w∣∣=1。将样本点xix_ixi​投影到向量w上,得到新的点ziz_izi​,有zi=...

2019-03-03 10:52:28

【机器学习算法】高斯判别分析GDA

高斯判别分析  高斯判别分析(Gaussiandiscriminativeanalysis)是一个较为直观的模型,属于生成模型的一种,采用一种软分类的思路,所谓软分类就是我们对一个样本决定它的类别时使用概率模型来决定,而不是直接由函数映射到某一类上。生成模型通过求解联合概率来求解P(y∣x)P(y|x)P(y∣x)。它假设y∼Bernoulli(ϕ)x∣y=1∼N(μ1,Σ)x∣y=0∼...

2019-03-03 10:29:15

【机器学习算法】牛顿法和拟牛顿法

文章目录1.牛顿法1.1算法推导1.牛顿法  统计学习方法有了具体形式后就转换为最优化问题。有时最优化问题存在解析解,可以由公式计算,多数情况下没有解析解,需要用数值计算的方法求解,牛顿法和拟牛顿法是求解无约束最优化问题的常用方法,收敛速度快。  牛顿法是迭代算法,每一步需要求解目标函数的海塞矩阵的逆矩阵。1.1算法推导  无约束最优化问题如下:min⁡x∈Rnf(x).........

2019-02-27 15:35:51

【机器学习总结】向量、矩阵求导公式

关于向量求导用到的公式实在是太多了…经常公式推着推着就被卡住,这里一次性做个总结吧。文章目录0.引言1.向量对元素求导2.向量对向量求导3.矩阵对向量求导4.矩阵复合向量的求导0.引言  正文中,元素使用字母a,b,c等表示,向量使用小写的x,y,zx,y,zx,y,z等表示,并且默认是列向量,矩阵使用大写的A,B,C进行表示。1.向量对元素求导行向量对元素求导∂xT∂a=[∂x...

2019-02-27 13:23:10

【机器学习算法】集成学习之Stacking,Bagging,AdaBoost

模型融合(aggregationmodels)假设有n个模型,采用适当的模型融合方法,可以产生更好的结果。选取可信度最大的模型(validationerror最小)让每个模型投票让每个模型投票,但是给可信度大的模型更多的票数加入预测的条件uniformblending核心思想:少数服从多数,民主投票知道n个模型的输出,每个模型有一票,则最终的输出:H(x)=sign...

2019-02-26 09:18:55

【机器学习算法】最大熵模型

文章目录1.最大熵原理2.最大熵模型3.训练过程4.极大似然估计5.改进的尺度迭代法IIS1.最大熵原理  在概率统计中,最大熵原理认为在所有可能的概率模型中,熵最大的模型是最好的模型。可以理解成在所有满足约束条件的模型集合中,选取熵最大的模型。由于熵满足不等式0≤H(P)≤log⁡∣X∣0\leH(P)\le\log|X|0≤H(P)≤log∣X∣  当且仅当X服从均匀分布...

2019-02-23 20:42:11

【机器学习算法】决策树模型ID3、C4.5、CART

  决策树是一种符合人类直观感觉的模型,比如有一棵决策树如下:  上图是某女青年在决定相亲对象是时会进行的一系列决策过程。首先看对方的年龄,如果大于30岁,直接pass,如果小于等于30岁,就再看对方长得如何,长得丑,就不见,长的好看的,再继续看它的收入……以此类推,最终可以得到一颗决策树。而任何一个样本(男性)在这棵树上走一遍之后,都能够输出“见”或者“不见”的结果。那其实这就是一个分类的过...

2019-02-22 21:23:05

【机器学习算法】感知机模型

1.感知机模型  感知机模型是一个二分类的模型,它通过形如y=wx+by=wx+by=wx+b的式子将实例x转换为类别,取+1和-1表示,从而将实例进行划分。它是简单并且容易实现的一个模型。  感知机模型主要用来将平面上线性可分的数据集进行划分,对于线性不可分的数据集,感知机无法收敛。  感知机模型的输入输出由以下函数进行映射,其中w是n维空间的一个向量,b是偏置,sign是符号函数。f(...

2019-02-17 19:34:02

【机器学习降维】拉普拉斯矩阵与谱聚类

文章目录1.拉普拉斯矩阵1.1简介1.2性质2.谱聚类3.拉普拉斯特征映射LaplacianEigenmaps1.拉普拉斯矩阵1.1简介  拉普拉斯矩阵(Laplacianmatrix),也称为基尔霍夫矩阵,是表示图的一种矩阵。给定一个有n个顶点的图G=(V,E),其拉普拉斯矩阵定义为:L=D−WL=D-WL=D−W  其中W为图G的邻接矩阵,一个N×NN\time...

2019-01-31 16:56:28

【机器学习算法推导】隐狄利克雷模型LDA

文章目录1.概率论基础1.1二项分布1.2多项式分布1.3Gamma分布1.4共轭分布1.5Beta分布1.概率论基础1.1二项分布  二项分布是n重伯努利分布,可以看做是将硬币抛n次,出现k次正面向上的概率,每次出现正面向上的概率为p,其概率密度公式为P(X=k)=Cnkpk(1−p)n−kP(X=k)=C_n^kp^k(1-p)^{n-k}P(X=k)=Cnk​pk(1...

2019-01-28 21:37:55

【机器学习算法推导】隐马尔科夫模型HMM及相关算法

文章目录1.隐马尔可夫模型HMM1.1简介1.2定义1.3实例1.4生成观测序列1.5HMM的三个基本问题2.评估观察序列概率2.1暴力求法2.2前向算法2.3后向算法1.隐马尔可夫模型HMM1.1简介  隐马尔科夫模型是与概率论密切相关的一个模型,隐马尔科夫模型(HiddenMarkovModel,以下简称HMM)在语音识别,自然语言处理等方面都有所应用。它被用来解决...

2019-01-19 15:28:09

【机器学习算法推导】高斯混合模型GMM与EM算法

高斯混合模型(GMM)  极大似然估计是一种应用很广泛的参数估计方法。在已有某个地区身高数据以及知道身高服从高斯分布的情况下,利用极大似然估计的方法可以估计出高斯分布μ,σ\mu,\sigmaμ,σ两个参数。  如果是多组数据,多个模型呢?获取现在我们有全国多个省份的身高数据,但并不知道它们具体属于哪个省份,只知道每个省之间服从不同的高斯分布,此时的模型称为高斯混合模型(GMM),其公式为P...

2019-01-16 17:15:57

【机器学习】潜在语义分析LSA和PLSA

666

2019-01-15 15:31:54
奖章
    暂无奖章