自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 资源 (3)
  • 收藏
  • 关注

原创 一文彻底搞懂LSTM

网络上大部分介绍LSTM的博客都是先给出一张图,然后进行分析。我们今天反其道行之,分析LSTM先不看图。看图反而会吸引你太多的注意力,无法很好的参透其中的奥妙。咱们首先明确一下,LSTM有哪几个部分组成:a) 三个门:输入门、输出门、遗忘门,作用暂且不表,只需要知道门可以控制信息的过滤;b) Cell state:中文翻译为细胞态,感觉并不是很准确,索性就不翻译了。Cell state变量存储的是当前时刻t及其前面所有时刻的混合信息,也就是说,在LSTM中,信息的记忆与维护都是通过cell state

2022-05-09 09:18:40 1685

原创 Loss变为NaN怎么办?

在训练网络的时候,当打印出的日志提示loss变为NaN的时候,是不是整个人都开始抓狂了?相信应该每个算法工程师都遇到过这个令人头秃的问题。本文就是介绍如果遇到loss变成NaN时,如何快速的或者多方面排查原因。一、训练数据有问题比如数据集中就有某些特征的某些取值为NaN,或者label缺失。在一个iteration中batch数据如果没问题,loss正常显示;如果不凑巧,batch数据中恰好有NaN或者label缺失,loss就突然变为NaN了。建议这一步作为排查问题时的Step1。二、梯度爆.

2021-07-07 22:17:18 13014 3

原创 带你真正吃透AUC

本文旨在从所有教科书都讲到的AUC基本概念为起点,逐步带领大家进入AUC背后更为广阔、神奇的世界。一、什么是AUC   AUC的全称为Area Under the Curve,即曲线下的面积。这里的曲线指的是什么曲线?有两种类型:ROC曲线和PR曲线。所以,AUC也会有两种类型:ROCAUC及PRAUC,分别对应ROC曲线下的面积以及PR曲线的的面积。二、ROC曲线及PR曲线   在二分类问题中,模型输出得分SSS后(这里的得分指的是属于正例的概率值,即经过sigmoid函数归一化到[0,1]内.

2021-07-07 01:01:21 10551 1

原创 RNN参数共享的意义

     在Stackoverflow上看到了一个很好的问题:Recurrent NNs: what’s the point of parameter sharing? Doesn’t padding do the trick anyway?     评论区的老哥主要从两个方面回答了这个问题:      1)Parameter sharing      2)Padding     首先,RNN为什么需要有parameter sharing,即参数共享?     最主要的目的是减少模型训练时需

2021-05-19 23:39:33 1531 1

原创 pairwise or pointwise?

本文需要有对pairwise及pointwise的基础概念    搜索排序和推荐虽然属于两个不同的领域,但却有许多共同之处。李航老师的《Deep Learning for Matching in Search and Recommendation》更是将search及recommendation统一归纳到Matching框架中来讲解。    搜索排序,一个典型的场景是淘宝的商品列表页。你需要输入一个搜索词作为query,然后系统返回商品排序列表。搜索排序常用的模型是基于pairwise的。而推荐,典.

2021-04-22 22:32:44 839

原创 聊一聊推荐系统中Exploit&Explore算法

Exploit:利用 Explore:探索    推荐系统中,如果片面优化用户的喜好,推荐系统可能会造成信息茧房问题。也就是推荐的东西都是用户喜欢的东西,千篇一律。这时候不仅仅需要Exploit,还需要Explore新内容。另外呢,EE还可以通过Explore信息不足的物品(如很少曝光),提高对其信息的掌握程度(如ctr等)。随着时间的推移,推荐系统对item的信息掌握越来越多,也就可以更好的做出决策。    但是在工业界,EE算法其实是一个很矛盾的东西。上吧,确实可以提高新颖度,但是谁知道是正向影响还

2021-02-15 10:35:53 1672

原创 聊一聊机器学习中的频率学派及贝叶斯学派(一)

    频率学派与贝叶斯学派的区别在于“概率”这个概念的认识以及应用上。    频率学派认为概率是实验中事件发生频率的极限值。也就是说,经过无数次重复试验,事件发生的频率与该事件发生的概率就相等了。所以,在频率学派眼中,概率是一个确定值。    那么对概率的认识是如何与模型相关联的呢?让我们首先来看抛硬币的例子:假设抛一枚硬币,正面向上的概率为P,抛掷了1000次,正面向上的次数出现了600次。任何一个人都可以很有信心的说:抛掷该硬币,正面朝上的概率为0.6。那么换个角度来看,抛掷硬币这个实验结果

2021-01-17 09:27:06 699

原创 Hive中like和rlike傻傻搞不清楚

  在Hive中,有like和rlike这两个关键字,均可以符合定义条件的数据样本。like和rlike在用法上有时看起来很像,所以不少同学对它们的用法会感到比较模糊,但是两者却有着本质的区别:like是通配符,rlike才是正则表达式!  若需选取某个字段内容中包含"demo"的所有数据条目,like和rlike均可以实现。但是呢,语法却是不同的:select "1demo1" like "%demo%" --Trueselect "1demo1" rlike ".*demo.*" --True

2021-01-10 10:07:36 10562 2

原创 用numpy实现LSTM

网上有许多讲解LSTM的资料,完备且详细,在这里就不再赘述了。推荐一个个人认为LSTM讲解比较清晰的网址:Understanding LSTM Networks。学习结束LSTM基本结构之后,想要对LSTM中的各种细节问题有进一步的认识。在tensorflow中,LSTM模块已经被封装好了,所以我就想研究一下如何只用numpy实现一个LSTM网络。很巧合的,我在YoutubeLSTM网络 - 智慧...

2019-04-29 09:43:15 3271 8

转载 tensorflow:name&variable scope

本文转载自:http://blog.csdn.net/u012436149/article/details/53081454name&variable scope水平有限,如有错误,请指正!在tensorflow中,有两个scope, 一个是name_scope一个是variable_scope,这两个scope到底有什么区别呢? 先看第一个程序:with

2017-12-02 20:43:43 218

原创 记录一下tf里面函数的细节变动

函数的细节变动

2017-11-28 16:08:38 2799 3

转载 解读Batch Normalization

关于Batch Normalization

2017-10-23 21:59:08 266

原创 深度学习中的常见正则化问题

深度学习中正则化的问题

2017-10-13 15:28:47 2655

原创 对xgboost学习的一些梳理

最近一直在看机器学习比赛的相关内容,发现在比赛排行榜TOP10中,好多都用到了xgboost。于是拿过来研究了一下,简要梳理一下自己的思路吧。

2017-08-22 00:09:29 462

原创 浅谈Logisitic Regression

浅谈关于Logisitic Regression中的基本原理和推导过程

2017-06-08 22:09:24 768

CS5240 讲的矩阵求导,很好

里面结合wiki讲了Numerator Layout和Demominator Layout

2018-07-25

Stochastic Geometry and Wireless Networks, Volume II-Applications2(很清晰)

A wireless communication network can be viewed as a collection of nodes, located in some domain, which can in turn be transmitters or receivers (depending on the network considered, nodes may be mobile users, base stations in a cellular network, access points of a WiFi mesh etc.). At a given time, several nodes transmit simultaneously, each toward its own receiver. Each transmitter–receiver pair requires its own wireless link. The signal received from the link transmitter may be jammed by the signals received from the other transmitters. Even in the simplest model where the signal power radiated from a point decays in an isotropic way with Euclidean distance, the geometry of the locations of the nodes plays a key role since it determines the signal to interference and noise ratio (SINR) at each receiver and hence the possibility of establishing simultaneously this collection of links at a given bit rate. The interference seen by a receiver is the sum of the signal powers received from all transmitters, except its own transmitter.

2018-05-23

Stochastic Geometry and Wireless Networks Volume I(很清晰)

A wireless communication network can be viewed as a collection of nodes, located in some domain, which can in turn be transmitters or receivers (depending on the network considered, nodes may be mobile users, base stations in a cellular network, access points of a WiFi mesh etc.). At a given time, several nodes transmit simultaneously, each toward its own receiver. Each transmitter–receiver pair requires its own wireless link. The signal received from the link transmitter may be jammed by the signals received from the other transmitters. Even in the simplest model where the signal power radiated from a point decays in an isotropic way with Euclidean distance, the geometry of the locations of the nodes plays a key role since it determines the signal to interference and noise ratio (SINR) at each receiver and hence the possibility of establishing simultaneously this collection of links at a given bit rate. The interference seen by a receiver is the sum of the signal powers received from all transmitters, except its own transmitter.

2018-05-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除