10 大饼博士X

尚未进行身份认证

我要认证

关注机器学习/深度学习算法与硬件加速

等级
TA的排名 3k+

深度学习方法(二十一):常用权重初始化方法Xavier,He initialization的推导

文章目录交叉熵目标函数更陡峭Xavier initialization [1][4]He initialization [2][3]He init 考虑ReLU函数He init 考虑Leaky ReLU函数结束语参考资料交叉熵目标函数更陡峭在论文[1]中给了一个图示,一定程度上说明了为什么Cross Entropy用的很多,效果很好。图中上面的曲面表示的是交叉熵代价函数,下面的曲面表示的是二次代价函数,W1和W2分别表示层与层之间的连接权值。)在1986年 Rumelhart 已经发现:logi

2020-08-09 18:01:02

Python基础(二):Numpy函数介绍:Meshgrid,mgrid,append等

文章目录meshgrid函数mgrid函数参考资料meshgrid函数meshgrid函数通常使用在数据的矢量化上。它适用于生成网格型数据,可以接受两个一维数组生成两个二维矩阵,对应两个数组中所有的(x,y)对。meshgrid的作用是:根据传入的两个一维数组参数生成两个数组元素的列表。如果第一个参数是xarray,维度是xdimesion,第二个参数是yarray,维度是ydimesion。那么生成的第一个二维数组是以xarray为行,共ydimesion行的向量;而第二个二维数组是以yarray的

2020-07-19 22:10:51

今天开始学Convex Optimization:第3章(part2) Optimization basics

文章目录重写约束条件部分优化:消除等式约束:引入Slack变量:例子: SVM的hinge loss form凸函数的一阶最优条件(First-order optimality conditions)例子:二次优化参考资料本章来自Ryan Tibshirani的Convex Optimization: Fall 2019课程的Convexity II: Optimization basics小节。先看一个比较容易理解的概念:最优解组成的集合是一个convex set如果强凸的函数f,最优解是唯一的:

2020-05-31 21:36:18

今天开始学Convex Optimization:第3章 Convex Sets and Convex functions

第3章 Convex Sets and Convex functions

2020-04-05 22:58:11

入门神经网络优化算法(六):二阶优化算法K-FAC

上一篇介绍了二阶优化算法Natural Gradient Descent(自然梯度算法),虽然可以避免计算Hessian,但是依然在计算代价上极高,对于大型的神经网络参数规模依然不可能直接计算。本篇继续介绍自然梯度算法后续的一个近似计算方法K-FAC

2020-03-29 22:27:55

深度学习方法(二十):Hinton组最新无监督学习方法SimCLR介绍,以及Momentum Contrastive(MoCo)

本篇文章记录一下最近发表的两个比较类似的无监督representation learning工作: - SimCLR——Hinton组的工作,第一作者Ting Chen - MoCo v2——He Kaiming组的工作,第一作者Xinlei Chen

2020-03-21 21:13:41

深度学习方法(十九):一文理解Contrastive Loss,Triplet Loss,Focal Loss

我们平时ML任务的时候,用的最多的是cross entropy loss或者MSE loss。需要有一个明确的目标,比如一个具体的数值或者是一个具体的分类类别。但是ranking loss实际上是一种metric learning,他们学习的相对距离,相关关系,而对具体数值不是很关心。ranking loss 有非常多的叫法,但是他们的公式实际上非常一致的。大概有两类,一类是输入pair 对,另外一种是输入三元组结构。

2020-03-08 21:21:53

三十分钟理解:矩阵Cholesky分解,及其在求解线性方程组、矩阵逆的应用

写一篇关于Cholesky分解的文章,作为学习笔记,尽量一文看懂矩阵Cholesky分解,以及用Cholesky分解来求解对称正定线性方程组,以及求“对称正定矩阵”的逆的应用。

2020-03-04 23:59:38

入门神经网络优化算法(五):一文看懂二阶优化算法Natural Gradient Descent(Fisher Information)

二阶优化算法Natural Gradient Descent,是从分布空间推导最速梯度下降方向的方法,和牛顿方法有非常紧密的联系。Fisher Information Matrix往往可以用来代替牛顿法的Hessian矩阵计算。下面详细道来。

2020-03-03 00:51:11

今天开始学Convex Optimization:第2章 背景数学知识简述

主要参考是[1]和[2]的内容。特别是[2],比较简明又全面的介绍了需要的数学背景知识。主要需要数学分析(主要是实分析,Real analysis), 微积分(calculus), 以及线性代数(linear algebra)的最基础数学背景知识。

2020-02-22 23:45:53

Adobe PDF Reader XI 闪退解决办法,用了N年的PDF软件又可以继续用了!

最近很烦人的一个情况是用了好多年的Adobe Reader一直闪退,打开一分钟就闪退。我是Windows10系统,都是在360软甲管家上下载的,然后看了一下评论,发现大家都是这样。我的解决方案分享给大家。

2020-02-22 17:22:54

Python基础(一):Python切片,浅拷贝、深拷贝和赋值,排序,Reduce函数

整理一下Python常用操作,包括Python切片操作、拷贝、排序、Numpy基础等,会持续更新,主要是自己mark用。

2020-02-20 21:40:38

深度学习/机器学习入门基础数学知识整理(八):中心极限定理,一元和多元高斯分布

高斯分布Gaussian distribution,也叫正太分布Normal distribution,是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。

2020-02-13 22:59:45

深度学习/机器学习入门基础数学知识整理(七):数学上sup、inf含义,和max、min的区别

经常在文献中看到inf和sup,很多人不知道是什么意思。其实这两个概念是来自于“数学分析”中的上确界和下确界:inf: infimum 或 infima,中文叫下确界或最大下界。 inf(S), S表示一个集合, inf(S)是指集合S的下确界, 即小于或等于S中所有元素的最大值, 这个数不一定在集合S中。sup:supremum,中文叫上确界。sup(S)是指集合S的上确界,即大于或等于S的所有元素的最小值, 这个数不一定在集合S中。

2020-02-11 23:27:51

今天开始学Convex Optimization:引言、第1章基本概念介绍

Convex Optimization 凸优化书第一节,introduction。凸优化问题:本书主要介绍凸优化问题,定义是:对于目标函数以及约束函数都是convex的优化问题,称为convex optimization问题

2020-02-09 23:33:12

Python Matplotlib画图基础介绍

Matplotlib 是 Python 中最常用的一个绘图库,主要用于绘制各种图形,包括散点图、柱状图、3D图、等高线图等等。在做研究过程中肯定会经常用,本文做一个简单的入门介绍,也给出极佳的参考手册,以备查用。内容主要参考了[1]的内容,我自己用jupyter notebook实现了一遍,我会给出所有源码的文件。

2020-02-08 16:46:19

大饼博士的神经网络/机器学习算法收录合集:2020年整理,持续更新ing

本文用于随手记录一些Neural Network论文,主要是关注一些我觉得有趣的AI算法、网络结构。比较杂,随时看到随时记录,自己mark用。

2020-02-07 23:05:39

三十分钟在Windows10安装Anaconda+Pytorch+Cuda,老式Nvidia GTX游戏显卡实测可用

这几天捣鼓了一下在自己老式的台式机上安装Pytorch,打算稍微有空的时候玩(学习)一下。我的机器是Windows10系统+Nvidia GTX960显卡,采用Anaconda安装,解决几个小问题后基本上可以说是一键安装使用,非常方便。记录一下,方便同学们查用。我安装的版本没有选择最新版本,最后安装下来的是CUDA9.0+Pytorch1.1,我想也基本够用了。

2020-02-01 22:59:11

入门神经网络优化算法(一):Gradient Descent,Momentum,Nesterov accelerated gradient

梯度下降基于梯度的优化算法,Gradient based optimization,也往往被称为一阶优化算法。所以很容易猜到,还有二阶优化算法等的高阶优化算法,但是在实际应用中,基于梯度的一阶优化算法是目前的绝对主流方法,本文就重点罗列一下基于梯度的优化算法。最典型以及简单的是:梯度下降算法。梯度下降法是神经网络求解优化中最常用的一类算法(实际上是在数值优化方法里的一种常用方法,常常用以求解连...

2019-12-19 20:49:05

计算机视觉算法整理(一):Faster RCNN,bounding box regression,IOU,GIOU

专门收录一下一些有趣的,计算机视觉中我想记录一下的算法,重点关注的是loss function,顺便说下相关算法。因为是收录,只为日后查看之需,有一些会借用一些资料,我会给出引用。1、Faster RCNN两阶段目标检测的代表作,可以说是开创了目标检测的一番局面。现在很多公司实际在商用的目标检测算法,依然很多是基于Faster RCNN的。虽然后来各种论文都号称吊打Faster RCNN,但是...

2019-12-07 00:09:30

查看更多

CSDN身份
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。