- 博客(33)
- 收藏
- 关注
RSS订阅转载 softmax，softmax loss和cross entropy的讲解
转载自: https://blog.csdn.net/u014380165/article/details/77284921这一篇主要介绍全连接层和损失层的内容，算是网络里面比较基础的一块内容。先理清下从全连接层到损失层之间的计算。来看下面这张图，来自参考资料1（自己实在懒得画图了）。这张图的等号左边部分就是全连接层做的事，W是全连接层的参数，我们也称为权值，X是全连接层的输入，也就是特征。从图上...
2018-06-03 11:05:04
585
转载 softmax loss对输入的求导推导
转载自: https://blog.csdn.net/u014380165/article/details/79632950我们知道卷积神经网络（CNN）在图像领域的应用已经非常广泛了，一般一个CNN网络主要包含卷积层，池化层（pooling），全连接层，损失层等。虽然现在已经开源了很多深度学习框架（比如MxNet，Caffe等），训练一个模型变得非常简单，但是你对损失函数求梯度是怎么求的真的了解...
2018-06-03 11:03:06
1203
转载 深度学习的activation function
转载自：https://zhuanlan.zhihu.com/p/25110450TLDR (or the take-away)优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function:背景深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经...
2018-05-31 19:16:07
407
转载 深度学习中常见的优化方法（from SGD to AMSGRAD）和正则化技巧
转载自【泡泡机器人原创专栏】https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw一．优化方法这里介绍的优化方法包括:SGD,两种带动量的SGD,AdaGrad,RMSProp,Adadelta,Adam, AMSGRAD，基本涵盖了常用的一些优化算法。先介绍一下优化方法，这里需要注意一下，在深度学习当中，优化的问题是在于鞍点而不是所谓的局部最小值点，在...
2018-05-30 21:42:52
2947
1
转载 The Activation Function in Deep Learning 浅谈深度学习中的激活函数
原文地址：http://www.cnblogs.com/rgvb178/p/6055213.html版权声明：本文为博主原创文章，未经博主允许不得转载。激活函数的作用首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。比如在下面的这个问题中：如上图(图片来源)，在最简单的情况下，数据是线性可分的，只需要一条直...
2018-05-29 19:16:54
299
转载 AdaGrad - Adaptive Subgradient Methods
AdaGrad - Adaptive Subgradient Methodshttps://cs.stanford.edu/~ppasupat/a9online/1107.htmlAdaGrad is an optimization method that allows different step sizes for different features. It increases the in...
2018-05-16 11:14:07
923
转载 Stochastic Gradient Descent vs Batch Gradient Descent vs Mini-batch Gradient Descent
梯度下降是最小化风险函数/损失函数的一种经典常见的方法，下面总结下三种梯度下降算法异同。1、 批量梯度下降算法（Batch gradient descent）以线性回归为例，损失函数为BGD算法核心思想为每次迭代用所有的训练样本来更新Theta，这对于训练样本数m很大的情况是很耗时的。BGD算法表示为 或者表示为 其中X(m*n)为训练样本矩阵，α为学习速率，m为样本数，y(m*1)为样本结...
2018-05-16 10:00:31
243
转载 反向传播神经网络 BP
我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代码，关键是，它们还对得上。对于欠缺的背景知识，利用斯坦福大学的神经网络wiki进行了补全。单个神经元神经网络是多个“神经元”（感知机）的带权...
2018-05-09 11:25:27
442
转载 几种常见的激活函数
1. sigmod函数函数公式和图表如下图 在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流行，这说明函数本身是有一定的缺陷的。1) 当输入稍微远离了坐...
2018-05-09 11:23:46
1856
转载 关于深度学习优化器 optimizer 的选择，你需要了解这些
雷锋网按：本文作者杨熹，原文载于作者个人博客，雷锋网(公众号：雷锋网)已获授权在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器：详情参见：https://www.tensorflow.org/api_guides/python/train在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Ada...
2018-05-09 11:22:18
852
转载 RNN以及LSTM的介绍和公式梳理
（转载）前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文字等应用...
2018-05-04 13:56:26
199
转载 隐马尔可夫模型（HMM）攻略
隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。 考虑下面交通灯的例子，一个序...
2018-05-04 13:49:45
315
转载 交叉熵代价函数(损失函数)及其求导推导
前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。 首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),以及J(θ...
2018-05-04 13:29:12
974
转载 Launch 文件
1 使用Launch文件 2 创建Launch文件 3 在namespace中启动nodes 4 remapping names 5 其他的launch元素 1 使用launch文件Launch文件是ROS提供的，可以同时运行多个nodes的文件。Launch文件以一种特殊的XML格式编写，在ROS packages中使用广泛。1.1 运行launch文件$ roslaunch pac...
2018-05-02 10:49:07
396
转载 C++11 之 override
1 公有继承 公有继承包含两部分：一是 "接口" (interface)，二是 "实现" (implementation) 如下 Shape 类中，三个成员函数，代表三种继承方式：class Shape {public: virtual void Draw() const = 0; // 1) 纯虚函数 virtual void Error(const std::st...
2018-04-27 10:57:13
281
原创 ROS loam_velodyne catkin_make Error: By not providing "FineEigen3.cmake" in CMAKE_MODULE_PATH
最近在学习 Ji Zhang 大神的3D LIdar-SLAM: load_velodyne, 参考paper: J. Zhang and S. Singh. LOAM: Lidar Odometry and Mapping in Real-time. Robotics: Science and Systems Conference (RSS). Berkeley, CA, July 2014. ...
2018-04-19 11:55:24
1876
原创 gitosis 安装使用及错误整理
为了代码托管，自己利用vps建立了git托管服务器，作为自己使用原本可以直接登录管理，但是为了体验powerful的具有权限管理的git管理工具——gitosis，也是花了好几天时间来摸索。此篇文章有自己整理资料，根据安装使用可能遇到的问题，汇总网络资料而成，主要参考引用：git：gitosis官方资料csdn：git错误大汇总gitosis安装教程Gitosis把所有用户的公钥保存在 autho...
2018-04-14 16:42:50
2618
翻译 git-clone Manual Page
git-clone(1) Manual PageNAMEgit-clone - Clone a repository into a new directorySYNOPSISgit clone [--template=<template_directory>] [-l] [-s] [--no-hardlinks] [-q] [-n] [--bare] [--mirror] ...
2018-04-14 16:19:37
246
原创 ssh-keygen ssh-add
ssh-key 用于ssh 免密码登录，具体使用方式可以搜到很多应用教程，主要步骤是一样的，主要区别在Linux系统和Windows系统中，应用命令和过程一样，ssh-keygen命令多用于git，因此在windows平台中Git-Bash可直接支持ssh-keygen，生成ssh-key之后git需要添加ssh-key，特别是在git管理多个key时，需要通过ssh-add进行添加，因为ssh-...
2018-04-14 16:00:11
4533
转载 windows下生成ssh key详解
一、引子：什么是ssh：ssh是Secure Shell（安全外壳协议）的缩写，建立在应用层和传输层基础上的安全协议。为了便于访问github，要生成ssh公钥，这样就不用每一次访问github都要输入用户名和密码。二、生成条件：请在github上先注册账号，本地安装git。三、生成步骤：1、本地成功安装了git后，单击鼠标右键，选择Git Bush here，打开git bush。2、 键入命令...
2018-04-14 15:39:24
81650
4
转载 PCL深度图像 RangeImage
http://www.cnblogs.com/li-yao7758258/p/6474699.html目前深度图像的获取方法有激光雷达深度成像法，计算机立体视觉成像，坐标测量机法，莫尔条纹法，结构光法等等，针对深度图像的研究重点主要集中在以下几个方面，深度图像的分割技术 ，深度图像的边缘检测技术 ，基于不同视点的多幅深度图像的配准技术，基于深度数据的三维重建技术，基于三维深度图像的三维目标识别技术...
2018-04-09 15:44:43
6458
转载 PCL点云生成深度图像
https://www.cnblogs.com/li-yao7758258/p/6476046.html（1）点云到深度图与可视化的实现区分点云与深度图本质的区别1.深度图像也叫距离影像，是指将从图像采集器到场景中各点的距离（深度）值作为像素值的图像。获取方法有：激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法。2.点云：当一束激光照射到物体表面时，所反射的激光会携带方位...
2018-04-09 15:16:22
15456
10
转载 Sublime Text 3 快捷键总结（拿走）
原文地址：https://www.douban.com/note/362268947/选择类Ctrl+D 选中光标所占的文本，继续操作则会选中下一个相同的文本。Alt+F3 选中文本按下快捷键，即可一次性选择全部的相同文本进行同时编辑。举个栗子：快速选中并更改所有相同的变量名、函数名等。Ctrl+L 选中整行，继续操作则继续选择下一行，效果和 Shift+↓ 效果一样。Ctrl+Shift+L 先...
2018-04-06 15:42:42
371
转载 高斯混合模型（GMM）及其EM算法的理解
https://blog.csdn.net/jinping_shi/article/details/59613054高斯混合模型（Gaussian Mixed Model）指的是多个高斯分布函数的线性组合，理论上GMM可以拟合出任意类型的分布，通常用于解决同一集合下的数据包含多个不同的分布的情况（或者是同一类分布但参数不一样，或者是不同类型的分布，比如正态分布和伯努利分布）。如图1，图中的点在我们...
2018-04-05 17:45:28
655
转载 tensorflow中slim模块api介绍
博客原文：https://blog.csdn.net/guvcolie/article/details/77686555最近需要使用slim模块，先把slim的github readme放在这里，后续会一点一点翻译github：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/contrib/slimTensorFlow...
2018-04-01 10:56:10
971
1
翻译 Protobuf学习 - 入门
Protobuf学习 - 入门 古之立大事者，不惟有超世之才，亦必有坚忍不拔之志 -- 苏轼·《晁错论》 从公司的项目源码中看到了这个东西，觉得挺好用的，写篇博客做下小总结。下面的操作以C++为编程语言，protoc的版本为libprotoc 3.2.0。一、Protobuf？ 1. 是什么？ Google Protocol Buffer(...
2018-03-30 15:32:34
194
转载 Python 详解命令行解析 - argparse
Python 详解命令行解析 - argparsePython 详解命令行解析 - argparsesysargvwhy choice argparse创建解析器 - ArgumentParser添加参数选项 - add_argument解析参数examplesys.argv适合解析简单的命令行filename = arg_sys.py#!/usr/bin/python# -*- coding:...
2018-03-30 14:47:00
697
转载 面向机器学习专家的 MNIST 高级教程代码
教程链接：面向机器学习专家的 MNIST 高级教程利用CNN卷积神经网络训练MNIST手写字体，mnist手写字体素材为28*28像素的图片，本程序中采用两层卷积神经网络与密集连接层，利用ReLU激活函数与Adam梯度最速下降方法进行训练代码如下：#下载引入数据集from tensorflow.examples.tutorials.mnist import inp
2017-04-22 16:07:49
649
原创 Windows10 TensorFlow “Couldn't open CUDA library cudnn64_5.dll”
环境为：Win10+TensorFlow1.0.1+GTX1060在Windows10上配置TensorFlow with GPU，安装完CUDA和cuDNN，运行程序 时发现：“Couldn't open CUDA library cudnn64_5.dll”>>> import tensorflowI c:\tf_jenkins\home\workspace\
2017-04-22 15:27:16
7688
3
转载 【转载】单目相机标定原理
相机标定的目的是建立像素坐标系和世界坐标系之间的关系。原理是根据摄像机模型，由已知特征点的图像坐标求解摄像机的模型参数，从而可以从图像中恢复出空间点的三维坐标。所要求解的参数包括4个内参数和5个畸变参数，对于外参数，即旋转矩阵的三个旋转参数和平移向量的三个参数。一. 针孔相机模型摄像机成像模型一般有三种：透镜投影模型（针孔相机模型）、正交投影模型和透视投影模型。如下所示：什么是焦距呢？镜头的焦距
2017-04-15 13:32:07
942
原创 机器学习的Hello Word——Softmax Regression识别手写数字
TensorFlow 核心概念：计算表示为一个有向图（directed graph），或计算图（computation graph）其中每一步运算操作（operation）作为一个节点（node）节点与节点之间的连线成为边（edge）在计算图边中流动（flow）的数据成为张量（tensor）TensorFlow神经网络开发流程：1、定义算法公式，也就是神经网络for
2017-04-06 20:43:31
697
原创 Visual Studio Community 2015 Setup Blocked
Visual Studio Community 2015 Setup Blocked解决问题：Invalid entries passed to /FilterFeatureSelectionTree and /InstallSelectableItems switch出错原因：Configuring Feed过程中Feed.xml文件出错
2017-04-05 10:54:43
3494
原创 Windows10下python3.5.2+CUDA8.0+TensorFlow安装日记
Windows10 64位下配置TensorFlow with GPU support 安装日记包括Python3.5.2、 Ipython、 Python IDE、CUDA8.0安装、 cuDNN安装、TensorFlow安装
2017-04-04 17:37:37
4775
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人