- 博客(138)
- 资源 (38)
- 收藏
- 关注
RSS订阅原创 Win10 + Ubuntu 18.04 LTS双硬盘UEFI+GPT引导双系统安装
记录一下自己从安装双系统的痛苦经历的心得。使用范围：EFI引导，双硬盘，GPT格式。重点：首先安装Win10，在一个硬盘A上。将硬盘B，使用diskgenius打开，新建一个ESP分区，大小300M够了。然后按照网上通用教程，安装Ubuntu。自定义分区，只需要三个：1. EFI系统分区，放到2中建立的ESP分区中。2. swap分区。 3. /分区成功。后果开机引导会被放...
2019-12-25 22:46:47
776
原创 docker学习笔记
目录docker学习笔记1. docker基础介绍docker学习笔记本文简单记录自己的docker学习过程。1. docker基础介绍
2019-12-11 22:38:15
403
翻译 k折交叉验证 k-fold cross-validation
文章目录k折交叉验证k值的确定实例使用scikit-learn进行交叉验证交叉验证是用来评估机器学习方法的有效性的统计学方法，可以使用有限的样本数量来评估模型对于验证集或测试集数据的效果。k折交叉验证参数kkk表示，将给定的样本数据分割成kkk组。k=10k=10k=10时，称为10折交叉验证。流程如下：将数据集随机打乱。Shuffle the dataset randomly.将数...
2019-06-15 16:32:03
9026
1
原创 GAN生成对抗网络：数学原理
文章目录1. 极大似然估计2. 相对熵，KL散度3. KL散度与交叉熵的关系4. JS散度5. GAN 框架判别器的损失函数生成器的损失函数1. 极大似然估计GAN用到了极大似然估计（MLE），因此我们对MLE作简单介绍。MLE的目标是从样本数据中估计出真实的数据分布情况，所用的方法是最大化样本数据在估计出的模型上的出现概率，也即选定使得样本数据出现的概率最大的模型，作为真实的数据分布。将...
2019-05-31 23:08:16
1128
1
原创 Python二维数组按列取元素
Numpy数组可以直接切片，但是普通的Python二维数组不行。方法一a = [[1,2],[3,4]]b = [i[0] for i in a] # 从a中的每一行取第一个元素。print(b)[1, 4]方法二a = [[1,2],[3,4]]b = list(zip(*a))print(b)[(1, 3), (2, 4)]...
2019-05-27 17:03:24
14159
5
原创 深度学习中的优化算法
如何确定mini-batch的大小？64， 128， 256， 。。。。。。数据大小适应CPU / GPU内存的大小Exponentially weighted averagesvt=βvt−1+(1−β)θtv_t = \beta v_{t-1} + (1-\beta) \theta_tvt=βvt−1+(1−β)θtθt\theta_tθt是原始数据，vtv_tvt是构造的...
2019-05-26 19:38:47
167
原创 深度学习的一些知识点总结
当training set和test set数据分布不一致时，保证validate set和test set数据分布一致High bias? 增大加深网络。Large and deep。High variance？找更多训练数据，regularization增大加深网络，同时增大训练集数据量，总是可取的。Regularization：L2 平方和， 对矩阵是Frobenius N...
2019-05-19 00:03:16
310
原创 CNN中感受野Receptive Field的计算
1. 感受野The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).感受野是在输入空间内，CNN提取的特征的来源区域的大小。感受野可以用其中心位置和尺寸来描述。在一个感受野内，越靠近中...
2019-05-17 23:56:55
679
原创 Anaconda 创建虚拟环境及一些使用技巧
1. 使用conda创建新的环境conda create -n name python=version2. 激活虚拟环境source activate name3. 退出环境source deactivate
2019-05-06 23:01:11
1149
原创 Conv2d反向传播梯度的计算过程
我们用一个例子来说明：令x∗w=yx*w=yx∗w=y并且x=[x11x12x13x21x22x23x31x32x33],w=[w11w12w21w22],y=[y11y12y21y22]x=\begin{bmatrix}x_{11} & x_{12} & x_{13}\\x_{21} & x_{22} & x_{23}\...
2019-05-05 14:10:07
1463
原创 上采样和反卷积 Up-sampling and Transposed Convolution (Deconvolution)
文章目录1. 卷积操作2. 卷积矩阵3. 反卷积4. 反卷积矩阵5. 总结参考文献使用反卷积（Transposed Convolution）来进行上采样操作，不需要借助插值方法，并且可以提供能够学习的参数。反卷积在DCGAN和图像的语义分割网络中，有很重要的应用。1. 卷积操作我们用一个简单的例子来介绍卷积的计算过程。如下图所示，用一个3x3的卷积核对一个4x4的矩阵进行卷积操作，步长为1...
2019-05-03 21:47:28
2481
原创 数据扩增方法 Data Augmentation
1. Common methodsmirroring 镜像水平翻转random cropping 随机裁切rotationshearinglocal warping2. Color shifting给R、G、G颜色分量增加不同的权重，例如R+20, G-20, B+20等等PCA color augmentation (AlexNet paper)...
2019-05-01 21:46:22
1390
原创 l1约束比l2约束更容易获得稀疏解
本文内容受到了知乎相关问题的启发，本人做了一些整理和补充。l1l_1l1和l2l_2l2约束将损失函数L(w)L(w)L(w)看作参数www的函数，则l1l_1l1约束的形式是：(1)L=L(w)+λ∥w∥1L = L(w) + \lambda\left\Vert w\right\Vert_1 \tag{1}L=L(w)+λ∥w∥1(1)l2l_2l2约束的形式是：(2)L=L...
2019-04-21 17:41:43
1558
原创 循环神经网络RNN的前向传播与反向传播
文章目录1. RNN模型2. RNN的前向传播3. RNN的反向传播1. RNN模型2. RNN的前向传播对于当前的索引号ttt，隐藏状态hth^tht由xtx^txt和ht−1h^{t-1}ht−1共同得到：(1)ht=tanh(Uxt+Wht−1+b)h^t = \tanh(Ux^t+Wh^{t-1}+b) \tag{1}ht=tanh(Uxt+Wht−1+b)(1)其中选用了t...
2019-04-21 14:50:56
1597
1
原创 交叉熵的反向传播梯度推导（使用softmax激活函数）
设标签yk=1y_k=1yk=1，也即xkx_kxk对应的第kkk类的标签为1，则交叉熵损失函数为：(1)J=−∑j=1NyjlogajL=−logakLJ = -\sum_{j=1}^Ny_j\log a_j^L = -\log a_k^L \tag{1}J=−j=1∑NyjlogajL=−logakL(1)其中NNN是分类的类别数目。softmax激活函数的表达式为：(...
2019-04-21 01:20:23
8179
原创 卷积神经网络CNN的反向传播算法推导
文章目录1. 全连接层2. 池化层3. 卷积层4. 参考资料1. 全连接层与深度神经网络DNN的反向传播算法一致，辅助变量：{δL=∂J∂zL=∂J∂aL⊙σ′(zL)δl=(Wl+1)Tδl+1⊙σ′(zl)\left\{\begin{aligned}&\delta^L = \frac{\partial J}{\partial z^L} = \frac{\partial ...
2019-04-19 20:10:09
846
原创 Logistic Regression逻辑回归的一些知识点
关于Logistic Regression的一些知识点：为什么损失函数不用平方误差：L=12∑i(y^−y)2L = \frac{1}{2}\sum_i(\hat{y}-y)^2L=21i∑(y^−y)2答：这样的损失函数不是凸的，梯度下降法会陷入局部最小值。...
2019-04-18 00:51:08
304
原创 1x1的卷积及其作用
本文将解决如下问题：1x1的卷积有什么作用？为什么要用1x1的卷积？文章目录1x1卷积可以扩增或减少数据实例：1x1卷积用于降低参数的数量 图1：左:：3x3卷积；右：1x1卷积1x1卷积可以扩增或减少数据1x1的卷积核，也被称作网中网（Network in Network）。图1中右图显示的数据的channel是1，此时1x1卷积只是把原始数据乘以一个倍数（...
2019-04-14 01:38:44
3863
原创 Batch Normalization 批标准化及其相关数学原理和推导
数据经过一层层网络之后，输出的数据分布会发生变化，此现象称为Internal Covariate Shift，会给下一层的网络学习带来困难。直接对每一层做归一化是不合理的如果将每一层的输出都归一化为标准正态分布，均值为0，方差为1，会导致网络完全学习不到输入数据的特征，因为所有的特征都被归一化了。Batch Normalization的步骤求出整个batch数据的均值：μb=1m∑i=...
2019-04-12 01:17:42
862
原创 深度学习中的梯度消失、梯度爆炸问题的原因以及解决方法
本文简要介绍梯度消失 (gradient vanishing) 和梯度爆炸 (gradient exploding) 问题，并给出一些可行的解决方法。神经网络在更新参数的过程中，使用反向传播 (Backpropagation) 算法求得各层网络的梯度，可以看作是神经网络式的链式法则。反向传播过程是导致梯度消失和梯度爆炸问题的主要原因，而且随着网络的深度增加，这些问题越发明显。深度神经网络在解决...
2019-04-10 16:01:35
9593
3
原创 PyTorch 中的交叉熵函数 CrossEntropyLoss 的计算过程
CrossEntropyLoss() 函数联合调用了 nn.LogSoftmax() 和 nn.NLLLoss()。假设网络得到的输出为 hhh，它的维度大小为 B×CB\times CB×C，其中 BBB 是 batch_size，CCC 是分类的总数目。与之对应的训练数据的标签 yyy 维度是 1×B1\times B1×B，yyy 中元素的取值范围是 [0,C−1][0, C-1][0,C...
2019-04-09 15:36:44
10189
4
转载 理解 softmax 和 NLL 损失函数 (the negative log-likelihood) 以及求导过程
本文转载自 https://ljvmiranda921.github.io/notebook/2017/08/13/softmax-and-the-negative-log-likelihood/有空了再翻译一下吧。文章目录Softmax Activation FunctionIn this notebook I will explain the softmax function, its ...
2019-04-08 17:23:53
9817
转载 详解最大似然估计（MLE）、最大后验概率估计（MAP），以及对贝叶斯公式的理解
本文目录详解最大似然估计（MLE）、最大后验概率估计（MAP），以及对贝叶斯公式的理解概率和统计是一个东西吗？贝叶斯公式到底在说什么？贝叶斯公式就是在描述，你有多大把握能相信一件证据？（how much you can trust the evidence）似然函数最大似然估计（MLE）最大后验概率估计最大似然估计和最大后验概率估计的区别详解最大似然估计（MLE）、最大后验概率估计（MAP），以...
2019-04-08 17:12:55
233
转载 LaTex设置页眉页脚和页码
首先设置页码：在正文中调用页码命令\pagenumbering{数字形式}。其中数字形式可取值如下： arabic, 阿拉伯数字 roman, 小写罗马数字 Roman,大写罗马数字 alpha, 小写拉丁字母 Alpha, 大写拉丁字母在latex中用自定义页眉页脚, 一般都要使用宏包fancy. 关键是琢磨一下下面的例子, 在看看相应的说明, 一般就可以得到你想要的结果了. 下面的内容
2015-04-13 09:30:38
18054
转载 Emacs的使用
Table of Contents1. Emacs编辑器简介2. Emacs编辑器的界面3. Emacs所能提供的工作环境4. Emacs命令4.1. 基本的光标控制4.2. 编辑命令4.3. 查找与替换4.4. 文件操作4.5. 缓冲区Emacs编辑器简介emacs编辑器是由C语言和LISP语言编写的。LISP（链表处理语言）是由约翰·麦卡锡在1960年左右创造的一种基于λ演算的函
2015-04-11 14:33:55
672
转载 Org-mode简明手册
csdnTable of Contents1. 简介1.1. 序#+title Org-mode 简明手册1 简介11.1 序Org是一个用文本方式来快速高效地做笔记、维持代办事项和做项目计划的模式。它是一个创作发布系统。这个文档Footnotes: 1此文章引用自：http://www.cnb
2015-04-10 16:43:13
1941
原创 VTK 6.1 安装配置
安装可以参考http://blog.csdn.net/jasonleesjtu/article/details/8211692 过程大致一样。 VTK 6.1 相对于VTK 5 在目录结构方面有很大的改动，很多lib文件的名字都换掉了。所以配置部分按上文无法成功。此时可以借助CMake配置文件。cmake_minimum_required(VERSION 2.8.5 FATA
2015-01-27 22:38:16
1499
转载 Begin Parallel Programming With OpenMP
Improve program performance using OpenMP on multi-core systemsIntroductionParallel processing has always been an interesting method to improve program performance. Lately, there are more computers
2015-01-07 19:51:15
1132
转载 OpenMP并行程序设计
1、fork/join并行执行模式的概念2、OpenMP指令和库函数介绍3、parallel指令的用法4、for指令的使用方法5 sections和section指令的用法OpenMP并行程序设计1、fork/join并行执行模式的概念OpenMP是一个编译器指令和库函数的集合，主要是为共享式存储计算机上的并行程序设计使用的。前面一篇文章中已经试用了OpenMP
2015-01-06 11:06:03
886
转载 Visual Studio 2010中使用OpenMP
在VS2010中项目的属性对话框中，左边框里的“配置属性”下的“C/C++”下的“语言”页里，将OpenMP支持改为“是/（OpenMP）”就可以支持OpenMP了。先看一个简单的使用了OpenMP程序#include "stdafx.h"#include "omp.h"#includeint _tmain(int argc, _TCHAR* argv[])
2015-01-06 10:18:10
3237
转载 Setting up VB.NET to work with Excel
Click on File and click on New Project. Under Visual basic, Select “Windows” and then select “Windows Form Application”. Give the project an appropriate name and select a location where you want to sa
2014-10-14 13:09:05
1296
转载 pentadactyl 配置文件
"1.1loadplugins '\.(js|penta)$'group user" vim: set ft=pentadactyl:map -m n,v,i,c,t map -m n,v,i,c,t map -m i,c,t map -m i,c,t map -m i,c,t " hint mode 下的打开链接set hintkeys=asdf
2014-07-14 18:58:01
1418
转载 Pentadactyl使用技巧
前奏装了这个插件后启动Firefox时界面可能会有很大变化，熟悉的各种XX栏可能都会消失。恢复的办法是1set go+=mBT这样子可能会熟悉一些。不过还是建议用1set go-=mBT让它们消失吧。一旦你习惯了Pentadactyl你不会想看
2014-07-12 17:55:01
972
转载 LaTeX常用表格绘制入门
LaTeX 中经常会碰到绘制表格.下面通过一个例子来体会 LaTeX 的表格功能.\documentclass{article}\usepackage{multirow}\begin{document}LaTeX table example\\\verb= http:\\www.chinatex.org=\\\begin{table}[!hbp]\begin
2014-05-15 21:17:45
3198
原创 win8更新至win8.1后，无法联网的解决方法
Win键+X，然后选择 命令提示符（管理员），然后输入命令netsh winsock reset进行解决，里面提示完成，重启后即可！其实电脑不用重启，就已经可以联网了。
2014-05-02 12:53:10
1691
Softany-CHM-to-PDF-converter 2.752 注册版
2013-11-12
CUDA-Z-0.7.189
2013-11-05
Visual_Assist_X_10.8.2001.0破解版
2013-10-24
fftw 3.3.3 windows 64位免编译版本
2013-10-18
gsl-1.8-src.exe
2013-03-21
gsl-1.8.exe
2013-03-21
CUDA5.0在windows环境安装指导
2012-12-31
使Windows Media Player可以播放MKV格式文件的插件
2012-10-30
Access Database Engine 2010 下载
2012-05-14
glut开发库
2012-04-06
一些好的JAVA编程题.doc
2011-07-16
VC免费界面库GuiToolKit
2011-05-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人