- 博客(35)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 pytorch底层组卷积的实现方式
今天因为个人需求，去查看了一波pytorch源码中组卷积的实现，所以来记录一波。源码见网页https://github.com/pytorch/pytorch/blob/master/aten/src/ATen/native/Convolution.cpp#L289-L297简单的说就是把通道split成group个数目，然后分别进行卷积，然后cat起来。...
2019-06-16 18:01:08
3715
原创 关于深度学习学习率调整的心得【无病呻吟】
最近在研究姿态估计方面的内容。这个task数据量比较大，实验室的四路TITAN XP也只能用小batch运行，并且要跑好几天（我在想原文是不是都是四路特斯拉跑的）。为了克服设备的困难，最近关于学习率方面有一些心得。我的调参哲学大概是先给一个特别大的学习率（大到模型只要不崩就行），跑一百多epoch，看一下大概什么位置比较好；（跑的过程中可以存下效果top5的模型，用作后续的pre-trai...
2019-04-17 04:53:23
1772
翻译 【姿态估计】Joint Training of CNN and a Graphical Model for Human Pose Estimation用于姿态估计的CNN和图模型的联合训练
用于人体姿态估计的CNN和图模型的联合训练 Jonathan Tompson，Arjun Jain，Yann LeCun，Christoph Bregler 纽约大学 {tompson，ajain，yann，bregler} @ cs.nyu.edu摘要本文提出了一种新的混合架构，包括深度卷积网络和马尔可夫随机场。 作者展示了该架构如何成功应用于单目图像中人体关节姿态估计的挑战性问题。 ...
2019-01-02 21:03:55
4812
2
翻译 基于成对关系图的姿态估计Articulated Pose Estimation by a Graphical Model with Image Dependent Pairwise Relations
基于图像成对相关关系图模型的姿态估计原文地址：https://arxiv.org/abs/1407.3399 引用请注明其出处。Xianjie Chen加州大学洛杉矶分校，CA [email protected] Yuille加州大学洛杉矶分校，CA [email protected]摘要作者提出了一种基于图模型从单个静态图像估计人体姿态的方法，该图模型具...
2018-12-30 14:19:16
1443
翻译 【姿态估计】PoseMachine: 通过推理机进行关节姿态估计 Articulated Pose Estimation via Inference Machines
原文地址：http://www.cs.cmu.edu/~vramakri/poseMachines.html Varun Ramakrishna, Daniel Munoz, Martial Hebert, J. Andrew Bagnell, and Yaser Sheikh 卡耐基梅隆大学机器人研究所摘要 用于关节人体姿态估计的最先进方法基于部件的图模型。这些模型通常仅限于树形结构表示...
2018-12-20 13:22:08
1848
1
翻译 【姿态估计】DeepPose: 基于深度神经网络的人体姿态估计 Human Pose Estimation via Deep Neural Networks
Alexander Toshev Christian Szegedy Google 1600 Amphitheatre Pkwy Mountain View, CA 94043 toshev,[email protected]原文地址： https://arxiv.org/abs/1312.4659引用请注明出处。摘要作者提出了一种基于深度神经网络（DNN）的人体姿态估计方法。...
2018-12-14 23:55:09
11204
4
翻译 1.3.2【Deep Learning翻译系列】Activation Functions 激活函数
1、Sigmoid与双曲正切当建立神经网络，要做出的选择之一是在隐藏层、输出单元使用什么激活函数。常见如的Sigmoid函数：σ(z)=11+e−z.\sigma(z)=\frac {1}{1+e^{-z}}.σ(z)=1+e−z1.Sigmoid函数的值域为0到1。激活函数也可以是一个不是Sigmoid的非线性函数。例如双曲（hyperbolic）正切函数：tanh(z)=ez−e...
2018-11-28 20:10:48
326
翻译 1.3.1 【Deep Learning翻译系列】Neural Network Overview神经网络概览
上图是一个神经网络。神经网络中每个的节点对应于的两个步骤：首先计算 z=wTx+bz=w^Tx+bz=wTx+b ，然后计算 a=σ(z)a=\sigma(z)a=σ(z) ，如下图所示。它的计算图如下所示：首先输入 x,W[1],b[1]x,W^{[1]},b^{[1]}x,W[1],b[1] ，来计算 z[1]z^{[1]}z[1] ，然后与对数几率回归类似，使其通过 σ\sigm...
2018-11-28 13:31:36
217
翻译 【GAN ZOO】Precomputed Realtime Texture Synthesis with Markovian Generative Adversarial 用MGAN预训练实时纹理合成
原文地址 https://link.springer.com/chapter/10.1007/978-3-319-46487-9_43补充材料和代码 https://github.com/chuanli11/MGANs。Chuan Li and Michael Wand德国美因茨大学，计算机科学研究所摘要本文提出了马尔可夫生成对抗网络（MGANs），一种用于训练有效纹理合成的生成神经网络...
2018-11-23 01:35:30
3471
翻译 【GAN ZOO阅读】模式正则化的生成对抗网络 MODE REGULARIZED GENERATIVE ADVERSARIAL NETWORKS
原文地址： https://arxiv.org/abs/1612.02136 引用之请注明出处。 Tong Che 1，Yanran Li 2 3，Athul Paul Jacob 1，Yoshua Bengio 1，Wenjie Li 2 1 蒙特利尔学习算法研究所，蒙特利尔大学，蒙特利尔，QC H3T 1J4，加拿大 2 香港理工大学计算机系，香港 3 滑铁卢大学计算机学院，滑铁卢，O...
2018-11-16 07:46:21
2544
翻译 【GAN ZOO阅读】Unsupervised Pixel–Level Domain Adaptation with GAN 使用GAN的无监督的像素级域适应
原文链接，引用请标明出处部分译文参考自 https://blog.csdn.net/forever1993/article/details/78405280摘要收集注释良好的图像数据集来训练现代机器学习算法对于许多任务而言过于昂贵。 一个有吸引力的替代方案是渲染数据，并在其中自动生成ground truth。不幸的是，纯粹基于渲染图像训练的模型通常无法推广到真实图像。 为解决这个缺点，先前的...
2018-11-12 23:03:19
3391
翻译 【GAN ZOO翻译系列】InfoGAN： Interpretable Representation Learning by Information Maximizing GAN
本文是InfoGAN的翻译，原文地址：https://arxiv.org/abs/1606.03657相当一部分部分翻译参照于：https://blog.csdn.net/pingguolou/article/details/72920970infoGAN：通过最大化生成对抗网络中信息的可解释性表示学习 Xi Chen†‡, Yan Duan†‡, Rein Houthooft†‡, Joh...
2018-11-02 08:25:34
558
翻译 1.2.11 【Deep Learning翻译系列】Explanation of Logistic Regression Cost Function 对数几率回归代价函数的说明
视频地址本视频给出在对数几率回归使用这个成本函数的理由。在之前的对数几率回归中，预测 y^=σ(ωTx+b),\hat y=\sigma(\omega^Tx+b),y^=σ(ωTx+b),其中， σ(z)=11+e−z\sigma(z)=\frac 1 {1+e^{-z}}σ(z)=1+e−z1 。作者对此的解释是： y^=P(y=1∣x)\hat y=P(y=1|x)y^=P(y=...
2018-10-22 00:43:45
164
翻译 【GAN ZOO翻译系列】s2GAN：使用样式和结构对抗式网络的生成图像建模
王小龙，Abhinav Gupta 卡耐基梅隆大学机器人研究所摘要当前的生成框架使用的端至端的学习，并从均匀噪声分布采样产生图像。然而，这些方法忽略图像形成的最基本的原理。图像是按照以下方式产生的：（a）结构：3D模型；（B）样式：纹理到结构的映射。在本文中，作者分解图像的生成过程，并提出了样式-结构生成对抗网络（ S2GANS^2GANS2GAN ）。 S2GANS^2GANS2GAN ...
2018-10-10 17:13:00
1862
翻译 【GAN ZOO翻译】StackGAN：Text to Photo-realistic Image Synthesis with Stacked GAN 使用堆叠的GAN从文本中生成照片一样逼真的图片
Han Zhang1, Tao Xu2, Hongsheng Li3, Shaoting Zhang4, Xiaogang Wang3, Xiaolei Huang2, Dimitris Metaxas11罗格斯大学 2里海大学 3香港中文大学 4百度研究院{han.zhang,dnm}@cs.rutgers.edu, {tax313, xih206}@lehigh.edu, {hsli,xg...
2018-10-08 10:48:38
9565
翻译 【GAN ZOO翻译系列】基于能量的生成对抗网络 Energy-Based Generative Adversarial Networks
赵俊博, Michael Mathieu, Yann LeCun纽约大学计算机科学系Facebook人工智能研究院{jakezhao, mathieu, yann}@cs.nyu.edu原文链接https://arxiv.org/abs/1609.03126引用请注明出处摘要本文提出“基于能量的生成对抗网络”模型（EBGAN），它将判别器视为能量函数，将低能量赋予数据所在流形附近的区...
2018-10-05 11:36:45
2825
1
翻译 LAPGAN：Deep Generative/Image Models using a Laplacian Pyramid of Adversarial Networks 使用拉普拉斯金字塔的GAN
Emily DentonDept. of Computer ScienceCourant InstituteNew York UniversitySoumith ChintalaArthur Szlam Rob FergusFacebook AI ResearchNew York原文链接，引用请注明出处摘要本文介绍了一种能够生成高质量自然图像样本的生成参数模型。作者的方法在...
2018-09-25 23:50:40
2310
翻译 【GAN ZOO阅读系列】UNSUPERVISED REPRESENTATION LEARNING WITH DCGAN 使用深度卷积生成对抗网络的无监督的表示学习
Alec Radford & Luke Metzindico ResearchBoston, MA{alec,luke}@indico.ioSoumith ChintalaFacebook AI ResearchNew York, [email protected]引用请注明出处原文链接https://arxiv.org/abs/1511.06434参考翻译https:/...
2018-09-23 22:38:37
12044
翻译 【GAN ZOO翻译系列】Cat GAN：UNSUPERVISED AND SEMI-SUPERVISED LEARNING WITH CATEGORICAL GAN 用于监督和半监督学习的GAN
Jost Tobias Springenberg 弗莱堡大学 79110 Freiburg, Germany [email protected] 原文链接https://arxiv.org/abs/1511.06390v2摘要本文提出了一种从未标记或部分标记的数据中学习判别分类器的方法。方法基于客观函数，该函数在观察到的示例与其预测的分类类别分布之间交换互信息...
2018-09-20 16:31:41
3784
1
翻译 【GAN ZOO阅读】Generative Adversarial Nets 生成对抗网络 原文翻译 by zk
Ian J. Goodfellow, Jean Pouget-Abadie ∗ , Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair † , Aaron Courville, Yoshua Bengio ‡ Département d’informatique et de recherche opérationnelle 蒙特...
2018-09-04 07:16:50
2645
翻译 1.2.9&1.2.10 【Deep Learning翻译系列】Logistic Regression Gradient Descent 对数几率回归的梯度下降
我们按如下方式设置了对数几率回归， z=wTx+b,z=wTx+b,z=w^Tx+b, a=y^=σ(z),a=y^=σ(z),a = \hat y=\sigma(z), L(a,y)=−(1−y)log(1−y^)−ylog(y^).L(a,y)=−(1−y)log(1−y^)−ylog(y^).L(a,y)=-(1-y)\log(1-\hat y)-y\log(\hat y).在...
2018-08-28 16:51:56
338
翻译 1.2.7&1.2.8 【Deep Learning翻译系列】Derivatives with a Computation Graph 采用计算图计算微分
我说神经网络的计算是按正向传递或前向传播步骤组织的，我们计算神经网络的输出，然后是反向传递或反向传播步骤，我们用于计算梯度或计算导数。计算图解释了为什么它以这种方式组织。我们将通过一个例子说明计算图（比对数概率回归或完整的神经网络更简单的例子）。假设我们正在尝试计算一个函数J=3(a+bc)J=3(a+bc)J=3(a+bc)，我们令u=bcu=bcu=bc，v=a+uv=a+uv=a+u，J...
2018-08-27 17:04:48
228
原创 Windows 10 环境下安装Rasterio for Python
近来在帮助老师做一个GIS的项目，向Windows移植代码时要用到Rasterio包。折腾了一晚上，终于还算装好了。如同PyPI网站所说，安装GDAL之后输入以下两条命令进行安装： python setup.py build_ext -I<path to gdal include files> -lgdal_i -L<path to gdal library> （当...
2018-08-16 04:21:48
2614
2
翻译 1.2.4 【Deep Learning翻译系列】Gradient Descent 梯度下降
之前我们已经了解了Logistic Regression。Lost Function可以衡量您在单个训练示例中的表现，Cost Function可以衡量参数www和bbb在整个训练集上的表现。接下来我们会提到如何使用梯度下降算法来训练参数www和bbb。成本函数J=1m∑mi=1L(y^(i),yi)J=1m∑i=1mL(y^(i),yi)J =\frac{1}{m} \sum_{i=1}...
2018-07-15 22:28:12
314
原创 2017-2018学年的自我评价
我对我这一年的评价是，“曾经雄心勃勃，却是虎头蛇尾”。 至于原因，我也曾反思过。 我有那么多想做的事情：想学数学，想学机器学习，还想了解计算机体系结构。 我的课表也是那么的ambitious：每学期十几门课，有数学课，有机器学习课，也有一些计算机的专业课。 最初的英语分级考试，和几门结课比较早的课程，我对自己的表现是比较满意的，成绩也还可以。 到后来，当考试与作业接踵而至，我却只有一种疲...
2018-06-29 22:41:34
838
翻译 1.2.3 【Deep Learning翻译系列】Logistic Regression Cost Function 对数几率回归的代价函数
在之前的视频中，您看到了对数几率回归模型y=σ(WTx+b),where σ=11+e−zy=σ(WTx+b),where σ=11+e−zy=\sigma(W^Tx+b), where \ \sigma=\frac1{1+e^{-z}}。 要训练对数几率回归模型的参数WWW和bbb，您需要定义一个代价函数。您有一组训练集，希望找到参数WWW和bbb，至少你在训练集上...
2018-06-08 16:10:04
302
翻译 1.2.2 【Deep Learning翻译系列】Logistic Regression 对数几率回归
1.2.2 【Deep Learning翻译系列】Logistic Regression 对数几率回归在这个视频中，我们将回顾逻辑回归。当监督学习问题中输出标签Y全部为0或1时，这是一种学习算法。所以对于二元分类问题。给定一个输入特征向量xxx（可能对应于您想要识别为猫图片或不是猫图片的图片），您需要一种可输出预测的算法，我们将其称为y^y^\hat{y}，它是您对yyy的估计。 更正式...
2018-06-06 15:07:44
212
翻译 1.2.1 【Deep Learning翻译系列】Binary Classification猫图像二分类问题的提出，与符号介绍
你好，欢迎回来（视频网站）。本周我们将介绍神经网络编程的基础知识。事实证明，当你实现一个神经网络时，有一些技术将变得非常重要。例如，如果您有一组训练集，那么您可能会习惯通过训练样本中的四个循环步骤来处理训练集。但事实证明，当你实施一个神经网络时，你通常需要处理整个训练集，而不用明确的四个循环来遍历整个训练集。所以，你会在本周的资料中看到如何做到这一点。另一个想法是，当你组织网络计算时，通常你有所谓...
2018-05-28 03:06:59
1929
翻译 1.1.5 【Deep Learning翻译系列】About This Course
原视频网站所以你就要在这个专业化的第一门课程的第一周结束。让我快速了解你将在几周内学到什么。正如我在第一个视频中所说的，这个专业包含五门课程。而现在，我们进入了这五门课程的第一门课程，这门课程教给你最重要的基础，真正是深度学习最重要的基石。所以到第一堂课结束时，你就知道如何建立并开始深入神经网络。所以这里详细介绍了这门课程的内容。本课程为四周材料。而当你看到深度学习的介绍时，你刚刚到达第一周的末尾...
2018-05-27 14:37:11
322
翻译 1.1.4 【Deep Learning翻译系列】Why is Deep Learning Taking off? 深度学习为什么近年取得很大的成功？
原视频网站1、数据体量的增加使得神经网络能够发挥优势如果深度学习背后的基础理论已经存在了数十年，为什么他们只是刚刚起飞呢？在本视频中，我们来回顾一下深度学习兴起背后的一些主要驱动因素。过去几年，很多人问我：安德鲁为什么深度学习奏效？当他们问这个问题时，我通常给他们画这样一条曲线。假设我们绘制了一个数字，在横轴上我们绘制了一个任务的数据量，并且让我们在纵轴上绘制上述学习算法的性能，比如我们的垃圾邮件...
2018-05-27 14:05:30
1165
翻译 1.1.3 【Deep Learning翻译系列】Supervised Learning with Neural Network 使用神经网络的监督学习
1、神经网络的应用有很多关于神经网络的炒作(hype)。也许有些炒作是合理的，因为他们工作得多好。但事实证明，迄今为止，几乎所有由神经网络产生的经济价值都是通过一种机器学习，称为监督式学习。我们来看一些例子。在监督式学习中，您有一些输入x，并且您想要学习映射到某个输出y的函数。例如，刚才我们看到了房屋价格预测应用程序，您可以在其中输入房屋的某些功能并尝试输出或估计价格y。以下是其他一些神经网络已被...
2018-05-27 10:50:30
347
翻译 1.1.2 【Deep Learning翻译系列】 What is Neural Network 什么是神经网络
术语“深度学习”指的是训练神经网络，有时是非常大的神经网络。那么究竟是一个神经网络呢？在这个视频中，让我们试着给你一些基本的直觉。我们来看房价预测的例子。假设你有六套房子的数据集，所以你知道房屋面积的平方英尺或平方米，你知道房子的价格，你想要适合一个函数来预测房屋的价格，函数的大小。所以，如果你熟悉线性回归，你可能会说，那么让我们对这些数据做一条直线，然后我们得到这样一条直线。但是你可以说我们知道...
2018-05-27 02:54:01
233
翻译 1.1.1 【Deep Learning翻译系列】 Welcome 欢迎光临深度学习课程
你好，欢迎光临。正如你可能知道的那样，深度学习已经改变了传统的互联网业务，如网络搜索和广告。但是，深度学习还可以使全新的产品和业务以及帮助人们创造的方式成为可能。从更好的医疗保健领域，深度学习非常擅长阅读X射线图像，提供个性化教育，精准农业，甚至是自驾车等等。如果你想学习深度学习的工具并能够运用它们来创造这些惊人的东西，我想帮助你达到目标。当你完成Coursera课程的顺序，称为专业化时，你将能够...
2018-05-27 01:50:07
249
转载 [转载]使用XLRD读取数据
www.cnblogs.com/lhj588/archive/2012/01/06/2314181.html一、安装xlrd模块 到python官网下载http://pypi.python.org/pypi/xlrd模块安装，前提是已经安装了python 环境。二、使用介绍 1、导入模块 import xlrd 2、打开Excel文件读取数据 data = xlrd...
2017-02-10 10:11:27
2047
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人