shura_R-CSDN博客

原创【Docker】Docker基础和简单实例

docker作为新时代的虚拟化容器，自2013年诞生以来受到广大用户的追捧，docker允许开发者可以打包任何自己的应用以及依赖包到一个可移植的容器中，然后可以发布到任何流行的Linux机器或Windows 机器上。在装docker之前迁移项目代码：“诶？你的代码怎么运行不了。原来是我这环境缺少包，版本不对…”。有了docker之后：“给，拿去跑吧。”Docker基本架构Docker中有...

2020-04-28 17:19:57 909

原创【论文笔记】DARTS: Differentiable Architecture Search

看过NAS的同学都知道，之前神经网络结构搜索使用的都是强化学习或者进化算法来搜索，当然PNAS是之后的事情，因为动作空间是离散的，在全局搜索神经网络架构十分耗费资源，而DARTS这篇文章用了数学方法，巧妙地将搜索空间用概率的方式转化为了连续可微形式，然后使用梯度的下降来搜索网络结构。---------------------------------------------------------...

2019-11-22 17:26:15 3094

原创【论文笔记】ProxylessNAS: Direct Neural Architecture Search on Target Task and Hardware

ProxylessNAS 是MIT韩松教授组发表在ICLR2019上的一篇论文，是对NAS方法的进一步补充和优化。简介Neural Architecture Search (NAS) 是目前在自动搜索神经网络结构的重要算法，然而NAS的使用却需要大量算力的支撑（104GPUhours10^4 GPU hours104GPUhours），在大规模数据集（ImageNet 1000）上应用难度会更...

2019-11-21 15:15:11 4501

转载【转载】PyTorch 实用技巧

https://github.com/zxdefying/pytorch_tricks在github上看到一篇关于PyTorch实战技巧的文章，感觉很棒，感恩作者，为防止迷路，转载一下先。1、指定GPU编号设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0：os.environ[“CUDA_VISIBLE_DEVICES”] = “0”设置当前使用的GPU设备为0,1号两个...

2019-11-20 14:37:37 1046

原创【论文笔记】MetaPruning: Meta Learning for Automatic Neural Network Channel Pruning

这篇论文仍然是基于通道裁剪，发表在ICCV 2019 ，这篇文章思路同样是想要使用AutoML的思想去自动裁剪调整出合适的网络，使用元学习的方法根据剪枝策略直接产生对应的权重，然后使用进化算法来搜索得到最优的剪枝策略。

2019-11-12 17:28:30 3784

原创【论文笔记】Filter Pruning via Geometric Median for Deep Convolutional Networks Acceleration

本篇论文来源于CVPR2019的oral，主要提出了一种基于几何中心剪枝的模型压缩方法，文章分析了基于范数阈值裁剪的局限性，提出了FPGM的裁剪方式，并经过实验验证证明了FPGM算法更加有效。

2019-11-07 15:45:10 3703 7

原创【论文笔记】Channel Pruning for Accelerating Very Deep Neural Networks

论文：https://arxiv.org/abs/1707.06168源码：https://github.com/yihui-he/channel-pruning本篇论文来自ICCV2017年的论文，是旷世的工作。因为之复现AMC的论文发现源码中使用了权重重构（weight reconstruction）的方法，于是乎查了出处发现来源于这篇论文。本文的思想算是channel prune早...

2019-11-06 12:31:37 2113

原创【论文笔记】AMC：AutoML for Model Compression and Acceleration on Mobile Devices

本篇论文是MIT韩松老师组提出的一种模型压缩方法，其核心思想是使用强化学习技术来实现自动化压缩模型。目前对于领域问题的解决方案通常采取人工压缩模型，手工压缩方法需要相关领域的专家知识，需要人工在推理速度，大小与准确率之间权衡，因此人工压缩难以得到最优的压缩策略。与人工设计模型相比使用强化学习的产生压缩策略从数据出发能够找到更合适的压缩策略。

2019-11-05 11:22:34 6145 39

原创【机器学习】凸优化无约束条件

凸优化知识博大精深，学习一下便于方便理解机器学习算法中的优化原理，学习了一点皮毛总结一下。引用七月在线算法班程博士的凸优化初步（统一论）想说明白凸优化是什么就要先清楚最优化问题，了解了最优化问题我们会恍然大悟为什么会是凸优化。优化问题很多机器学习中的问题都可以被看做成一个优化问题，也就是找最优解，接下来先看一个例子求解一个线性方程组：x1+2x2=0x_1+2x_2=0x1+2x...

2019-02-19 14:42:41 1183

原创【Matpyplot】绘制论文用图表

在撰写论文的时候发现论文需要上传清晰的pdf格式的图，和我们平时跑实验用的图不是一个概念。需要根据排版的格式进行调整，改大小，清晰度，去白边等操作，故在此整理记录。图片大小plt.figure(figsize=[7, 5]) #用来控制图像大小先width 后height画折线图plt.plot(x_axis,data, label="XXX", color="red", linewi...

2019-01-14 11:04:19 1321

原创【强化学习】PPO(Proximal Policy Optimization)近端策略优化算法

morvan zhou教学视频https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/Hung-yi Lee课程http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.htmlPPO论文https://arxiv.org/abs...

2019-01-11 17:08:29 79481 15

原创 Latex 使用心得-常规操作

最近一直在拼了老命的的赶论文，好久没更博客了，好不容易搞完了，就把这段时间使用Latex的经验总结一下，这个东西说好用是真好用，说麻烦也是真的麻烦，写完一篇论文不亚于撸一个前端页面的工作量了。模板选择在上手之前一定要先看看自己要发什么会议，一般都有特定的格式，这时候需要去网上找模板，将必要的工具包和模板类型先导入进来。例如我用的模板就是 IEEEtran的\documentclass[10p...

2019-01-10 17:39:32 3301

原创【机器学习】聚类算法 KMeans DBSCAN

在无监督学习领域中我们的数据集没有标签，在这情况下我们想对其分类，这就要引出聚类算法了，而今天所说的kmeans算法就是一种经典的无监督聚类算法。kmeans算法算法思想Kmeans算法是输入聚类个数k，以及包含 n个数据对象的数据库，输出满足方差最小标准k个聚类的一种算法。k-means 算法接受输入量 k ；然后将n个数据对象划分为 k个聚类以便使得所获得的聚类满足：同一聚类中的对象相似...

2018-12-04 14:19:49 992

原创【Leetcode】19 removeNthFromEnd python解法

removeNthFromEnd 移除链表中倒数第n个节点给定一个链表: 1->2->3->4->5, 和 n = 2. 当删除了倒数第二个节点后，链表变为 1->2->3->5.解题思路：思路简单直接递归向下找到尾部节点，然后返回值加1挡得到倒数第n个数的时候完成删除节点操作python解法# Definition for si...

2018-08-24 10:22:35 737

原创【Leetcode】11 maxArea python解法

leetcode第11题盛水最多的容器python解答给定 n 个非负整数 a1，a2，…，an，每个数代表坐标中的一个点 (i, ai) 。在坐标内画 n 条垂直线，垂直线 i 的两个端点分别为 (i, ai) 和 (i, 0)。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。说明：你不能倾斜容器，且 n 的值至少为 2 输入: [1,8,6,2,5,4,...

2018-08-20 14:29:53 838

原创【Leetcode】5 longestPalindrome python解法

leetcode第5题 longestPalindrome 最长回文子串 python解法给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为1000。输入: “babad” 输出: “bab” 注意: “aba”也是一个有效答案。输入: “cbbd” 输出: “bb”python解法动态规划解法：关键是重复利用已...

2018-08-20 14:16:02 1833

原创【Leetcode】3 lengthOfLongestSubstring python解法

lengthOfLongestSubstring 无重复字符最长子串给定一个字符串，找出不含有重复字符的最长子串的长度。输入: “abcabcbb” 输出: 3 解释: 无重复字符的最长子串是 “abc”，其长度为 3。输入: “bbbbb” 输出: 1 解释: 无重复字符的最长子串是 “b”，其长度为 1。python解法暴力穷举...

2018-08-20 12:00:03 1693 1

原创【Leetcode】2 addTwoNumbers python解法

给定两个非空链表来表示两个非负整数。位数按照逆序方式存储，它们的每个节点只存储单个数字。将两数相加返回一个新的链表。你可以假设除了数字 0 之外，这两个数字都不会以零开头。输入：(2 -> 4 -> 3) + (5 -> 6 -> 4) 输出：7 -> 0 -> 8 原因：342 + 465 = 807python解法 ...

2018-08-20 11:40:05 428

原创【Leetcode】1 twosum python解法

刷题总结leetcode 1.twosum给定一个整数数组和一个目标值，找出数组中和为目标值的两个数。你可以假设每个输入只对应一种答案，且同样的元素不能被重复利用。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]python解法：将问题转化为寻找 ...

2018-08-20 11:33:52 765

原创【深度学习】DenseNet模型

Densely Connected Convolutional Networks概述DenseNet是CVPR2017的最佳论文，主要是以ResNet为基础，在此之上进行改进优化，借鉴了ResNet的核心思想提出了全新的dense block结构。如果说ResNet是以网络深度取胜的话，那么denseNet则是以对特征入手，得到了更好的结果。DenseNet的核心思想来源于...

2018-08-08 11:11:25 4380

原创【深度学习】ResNet模型

Deep Residual Learning for Image RecognitionResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名（VGG是ImageNet2014年）在之前的VGG介绍中说过网络的深度对模型识别的准确度有很大的影响，但是在实际训练过程中，如果网络深度过深的话会引起在训练过程中发生退化的问题。为此我们的RestNe...

2018-08-07 18:29:12 2961

原创【深度学习】VGG模型

Very Deep Convolutional Networks for Large-Scale Image Recognition在图像识别这一方面ImageNet挑战赛会定期产出优秀的模型从最初的AlexNet到VGG，RESNet，再到最新的DenseNet。每一次诞生出新的网络都会带来一次革新，今天要说的是VGG网络，ResNet和DenseNet会在接下来几篇介绍VGG模...

2018-08-07 16:43:55 2946

原创求有向图的最短路径python

最近在做项目的过程中遇到了这样的问题：在有15个节点的无向有环图中需要求出任意 a，b 两点间的最短距离路径。我的做法是先将图转换为邻接矩阵的形式存储呈二维数组相连节点为0不相连为-1[[ 0 0 0 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1] [ 0 0 -1 -1 0 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1] [ 0...

2018-08-01 09:13:18 6995

原创 python参数传递

当我们在python中使用等号给数组赋值的时候往往会出现一个问题a = [1, 2, 3]b = aprint("a数组为：",a)# a数组为： [1, 2, 3]print("b数组为：",b)# b数组为： [1, 2, 3]正常我们这样使用是没有任何问题的，但是如果我们将原数组 a 进行改变pop出一个栈顶元素a.pop()# Out[6]: 3print("b数...

2018-07-12 21:20:54 2963 1

原创科学计算库Numpy常用函数

在之前的机器学习基础中，我们介绍了科学计算库numpy，numpy十分适用于对矩阵的操作，Numpy的类型是一个强大的N维数组对象ndarray，是广播功能函数。其整合C/C++.fortran代码的工具，更是Scipy、Pandas等的基础，接下来就具体详细的介绍下numpy的常用函数。np类型的常用属性.ndim ：维度 .min ：最小元素 .max ：最大元素 .sh...

2018-07-11 15:31:08 551

原创【Tensorflow】KMeans聚类实践

http://www.tensorfly.cn/ 中文社区李航-统计学习方法原理Kmeans是一种无监督学习的聚类算法，铜鼓哦多次的迭代使各个样本点到其所属族的距离最小。这个算法主要用于在数据分析前期对数据进行分类处理。 Kmeans的计算流程如下随机选取k个样本点做为聚类中心计算其他样本点到聚类中心的距离，并将其划分到最近的中心点一族重新计算每个类的中心店反...

2018-07-11 11:05:03 3259

原创【Tensorflow】Tensorflow入门运算机制

http://www.tensorfly.cn/ 中文社区Tensorflow是Google2015年11月9日开源的人工智能系统，也是适合我们进行机器学习开发的常用开发框架，具备更好的灵活性和可延展性。TensorFlow一大亮点是支持异构设备分布式计算，它能够在各个平台上自动运行模型，从手机、单个CPU / GPU到成百上千GPU卡组成的分布式系统。其命名来源于本身的运行原理。Te...

2018-07-09 21:03:21 921

原创 Python 旋转二维数组

故事要从前几个月刷剑指offer的时候说起，那时候遇到过一个关于二维数组的问题，问题如下输入一个矩阵，按照从外向里以顺时针的顺序依次打印出每一个数字，例如，如果输入如下矩阵： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 则依次打印出数字1,2,3,4,8,12,16,15,14,13,9,5,6,7,11,10.遇到这个问题我的第一个念头就是要是可...

2018-07-05 20:33:40 5114

原创【机器学习】机器学习python入门

python作为机器学习领域的主要编程语言，其中包含了很多机器学习相关的第三方库，今天就总结一下在机器学习中我们常用的第三方库并告诉大家怎么样使用python正式开始机器学习之旅。本文主要是介绍，详细库的用法太多了大家，可以自寻api文档1、python的安装配置开发环境推荐使用pycharmwindows下可以直接去python官网直接下载window版本的python，但是...

2018-07-05 15:41:51 1149

原创【深度学习】经典卷积神经网络模型

在卷积神经网络发展的过程中经历了很多革命性的创新，诞生了很多优秀的网络结构，接下来我将介绍几个经典网络结构LeNet，这是最早用于数字识别的卷积神经网络（CNN）AlexNet，2012 ILSVRC比赛远超第2名的CNN，比 LeNet更深，用多层小卷积层叠加替换单大卷积层 ZF Net，2013 ILSVRC比赛冠军  GoogLeNet，2014 ILSVRC比赛冠军  VGG...

2018-07-04 20:28:05 4573

原创【深度学习】卷积神经网络原理

http://cs231n.github.io/convolutional-networks/#pool卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，长期制霸计算机视觉领域。其核心主要是“卷积与池化”接下来我将介绍卷积神经网络进行特征提取的原理1、基本概念对比普通的神经网...

2018-07-03 20:22:59 6654 1

原创【深度学习】神经网络实战-手写体识别+图片验证

刚刚接触深度学习的时候，最先了解的都是神经网络，在之前的神经网络介绍中我简单的介绍了神经网络，在本篇文章我将使用mnist手写体数据集为例子，教大家如何实现一个神经网络。1、基本结构基本的神经网络包含，输入层，隐藏层，输出层，我们本次使用两层神经网络为例数据从输入层进入然后经历神经元进行特征提取，具体神经元展开如下图所示数据需要经过乘权重w并与偏置b求和最终通过激活函数...

2018-07-03 16:22:08 5870 8

原创【机器学习】支持向量机(SVM)

参考李航-统计学习方法支持向量机是一种分类算法，1995年首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。1、算法思想首先来通过一个故事介绍一下支持向量机，刚学习svm的时候在知乎上看到一个通俗易懂的例子：一个勇者为了救公主遇到了魔王boss，魔王给他设置了一个考验如果能勇者能通过考验就把公主还给他...

2018-07-02 16:47:20 5753 2

原创【机器学习】过拟合与欠拟合

我们在训练机器学习模型或者深度学习神经网络中经常会遇到过拟合与欠拟合的问题，接下来就对这两个问题进行简单介绍，并举出几种相应的解决办法。1、过拟合与欠拟合过拟合是指训练数据上能够获得比其他假设更好的拟合，但是在训练数据外的数据集上却不能很好地拟合数据，此时认为这个假设出现了过拟合的现象。出现这种现象的主要原因是训练数据中存在噪音或者训练数据太少。欠拟合就是指我们训练的模型要求过于...

2018-06-29 11:33:02 2065 1

原创【机器学习】线性回归（Liner Regression）

回归算法是一种通过最小化预测值与实际结果值之间的差距，而得到输入特征之间的最佳组合方式的一类算法。对于连续值预测有线性回归等，而对于离散值/类别预测，我们也可以把逻辑回归等也视作回归算法的一种。这次我们来详细了解一下线性回归1、算法思想线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。直白的说就是根据一些连续的数据拟合出一...

2018-06-28 11:42:32 1020

原创【机器学习】逻辑回归(Logistic Regression)

http://www.cnblogs.com/ModifyRong/p/7739955.html1、前言逻辑回归(Logistic Regression)是机器学习中的基础算法，但是逻辑回归并非像他的名字一样是回归算法，而是一种使用了回归操作通过sigmoid函数最后映射到0到1之间的小数（我们将其理解为概率）的分类算法。因为回归工作占据了大量的工作所以叫做逻辑回归也是无可厚非...

2018-06-27 16:23:19 730

原创【强化学习】时间差分法(TD)

引用知乎专栏天津包子馅儿的知乎1、前言之前的强化学习分类中介绍了几种强化学习方法的分类，今天就说一下其中重要的算法思想时间差分法，TD与蒙特卡罗法主要是在值函数的更新上有所差异，我们可以先看下图动态规划法：需要一个完全已知的环境，需要状态之间的转换概率，并且V(S)状态值函数的估计是自举的(bootstrapping)，即当前状态值函数的更新依赖于已知的其他状态...

2018-06-26 21:17:08 29332 6

原创【强化学习】DDPG(Deep Deterministic Policy Gradient)算法详解

http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html 引自Reinforcement Learning:An Introduction强化学习名著2018新编版 DPG论文http://www0.cs.ucl.ac.uk/staff/d.silver/web/Applications_files/determinis...

2018-06-22 19:00:57 73299 8

原创【强化学习】Actor-Critic算法详解

https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-1-actor-critic/ http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html【强化学习】Actor-Critic详解之前在强化学习分类中，我们...

2018-06-22 15:25:54 102569 27

原创【强化学习】强化学习分类

https://github.com/tigerneil/deep-reinforcement-learning-family https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/1-1-B-RL-methods/ ——-主要引用morvan老师的教学视频【强化学习】强...

2018-06-21 19:32:14 11516

空空如也

空空如也