• 等级
  • 189663 访问
  • 53 原创
  • 5 转发
  • 25274 排名
  • 48 评论
  • 52 获赞

Distiller:正则化

Regularization正则化在DeepLearning1书中,是这么定义正则化的:“anymodificationwemaketoalearningalgorithmthatisintendedtoreduceitsgeneralizationerror,butnotitstrainingerror.”PyTorch的优化器使用l2...

2019-01-08 16:25:57

Distiller:量化算法

QuantizationAlgorithms量化算法注意:对于任何需要量化感知训练的以下方法,请参阅这里,了解如何使用Distiller的机制调用它。基于范围的线性量化(Range-BasedLinearQuantization)让我们在此分解使用的术语:线性(Linear):表示通过乘以数字常数(比例因子)来量化浮点值。基于范围(Range-Based):意味着为了...

2019-01-08 15:26:30

Distiller:神经网络压缩研究框架

Distiller是由IntelAILab维护的基于PyTorch的开源神经网络压缩框架。主要包括:用于集成剪枝(pruning),正则化(regularization)和量化(quantization)算法的框架。一套用于分析和评估压缩性能的工具。现有技术压缩算法的示例实现。这算是目前我发现的最完整的压缩框架了,比较适合科研工作。下面简单说一下安装和使用。NervanaSy...

2019-01-07 17:38:11

Tensorflow 静态图的动态收缩

Tensorflow的静态图机制给一个动态调整区间和mask的网络带来了不少麻烦。问题描述随着训练的进行,扩大区间rrr的范围,并对区间内的权重进行量化操作。一次训练可能要量化多个区间,量化后权重冻结。静态图思路权重冻结这是一个老问题,之前的文章中也有介绍。解决方法还是:defentry_stop_gradients(target,mask):mask=tf.cas...

2019-01-05 21:15:17

CLIP-Q:先剪枝后量化的压缩框架

In-parallelpruning-quantizationClipping.设置两个截止点标量c−c−c^-和c+c+c^+,用超参数ppp来确定,使正参数中(p×100)%(p×100)%(p\times100)\%的参数小于c+c+c^+,同时使负参数中(p×100)%(p×100)%(p\times100)\%的参数大于c−c−c^-。位于c−c−c^-和c+c+c^+之间...

2018-08-06 15:21:12

PyTorch 0.4 升级指南

4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有:Tensor/Variable合并零维张量(标量)volatile标志的弃用dtypes,devices和Numpy型Tensor的创建函数写设备无关的代码下面对其中的升级注意的问题进行说明。原文参考:PyTorch0.4.0MigrationG

2018-04-26 17:08:00

cannot import name 'ReparseException' & tf模型参数提取

TensorboardImportError:cannotimportname‘ReparseException’环境:python3.5.4Tensorflow==1.4.1html5lib==1.0.1错误信息:ImportError:cannotimportname'ReparseException'定位咋:~/anaconda3/...

2018-04-16 19:45:06

tf的条件赋值(量化)

在numpy中一行实现的代码,始终不知道如何在tf中快速实现==问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy#Input:aa[(a>0)&(a<1)]=0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要Tensor实现,那么我所找到的一种方法:greater=a>0less=a<1greater_less=tf

2018-04-08 10:42:56

python list 复制拷贝问题

大概python绕不开这个小小的问题。。很简单不过还是记录一下吧。问题my_list=[...]new_list=my_list这样的操作并不会获得一个my_list的副本,而是会让new_list也“指向”my_list,共享内容。my_list=[1,2,3]new_list=my_listnew_list[0]=0print(new_list,my

2018-03-01 21:21:58

center loss 论文学习

centerloss框架从网络的的框架来看,centerloss的主要工作是下图中的“DiscriminativeFeatures”。普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“SeparableFeatures”所示,一开始两种颜色是混杂的,通过改变网络参数,让不同颜色能被分类器分开,就达到了目的。而这个过程中,只对不同类有要求,同一类没有进行约束。

2018-02-27 19:59:21

DeepCompression思考

网上很少有Deepcompress的实现源码,前一段时间使用TensorFlow实现了一下,还是有些问题值得注意。TensorFlow的局限性TensorFlow支持的是一种静态图,当模型的参数确定之后,便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。具体在本项目中,权重的固定无法在单次模型训练中进行逐层的设置,只能采取一种比较麻烦的方法:量化完某一层后,先保存全局模型权重,然后清空Ten

2018-01-11 20:17:39

清华源apt-get update 0%

本来以为是个小问题,结果查了半天没解决==系统环境:Ubuntu16.04.3LTS(基于docker)切换apt为清华源Ubuntu镜像使用帮助:Ubuntu的软件源配置文件是/etc/apt/sources.list。将系统自带的该文件做个备份,将该文件替换为下面内容,即可使用TUNA的软件源镜像。#默认注释了源码镜像以提高aptupdate速度,如有需要可自行取消注释

2017-12-28 16:52:36

综述论文:当前深度神经网络模型压缩和加速方法速览

ASurveyofModelCompressionandAccelerationforDeepNeuralNetworks研究背景在神经网络方面,早在上个世纪末,YannLeCun等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由GeoffreyHinton等人首次提出,而在2012年,Krizhevsky等人采用深度学习算法,以超过第二名以传统人工设计

2017-11-30 08:46:58

keras tips&problems

写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask=np.zeros(shape)ifself.mask==None:passelse:pass直接运行会报错,原因在于对于numpy数组,对None的判断是对于其中元素的,而不是对于mask这个对象的。如果比较相同的对象实例,is总是

2017-11-03 17:19:17

CS20SI Operations

CS20SI:TensorflowforDeepLearningResearchFunwithTensorBoardgraph的可视化,语句为tf.summary.FileWriter,将sess的图输出到./graphs。首先在默认图中建立常数与操作,并在session中运行。importtensorflowastfa=tf.constant(2)b=tf.co

2017-10-20 16:25:39

Tensorflow trick 与 细节

前后传播采用不同方式HowCanIDefineOnlytheGradientforaTensorflowSubgraph?Supposeyouwantgroupofopsthatbehaveasf(x)inforwardmode,butasg(x)inthebackwardmode.Youimplementitast=g(x)

2017-10-15 22:21:29

Keras backens函数

Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backendfunctionsset_image_data_formatset_image_data_format(data_format)参数:data_format:st

2017-10-11 14:21:58

10分钟Pandas教程

10Minutestopandas10分钟pandas教程对于数据处理分析的新手,花十分钟熟悉pandas很有必要,一起开始吧~第一步要会导入pandas和其好基友们:In[1]:importpandasaspdIn[2]:importnumpyasnpIn[3]:importmatplotlib.pyplotasplt对象创建本节可以具体参考DataStruc

2017-09-26 14:42:23

Caffe2 入门教程

Caffe2概念Caffe2已经发布几个月了,但目前的使用率并不高,相关文档并不完善,与Caffe(1)相比入门较难。本文主要讲解Caffe2的一些概念,由于本人也是新手,仅做参考,欢迎交流。Tutorials:IntroTutorialBlobsandWorkspace,Tensors和Caffe1一样,Caffe2也有Blobs,并也代表着内存中的数据块。大多数的blobs中都含有t

2017-09-11 22:53:46

深度网络模型压缩DEEP COMPRESSION

DEEPCOMPRESSION主要流程:pruning(剪枝)trainedquantization(量化训练)Huffmancoding(霍夫曼编码)首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet无准确率损失压缩35倍,240MB到6.9MB,VGG-16压缩49倍,552MB到11.3MB。Network

2017-07-26 19:29:22

Yan_Joy

关注
  • 计算机软件
  • 中国 北京 海淀区
奖章
  • 持之以恒