• 等级
  • 167889 访问
  • 52 原创
  • 5 转发
  • 26108 排名
  • 45 评论
  • 44 获赞

CLIP-Q:先剪枝后量化的压缩框架

In-parallel pruning-quantization Clipping. 设置两个截止点标量c−c−c^-和c+c+c^+,用超参数ppp来确定,使正参数中(p×100)%(p×100)%(p \times 100)\%的参数小于c+c+c^+,同时使负参数中(p×100)%(p×100)%(p\times100)\%的参数大于c−c−c^-。位于c−c−c^-和c+c+c^+之间...

2018-08-06 15:21:12

PyTorch 0.4 升级指南

4月25日,PyTorch团队正式发布了0.4.0的release版本。这是在与caffe2合并后的首个稳定版本。其中核心的变化有: Tensor/Variable合并 零维张量(标量) volatile标志的弃用 dtypes,devices和Numpy型Tensor的创建函数 写设备无关的代码 下面对其中的升级注意的问题进行说明。 原文参考:PyTorch 0.4.0 Migration G

2018-04-26 17:08:00

cannot import name 'ReparseException' & tf模型参数提取

Tensorboard ImportError: cannot import name ‘ReparseException’ 环境: python 3.5.4 Tensorflow==1.4.1 html5lib==1.0.1 错误信息: ImportError: cannot import name 'ReparseException' 定位咋: ~/anaconda3/...

2018-04-16 19:45:06

tf的条件赋值(量化)

在numpy中一行实现的代码,始终不知道如何在tf中快速实现= =问题对于一个任意维度张量a,使其值在0到1之间的值量化到0.5。Numpy# Input:a a[(a>0)&(a<1)] = 0.5这大概是最简单的实现方式吧。TensorFlow而在tf中,每一步操作都需要Tensor实现,那么我所找到的一种方法:greater = a>0 less = a<1 greater_less = tf

2018-04-08 10:42:56

python list 复制拷贝问题

大概python绕不开这个小小的问题。。很简单不过还是记录一下吧。问题my_list = [ ... ] new_list = my_list 这样的操作并不会获得一个my_list的副本,而是会让new_list也“指向”my_list,共享内容。my_list = [ 1 ,2 ,3 ] new_list = my_list new_list[0] = 0 print(new_list, my

2018-03-01 21:21:58

center loss 论文学习

center loss框架从网络的的框架来看,center loss的主要工作是下图中的“Discriminative Features”。 普通的网络框架,在反向传播的过程中,根据类别标签,会将不同的类别划分开。如“Separable Features”所示,一开始两种颜色是混杂的,通过改变网络参数,让不同颜色能被分类器分开,就达到了目的。而这个过程中,只对不同类有要求,同一类没有进行约束。

2018-02-27 19:59:21

DeepCompression思考

网上很少有Deepcompress的实现源码,前一段时间使用TensorFlow实现了一下,还是有些问题值得注意。TensorFlow的局限性TensorFlow支持的是一种静态图,当模型的参数确定之后,便无法继续修改。这对于逐阶段、分层的训练带来了一定的困难。具体在本项目中,权重的固定无法在单次模型训练中进行逐层的设置,只能采取一种比较麻烦的方法:量化完某一层后,先保存全局模型权重,然后清空Ten

2018-01-11 20:17:39

清华源apt-get update 0%

本来以为是个小问题,结果查了半天没解决= =系统环境:Ubuntu 16.04.3 LTS(基于docker)切换apt为清华源Ubuntu 镜像使用帮助: Ubuntu 的软件源配置文件是/etc/apt/sources.list。将系统自带的该文件做个备份,将该文件替换为下面内容,即可使用 TUNA 的软件源镜像。# 默认注释了源码镜像以提高 apt update 速度,如有需要可自行取消注释

2017-12-28 16:52:36

综述论文:当前深度神经网络模型压缩和加速方法速览

A Survey of Model Compression and Acceleration for Deep Neural Networks 研究背景在神经网络方面,早在上个世纪末,Yann LeCun等人已经使用神经网络成功识别了邮件上的手写邮编。至于深度学习的概念是由Geoffrey Hinton等人首次提出,而在2012年,Krizhevsky等人采用深度学习算法,以超过第二名以传统人工设计

2017-11-30 08:46:58

keras tips&problems

写了一下keras的层,出现了一些问题,值得总结一下~Python中对变量是否为None的判断这个问题出在以下代码段:self.mask = np.zeros(shape)if self.mask == None: pass else: pass直接运行会报错,原因在于对于numpy数组,对None的判断是对于其中元素的,而不是对于mask这个对象的。如果比较相同的对象实例,is总是

2017-11-03 17:19:17

CS20SI Operations

CS 20SI: Tensorflow for Deep Learning ResearchFun with TensorBoardgraph 的可视化,语句为tf.summary.FileWriter,将sess的图输出到./graphs。首先在默认图中建立常数与操作,并在session中运行。import tensorflow as tf a = tf.constant(2) b = tf.co

2017-10-20 16:25:39

Tensorflow trick 与 细节

前后传播采用不同方式How Can I Define Only the Gradient for a Tensorflow Subgraph? Suppose you want group of ops that behave as f(x) in forward mode, but as g(x) in the backward mode. You implement it ast = g(x)

2017-10-15 22:21:29

Keras backens函数

Keras是一个模型级的库,提供了很多高层函数。但它本身无法进行低级操作,如张量相乘、卷积等。因此它需要利用其他的库进行计算,作为后端引擎。除了常用的Tensorflow,还支持Theano(现在停止更新了),CNTK。Backend functionsset_image_data_formatset_image_data_format(data_format)参数: data_format: st

2017-10-11 14:21:58

10分钟Pandas教程

10 Minutes to pandas10分钟pandas教程对于数据处理分析的新手,花十分钟熟悉pandas很有必要,一起开始吧~第一步要会导入pandas和其好基友们:In [1]: import pandas as pdIn [2]: import numpy as npIn [3]: import matplotlib.pyplot as plt对象创建本节可以具体参考Data Struc

2017-09-26 14:42:23

Caffe2 入门教程

Caffe2 概念Caffe2已经发布几个月了,但目前的使用率并不高,相关文档并不完善,与Caffe(1)相比入门较难。本文主要讲解Caffe2的一些概念,由于本人也是新手,仅做参考,欢迎交流。Tutorials: Intro TutorialBlobs and Workspace, Tensors和Caffe1一样,Caffe2也有Blobs,并也代表着内存中的数据块。大多数的blobs中都含有t

2017-09-11 22:53:46

深度网络模型压缩DEEP COMPRESSION

DEEP COMPRESSION主要流程: pruning(剪枝) trained quantization(量化训练) Huffman coding(霍夫曼编码) 首先通过学习重要的连接来修剪网络;接下来,量化权重以实施权重共享;最后,应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压缩35倍,240MB到6.9MB,VGG-16压缩49倍,552MB到11.3MB。 Network

2017-07-26 19:29:22

Tensorflow 解决 No module named '_pywrap_tensorflow_internal'

这个问题是我在windows上尝试安装GPU版本时出现的,系统 win10,CUDA 8.0,VS2015 com,cudnn-8.0-windows10-x64-v6.0。 官网上安装指南中Common installation problems也有提到,给出的是STACK OVERFLOW 的解答:On Windows, running “import tensorflow” generate

2017-07-25 18:55:48

小问题: caffe2 安装到自己目录下

caffe2 默认是安装到系统文件中的,如果没有权限会遇到很多问题。 本人环境是基于conda的虚拟环境,方便python包的管理,提前要装好caffe2的依赖环境。 首先是需要更改安装路径:git clone --recursive https://github.com/caffe2/caffe2.git && cd caffe2 make && cd build export DESTDI

2017-07-23 21:05:08

建立个人博客-进阶

0在上一篇文章中,我把建免费个人博客的的步骤简单总结为了三点: 申请空间 博客框架搭建 上传与更新 有同学尝试后最大的问题是Github桌面版版本与教程不符。目前最新的版本是Desktop Beta,界面有了较大的变化,操作也可能有所不同。为了简单还是下载稳定版比较好。本篇文章主要针对于域名、解析、主题等进行更深的介绍,帮助大家搭建更个性化的博客。1 属于自己的域名每个人都有名字,这是我们区分他人最

2017-06-18 19:36:00

0元3步建博客

0在目前新媒体如微博、公众号盛行的情况下,15年前最热网络平台博客已经很少出现在人们的视野中了。这也是得益于移动应用的快速发展,碎片化时间的增多,让人很难有时间去坐在电脑前完整阅读一篇博客。不过博客也趋向专业化、特色化发展,虽然传播性不强,但其开放性、专一性也往往是其他平台比不上的。本文就简单教大家使用Github+hexo搭建一个个人博客,只需3步,并且是免费的哦~ 1 申请空间网页也需要有一个

2017-06-12 11:15:41

Yan_Joy

关注
  • 计算机软件
  • 中国 北京 海淀区