- 博客(14)
- 收藏
- 关注
RSS订阅原创 tensorflow failed to allocate 7.87G
今天跑程序遇到一个问题：tensorflow failed to allocate 7.87G百度查了一下说是gpu的最大内存分配的问题我看了一下我的设置情况：config.gpu_options.per_process_gpu_memory_fraction = 0.999然后我改到了0.7，不再报错然后我又改成了0.9,也不再报错...
2019-05-31 13:45:13
745
原创 在python中使用ffmpeg实现mp4转wav
有时候我们可能需要在python代码中批处理MP4转wav文件，操作如下：for filepath in files: filepath_no_ext = os.path.splitext(filepath)[0] command = "ffmpeg -i"+" "+filepath+" "+"-ar 16000 -vn"+" "+filepath_no_ext+".wav"...
2019-04-27 13:48:11
5664
1
原创 tfrecord读取时因tf.decode_raw的输出类型type导致的shape前后不一致问题
有两次在读取tfrecord中的数据时报shape的问题了！是什么原因呢？ 慢慢debug才发现原来是数据类型的原因！！在写入tfrecord时也就是将数据tobytes()的时候数据的类型是float32但是在训练前读取tfrecord中数据tf.decode_raw时，用的是：tf.decode_raw(frames, np.uint8)！！！ np.uint8指的是数据流输出np.u...
2019-04-12 15:29:07
1094
原创 sudo: unable to execute /bin/cp: Argument list too long
打算复制大批文件到另一个目录，命令如下：sudo cp*/train/* */fromtrain报错：sudo: unable to execute /bin/cp: Argument list too long解决办法，使用find和xargs：find /train/ -name "" | xargs -i cp -r {} */fromtrain-r的作用时迭代，如果train目...
2019-04-10 16:02:08
1623
原创 STFT（短时傅里叶变换）音频特征提取，用于语音识别 python
在各种音频相关的任务中，不管用什么模型或网络，得到所需的音频特征肯定是必要的一步。下面简单说一下STFT特征一、原始信号在说STFT之前，先说一下读入的原始信号，图像是在XY二维上描述的像素点的集合，相应的，原始音频只需要t一维上描述，从音频文件中读取出来的原始语音信号是一个一维数组，长度是由音频长度和采样率决定，比如采样率Fs为16KHz，表示一秒钟内采样16000个点，这个时候如果音频长度...
2019-04-08 16:35:48
26635
3
原创 ubuntu 缓存清理
ubuntu缓存清理相关小命令：sudo apt-get autoclean 清理旧版本的软件缓存sudo apt-get clean 清理所有软件缓存sudo apt-get autoremove 删除系统不再使用的孤立软件...
2019-04-04 10:39:18
1662
原创 skimage.transform resize 数据类型变化
在对图像进行shape归一化时，用到了skimage.transform resize，但是问题来了，本来是uint8的数据，结果输出为float64的数据，导致后期制作tfrecord时出现了问题，查了半天才发现这里出现了问题...
2019-03-30 11:20:43
9163
2
原创 使用PIL将图片灰度化 python
看网上有很多python环境下对rgb灰度化的处理方法，其中我感觉比较简单的一种方式是使用PIL进行灰度化处理：from PIL import ImageI = Image.open(’***.jpg’)I.show()L = I.convert(‘L’)L.show()或者from PIL import ImageI = Image.open(’***.jpg’).convert...
2019-03-28 10:57:29
4531
1
翻译 tf.nn.conv3d 讲解
tensorflow 中的 tf.nn.conv3dtf.nn.conv3d(input,filter,strides,padding,data_format=‘NDHWC’,dilations=[1, 1, 1, 1, 1],name=None)在生成的文件中定义：tensorflow/python/ops/gen_nn_ops.py。在给定5-D input和filter...
2019-03-25 19:25:22
2013
原创 RGB和gray的2维（D）卷积的map数目
有人问我输入为gray的feature map数目为卷积核filters的数目，那么输入为RGB三通道得到的feature map数目是不是3倍的卷积核个数呢？ 其实不是的，依然是feature map的数目等于该层卷积核的个数。输入为gray的一个卷积核大小为(1, height, weight)输入为RGB的一个卷积核大小为(3, height, weight)但是得到的都是一个feat...
2019-03-25 14:55:13
218
原创 os.environ["CUDA_VISIBLE_DEVICES"] 问题
有一次写代码发现明明写的是：os.environ[“CUDA_VISIBLE_DEVICES”] = “0,1,2,3,4,5,6,7”但是却显示只发现了 gpu：0，百思不得其解，百度谷歌都没有发现类似问题，后来检查才发现有一个调用的py文件里写了一句：os.environ[“CUDA_VISIBLE_DEVICES”] = “0”删掉之后，可以发现全部的gpu...
2019-03-15 19:28:51
92905
20
原创 tf.contrib.seq2seq.sequence_loss 中logit和label shape不匹配报错
在训练seq2seq网络时，单个gpu没有问题，但是当处理多个gpu并行时，问题来了：在train时，总会报错：InvalidArgumentError (see above for traceback): logits and labels must have the same first dimension, got logits shape [12,737] and labels sha...
2019-03-15 16:00:22
3480
原创 anaconda3 复制or克隆环境
有的时候我们在使用anaconda3 的虚拟环境时，需要配置一个类似的环境，重新配置的话太过麻烦，因此可以复制或克隆一个类似的环境，然后再相应的删减或增加依赖的包：复制或克隆环境：conda create -n 新环境名称–clone 被克隆环境名称例如，通过克隆tensorflow2来创建一个称为newtensorflow的副本：conda create -n newtensorflow...
2019-03-08 16:07:50
13802
4
原创 Cannot find reference 'bidirectional_dynamic_rnn' in '__init__.py'
用pycharm 写代码的时候遇到了如图中的问题：Cannot find reference ‘bidirectional_dynamic_rnn’ in ‘init.py’搜索了很多相关问题，发现有的人说不用管，有一个博主遇到了dynamic_rnn()的类似问题，说去anaconda\site-packages\tensorflow\nn_init中添加：from tensorflow...
2019-03-08 15:25:51
3311
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人