- 博客(88)
- 收藏
- 关注
RSS订阅原创 python读取文件
import fnmatchimport osimport pandas as pdimport numpy as np import sysimport cv2def ReadSaveAddr(Stra,Strb): SaveDir = "D:/test/" if(os.path.exists(SaveDir)): print("a") else: os.makedirs(SaveDir) DirN = 0 #prin
2021-02-26 20:53:28
154
转载 DCT和IDCT原始公式计算
代码转自：https://my.oschina.net/VenusV/blog/1797459#include <time.h>#define WIDTH 5#define HEIGHT 5struct Complex_{ double real;//实部 double imagin;//虚部};typedef struct Complex_ DFT_...
2019-07-05 13:51:58
3872
原创 tensorflow中bn运算
bn的原理：https://blog.csdn.net/sunjinshengli/article/details/74037208为了搞清楚bn的整个过程，我们来做个实验：1 搭建最简单的一个bn层网络，保存网络结构：import tensorflow as tfimport numpy as npimport cv2 import randombatchsize = 50Im...
2019-02-26 14:13:21
1118
原创 tf读取图像并预处理例程
import tensorflow as tfimport numpy as npimport cv2 import randomimport matplotlib.pyplot as pltbatchsize = 50ImgSize = 96#读取数据#--------------------------------------------------------------...
2019-01-30 16:33:31
306
原创 kendryte网络转换
又换了这个转换工具：https://github.com/kendryte/nncase输入命令：toco.exe --input_file=FaceL_5.pb --input_format=TENSORFLOW_GRAPHDEF --output_file=FaceL_5.tflite --output_format=TFLITE --input_shape=1,96,96,3 --in...
2019-01-22 13:37:12
1668
原创 tensorflow训练，带bn，学习率衰减
import tensorflow as tfimport numpy as npimport cv2 import randombatchsize = 50#读取数据#------------------------------------------------------------------------------import pickledef load_obj(n...
2019-01-14 10:40:18
405
原创 tensorflow中bn的使用
1 损失函数得这样定义才行2 training训练的时候True，预测的时候Falseout = tf.layers.batch_normalization(out, training=is_training)update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)with tf.control_dependencies(update...
2019-01-14 10:20:24
1615
1
原创 最近使用tensorflow遇到的几个问题
1 softmax_cross_entropy_with_logits_v2函数输入的是softmax前的数据这个一定要注意2 使用了13层的卷积网络训练个简单的二分类问题，发现好难训练出来，换成4层的就比较轻松训练出来了3 可分离卷积使用上就训练不出来，不知道原因4 bn使用总是有问题，待查...
2019-01-11 15:17:16
216
原创 MTCNN批量生成人脸图像
直接上代码了#coding:utf-8import syssys.path.append('..')from Detection.MtcnnDetector import MtcnnDetectorfrom Detection.detector import Detectorfrom Detection.fcn_detector import FcnDetectorfrom trai...
2019-01-04 11:46:42
636
原创 tensorflow 训练保存模型4 自由修改模型
上回已经可以得到一个清晰的模型结构，但是还是不够满意，为什么呢，因为预测的时候不需要dropout层，所以想修改接口，直接去除dropout层。以下方法自己想的，可能有别的更好的方法：首先，训练的时候得把每层的参数起好名字，否则名字都自动起的，怎么修改网络，直接就懵逼了。#定义两个placeholderx = tf.placeholder(tf.float32,[None,784])y ...
2018-12-19 16:00:26
2970
原创 tensorflow 训练保存模型3 PB格式
上回说到图看不明白。所以有了下面的方法：首先读取刚刚的ckpt文件，保存为pb格式（当然训练的时候直接保存也么有问题）保存Softmax应该就是把计算Softmax所有必须的变量结构都保存下来，无关的就不要了import osckpt_dir = &quot;./pb_dir&quot;if not os.path.exists(ckpt_dir): os.makedirs(ckpt_dir)...
2018-12-19 14:10:19
542
原创 tensorflow 训练保存模型2 ckpt tensorboard
以前写过一篇tensorflow 训练保存模型，本文的改进：换了一种模型，然后采用tensorboard来获取tesnor的名字。训练模型：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datafrom tensorflow.python.framework import graph...
2018-12-19 12:04:40
978
原创 mmdnn转换网络
https://github.com/Microsoft/MMdnn刚开始在ubuntu18.04中使用的时候发现那些命令都不能使用，在windows下倒是好的。后来发现是因为ubuntu18.04中默认使用的python2，而mmdnn需要使用的是python3http://www.cnblogs.com/jasonlixuetao/p/9729753.html修改默认使用的python...
2018-12-12 11:02:12
1085
原创 mnist各种网络研究3 网络组合
尝试先训练几个独立的网络，预测的时候再组合到一起：import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequential,Modelfrom keras.layers import Input,Conv2D,Dense,Dro...
2018-12-06 09:40:10
204
原创 mnist各种网络研究2 结果统计
统计实验结果：网络 关键字 卷积核 卷积层数 参数量 acc 估计运算量Net1 softmax x x 7850 0.9169 7840Net2 全连接 x x 669706 0.9843 668672Net3 标准卷积 5 2 3274634 0.9921 13883904Net4 stride 5 2 3274634 0.9881 58...
2018-12-05 13:47:44
351
原创 mnist各种网络研究1 实验记录
这次主要看看修改网络结构后，acc、参数个数、运算量之间的关系。模型均用keras编写，sgd优化，4显卡并行训练，batch_size=2000（性能会降低，但是这不是为了做实验，需要最快的训练速度）下面先列举训练的各种网络Net1：直接softmax分为10类test accuracy 0.9169Net2：2层全连接层test accuracy 0.9843Net3：标准卷...
2018-12-05 12:49:35
414
原创 keras minist3
修改了可以使用多显卡训练发现对于小模型，多显卡也没快起来另：batchsize大了，训练速度是快了，但是性能狂跌import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequential,Modelfrom keras.lay...
2018-12-03 16:56:43
185
原创 keras minist2
import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Dense,Dropout,Convolution2D,MaxPooling2D,Flattenfrom ...
2018-12-03 16:16:50
209
原创 keras mnist
没啥说的，直接上代码from __future__ import print_function import kerasfrom keras.datasets import mnistfrom keras.models import Sequentialfrom keras.layers import Dense, Dropoutfrom keras.optimizers impor...
2018-12-03 14:53:06
188
原创 ubuntu18.04 caffe安装
1 安装虚拟机2 下载ubuntu18.04http://mirrors.zju.edu.cn/ubuntu-releases/18.04/3 安装ubuntu18.044 修改ubuntu的更新源sudo apt-get update 让更新源生效（记得2年前这个源把我折腾的死去活来）5 安装opencvsudo apt-get install libopencv-dev pyt...
2018-11-30 10:41:05
2756
4
原创 初试ncnn
2018-11-20Ncnn网址https://github.com/Tencent/ncnn开始使用：https://github.com/Tencent/ncnn/wiki/how-to-build首先为了方便，直接使用虚拟机ubuntu16.04编译：cd mkdir -p buildcd buildcmake …make -j4能编译出.a，但是提示没有protob...
2018-11-22 09:35:12
979
原创 python直接把数据写入文件
可以直接把浮点数据写进去，VC直接当作浮点读取就可以了。doc = open(‘test.dat’,'wb')for ii in range (512): doc.write(layer_output1[ii])doc.close()
2018-10-27 12:30:41
5570
原创 keras获取中间层输出
https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#intermediate_layerfrom keras import backend as Kget_3rd_layer_output = K.function([model.layers[0].input, K.learning_phase()], ...
2018-08-23 14:07:39
1564
原创 keras得到每层的系数
使用keras搭建好一个模型，训练好，怎么得到每层的系数呢：weights = np.array(model.get_weights())print(weights)print(weights[0].shape)print(weights[1].shape)这样系数就被存放到一个np中了。...
2018-08-23 13:58:59
1979
原创 python随机选择出一些文件
import cv2import numpy as npimport osimport fnmatchimport osimport pandas as pdimport numpy as np import sysAddr = 'F:/test/'AddrSave = 'F:/test/'isExists=os.path.exists(AddrSave)if not...
2018-08-14 09:54:49
3009
原创 keras下载数据模型存放目录
keras中有很多现成的训练好的模型、数据库，调用函数就会自动下载 但是下载经常动不动就掉了，所以，最好的方法是手动去下载 下载好了放入默认目录 默认目录如下： ...
2018-07-30 14:04:11
5204
2
原创 tensorboad调试
上文中提到：只有一个模型文件，怎么能知道模型结构呢？ 想来想去只有使用tensorboard了。 那么直接使用下列代码：saver = tf.train.import_meta_graph("./Model/ModelSoftmax.ckpt.meta")saver.restore(sess, "./Model/ModelSoftmax.ckpt") # 注意此处路径前添加"./" ...
2018-06-22 14:53:57
475
原创 tensorflow 训练保存模型
训练模型：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到mnist = input_data.read_data_sets('MNIST_data', one...
2018-06-22 14:13:13
497
原创 tensorflow自己实现SGD功能
手动实现SGD和调用优化器结果比较import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#mnist已经作为官方的例子，做好了数据下载，分割，转浮点等一系列工作，源码在tensorflow源码中都可以找到mnist = input_data.read_data_sets('MNIS...
2018-06-22 11:16:03
3400
原创 银行家舍入
今天看到tf.round函数，指明使用的是银行家舍入 搜索了下银行家舍入： 四舍六入五考虑，五后非零就进一，五后为零看奇偶，五前为偶应舍去，五前为奇要进一。 银行家舍入是IEEE规定的小数舍入标准之一，也是IEEE目前规定中最优秀的舍入方法，因此所有符合 IEEE 标准的语言都应该实现这种算法。 http://www.jjyc.org/h/179261.html中做了实验，证明了大数据量情...
2018-06-15 13:57:16
614
原创 python输出到文件
这样就直接输出到文件中去了doc = open('out.txt','w')print(data_dict,file=doc)doc.close()
2018-05-30 14:58:21
19455
2
转载 C语言遍历文件
原文：https://www.cnblogs.com/collectionne/p/6815924.html程序代码遍历目录下的所有文件复制代码include include // for strcat()include include include // for strcpy(), strcat()in...
2018-05-30 14:01:53
5324
2
原创 resnet50训练cifar10，请各位高手指正
使用resnet50从头训练cifar10，最终结果只有84%左右，貌似和 论文差很多，请各位高手指正。首先加入cifar10的数据结构代码：import cifar10,cifar10_inputimport tensorflow as tfimport numpy as npimport time#max_steps = 100000max_steps = 100da...
2018-05-15 09:25:34
8780
8
原创 训练cifar10的简单例子
cifar10的数据最好自己先下载好import cifar10,cifar10_inputimport tensorflow as tfimport numpy as npimport time#max_steps = 30000max_steps = 1000data_dir = 'cifar-10-batches-bin'batch_size = 128# 配置每个 GPU 上占用
2018-05-03 16:53:32
1936
3
原创 TensorFlow打印op名称
直接打印.op.name就能打印出名称 .get_shape().as_list()就输出shapedef print_activations(t): print(t.op.name, ' ', t.get_shape().as_list())def inference(images): parameters = [] # conv1 with tf.name_sc
2018-04-08 09:51:08
4481
原创 python处理几个小功能
随机打乱顺序gdata = gdata.sample(frac=1) gdata = gdata.reset_index(drop=True)print(gdata)输出有缺失值的indextest=gdata.isnull().any()#检查缺失值print(test.index)j = len(test)for i in range(j): if test[i]==True
2018-04-02 16:13:24
366
原创 手动读取pnet模型参数
说白了pnet模型参数就用numpy做了个保存，直接读取就好了。这样参数保存方式可以跨框架，也就是说caffe训练的模型可以直接拿到tensorflow上使用。当然结构得重写，所以只适合比较小的模型，例如：pnetimport numpy as np#latin1是什么意思，我也不知道test = np.load('det1.npy',encoding='latin1')#test是...
2018-03-30 11:45:00
676
原创 tensorflow复习日记（八）保存模型
发现一个问题，原来的代码在同一个文件中保存，读取模型是没有问题的，但是不同文件就不行。 原来是保存分2种，ckpt和pb模式。 ckpt中也保存了图的结构，所以正确用法应该是训练模型中把要使用的变量都起个名字。 然后读取后把这些名字读取出来，作为输入，输出，然后喂数据，进行预测： 保存部分代码：import tensorflow as tffrom tensorflow.examples.
2018-03-21 11:35:44
281
原创 python对站点类型聚类
有10个excel文件，记录了每个站点每个时间的进出站人数，统计上下班时间段进站日均人数、上下班时间段出站日均人数、非上下班时间段进站日均人数、非上下班时间段出站日均人数 四个变量。使用这4个变量做kmean聚类：#coding=utf-8import pandas as pdfrom pandas import Series,DataFrame import randomimport nu
2018-03-19 11:59:34
858
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人