- 博客(25)
- 收藏
- 关注
RSS订阅原创 Tensorflow一个程序的完整实现思路
1.configuration(FLAGS)----尽量将一些参数定义在一起，便于调参2.load_data()-------加载数据包括处理数据的各种方法，切分数据集，形成训练集、测试集3.create_session()(1)实例化模型（create graph）（a）设置超参数 （b）为x，y设置placeholder （c）实例化权重（embedding layer）(d)...
2019-02-21 10:09:54
587
原创 深度学习网络调参技巧
1.好的实验环境是成功的一半（a) 将各个参数的设置部分集中在一起（b）可以输出模型的损失函数值以及训练集验证集上的准确率（c）可以考虑设计一个子程序，可以根据给定的参数，启动训练并监调和周期性保存评估结果。再由一个主程序，分配参数以及并行启动一系列子程序。2.画图 (a) 一般是训练数据遍历一轮后，就输出一下训练集和验证集的准确率，同时画到一张图上，这样训练一段时间...
2019-02-20 20:08:57
722
原创 NLP文本解析数据预处理的方法
假设我们现在有一个文本的多标签的分类任务。其数据集的格式为w9410 w305 w1893 w307 w3259 w4480 w1718 w5700 w18973 w346 w11 w855 w1038 w12475 w146978 w11 w1076 w25 w7512 w45368 w1718 w4668 w6 w11061 w111 c866 c28 c423 c1869 c1331 c43...
2018-06-12 23:01:33
4368
原创 Faster-RCNN_TF的安装遇到的问题
第一步去github找到Faster-RCNN_TF的文件，进行下载。下载到本地后，解压完毕1.cd 到根目录下的lib中 然后 make一下。2.运行github中给的运行指令出现如下问题：a. No module named easydict?运行命令：pip install easydictb. tensorflow.python.framework.errors_impl.NotFound...
2018-06-03 20:53:35
1800
1
原创 制作pascal_voc数据集：将txt、csv文件转化为xml文件的格式-----制成annotations标注
现在关于目标的检测，以及一些的比赛关于目标检测的。我觉得一开始想的模型基本都是faster-rcnn吧，毕竟是一个经典模型。如果追求速度的话，就是yolo了，求更好的性能就是SSD了。基本就是这样，而这些模型最基本的训练集的形式都是pascal_voc数据集。我们要想训练自己的数据集。有两种办法：一种是修改数据接口，将代码与自己数据集的形式结合起来。比较麻烦，修改的东西挺多。我不是很建议这种方法。...
2018-06-03 20:43:26
5622
5
原创 机器学习MapReduce
MapReduce：分布式计算的框架 优点：可以在短时间内完成大量的工作。-------------------因为它使得程序以并行的方式运行！缺点：算法必须经过重写，需要对系统工程有一定的理解。其可以理解为有两个阶段处理过程：一个map阶段，一个reduce阶段。map阶段的输出经过处理，进行下一步的处理工作，而这部分的处理工作是由reducer来完成的。注意：在任何时候，每个mapper或r...
2018-06-02 22:03:07
1417
原创 scipy中最小二乘法函数leastsq的用法及其实例应用
机器学习中最小二乘法可以理解为就是通过最小化误差的平方和来寻找最佳的匹配函数。一般常用于曲线的拟合。关于曲线的拟合，就是求出最佳的k,b的值来找出好的曲线实现好的分类效果。一般情况下拟合的曲线为k*x+b一次函数，不过如果需要拟合的函数不是一次函数，就比较麻烦了。python的科学计算包scipy的里面提供了一个函数，可以求出任意的想要拟合的函数的参数。那就是scipy.optimize包里面的l...
2018-06-02 20:13:22
28856
6
原创 python无法导入Cython的.pyx文件？
解决方法：在import相应包之前，添加：import pyximportpyximport.install()如果上面安装完成后运行程序又出现No module named pyximport 此时需要：pip install Cython即可...
2018-05-05 18:11:05
36836
10
转载 tf.nn.softmax_cross_entropy_with_logits的用法
在计算loss的时候，最常见的一句话就是tf.nn.softmax_cross_entropy_with_logits，那么它到底是怎么做的呢？首先明确一点，loss是代价值，也就是我们要最小化的值tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None)除去name参数用以指定该操作的name，与方法有关的一共两个参数：第...
2018-05-05 00:02:42
226
原创 R-FCN论文解读
相比较之前的faster-rcnn而言，rfcn比之运行速度更快，效率更高，在准确率上也没有下降。那么rfcn网络到底是什么样的网络呢？其比faster-rcnn的区别在哪里呢？一、rfcn的基本结构：1.一个基本的conv网络：ResNet101--------------->提取基本的特征2.一个RPN网络（Faster Rcnn来的）3.一个position sensitive的pre...
2018-05-04 20:37:40
848
原创 基于TF的迁移学习VGG16网络，并进行图片的测试。
vgg16.py文件1.一开始在通过vgg =Vgg16()的调用，会自动初始化，在初始化过程中，会找到目录下的vgg16.npy文件，也就是在imagenet上训练好的权重文件，然后通过np.load()完成权重文件的加载。代码如下：class Vgg16: def __init__(self, vgg16_npy_path=None): if vgg16_npy_pat...
2018-05-04 16:02:44
2526
1
原创 提升模型性能的几个方法以及训练集测试集验证集的划分与作用
一、提升模型性能的方法一般在四个方向：1.Data Augmentation2.Weight Initialization3.Transfer learning + Fine-tune4.Ensemble/Model Fusion数据增强、迁移学习与微调这些之前已经学过了。关于权重的正则化约束。因为单纯的不断增强数据量，还是不够的。因为提升过的数据是高度相关的。对抗过拟合应该主要关注模型的“熵容量...
2018-05-03 21:05:02
9057
1
原创 tensorflow训练好的模型怎么调用？
1.首先要将训练好的模型保存下来，保存代码如下：import tensorflow as tf sess = tf.Session()saver = tf.train.Saver()model_path = '/home/../model.ckpt'saver.save(sess,model_path)2.对保存的模型进行调用，代码如下：import tensorflow as tf s...
2018-05-03 20:08:44
15782
5
原创 迁移学习与fine-tune
刚开始接触深度学习的时候，迁移学习与fine-tune确实有点搞不清楚。其实迁移学习是一个大的方向，fine-tune是实现迁移学习常用的一个方法。那么：1.什么是迁移学习呢？迁移学习顾名思义就是把已经训练好的模型的参数迁移到新的模型来帮助新模型的训练。考虑到大部分的数据或任务是存在相关性的，所以通过迁移学习我们可以将已经学习到的模型参数，通过某种方式来分享给新的模型，从而加快优化模型的学习效率不...
2018-05-03 16:52:02
4971
1
原创 改进现有的通用图像分类算法以适应细粒度分类
关于细粒度图像的分类，就是将一个大类中的图像进行细小的分类。这些小类中具有相似的特征。比如鸟的分类、花朵的分类、蝴蝶的分类等等。所以相比较普通的图像分类，细粒度分类的难度更大。就目前的技术而言，有基于强监督学习的细粒度分类（需要标注信息，以及部位的标注信息，part annotations），虽然准确率高一点，但是对于图像标签的获取具有一定的难度。弱监督图像的分类，就是不要这些标注信息，只需要它所...
2018-05-03 15:22:45
1079
1
原创 深度学习图片分类增强数据集的方法汇总
1.随机切割，图片翻转，旋转，等等很多手段都可以增加训练集，提高泛化能力.2. Resampling 或者增加噪声等等，人工合成更多的样本.3.对小样本数据进行仿射变换、切割、旋转、加噪等各种处理，可以生成更多样本.4.用GAN生成数据提供给数据集.5.找个Imagenet数据集上训练好的的模型，冻结最后一层或者最后几层，然后迁移学习+fine tuning，图片数量少，做一些翻转，变化，剪切，白...
2018-04-24 21:48:51
10840
原创 用自己的数据集训练faster-rcnn时出现的一些问题及总结(五)
关于faster-rcnn的原理训练流程及其数据集的制备，已经都已完成。那么问题来了，“自己制备的数据集，比如说自己为了增强数据集，进行图片翻转操作，然后记录坐标这样的数据集，在训练的过程中出现的问题”一、在调用append_flipped_images函数时出现： assert (boxes[:, 2] >= boxes[:, 0]).all()网上查资料说：出现这个问题主要是自己的数据集...
2018-04-14 13:06:45
2027
原创 faster-rcnn增强自己的数据集annotations(四)
关于faster-rcnn数据集的制作，尤其是xml文件的制作以及为了增强自己的数据集这方面详细讲解一下。因为最近参加了比赛，目标检测，我用的faster-rcnn网络，奈何数据量太小。于是为了增强自己的数据集，并载入自己的训练网络中。我写了几个脚本文件进行数据的增强及加载。数据集的增强，关于检测的数据集的增强，并不是很好处理，因为我们除了对图像处理外，还有得到图像中我们要定位的物体(比如pers...
2018-04-13 23:05:13
3280
4
原创 faster-rcnn的训练流程及其如何训练自己的数据集(三)
到这篇为止，关于faster rcnn已经解读一大半了。OK！！！上一篇讲到anchor_target _layer()知道了该层函数的目的就是为每个位置的9个anchors生成表示正负样本的标签和回归的目标值，以及权重，提供给RPN进行训练。*reshape_layeranchor_target_layer()该层执行完毕后，我们继续回到网络模型中观看下一层，是一个卷积层，该层的作用是计算rpn...
2018-04-13 22:32:56
5394
5
原创 faster-rcnn的训练流程及其如何训练自己的数据集(二)
接着上篇继续，上篇写到开始调用Solver的train_model函数了。OK ! ! ! 3.train_net()中train_model()的调用前面已经知道了roidb提供了标注信息，imdb提供了一个数据基类，里面有一些工具接口。那么实际网络跑起来的时候，也需要准备图像数据的输入。因此接下来关注Solver的train_model成员函数中每次图像数据是如何生成的。data_layer ...
2018-04-13 20:45:38
4187
原创 faster-rcnn的训练流程及其如何训练自己的数据集(一)
前言：关于faster rcnn的训练网络，哪怕你一直很努力，死磕代码。就会像这图一样智商不够用啊，这边看了那边忘。所以希望大家能体系的学习faster rcnn。因为走了很多弯路，总结一下自己的理解。本篇关于Faster rcnn 的训练是基于tensorflow版本的，因为最近一直在搞这个，也为了巩固一下知识点，在此写个博客，也希望能帮助到大家。废话不多说，我们直接开始。第一点：首先要明白fa...
2018-04-13 14:01:54
23320
2
原创 Ubuntu16.04下tensorflow，theano,torch的安装
lz觉得这些框架中caffe比较棘手，难安装点，不过，关于caffe的安装教程，我已经发了，想安装caffe的朋友，可以查看之前的博客。好了，关于tensorflow,theano,torch的安装。关键在于Anaconda的安装，关于这个版本自己在官网下载即可。（版本：Anaconda3-5.0.1-Linux-x86_64.sh）在下载了Anaconda3-5.0.1-Linux-x86_64...
2018-02-26 12:41:22
295
原创 Ubuntu16.04下安装caffe，可GPU加速
关于caffe的安装，这里首先要安装Ubuntu16.04,博客上有很多教程。推介三点：1.别在虚拟机上装，推荐双系统安装。2.采用刻盘安装，关于刻盘安装方法，网上都有教程。由于每个人的电脑版本型号不一样，在安装的过程中同一问题会出现不一样的操作，这方面大家有问题的可以在下面评论，lz尽量帮忙解答。3.在安装过程中，要分盘，我介意最少200G的空间，因为大部分是用来搞深度学习的，数据采集需要很大的...
2018-02-26 11:16:28
999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人