小T是我-CSDN博客

原创 GPUImage整体框架概述

GPUImage是基于GUP图像和视频处理的iOS开源框架，它采用链式传递每一层渲染的帧缓存对象，通过addTarget:方法为链条添加每层的filter，直到最后通过GPUImageView来显示。这里通过研究GPUImage是如何将摄像头抓取的图像经过一层一层滤镜渲染最后展示给用户，来学习GPUImage的整体框架设计原理。首先介绍GPUImage的几个主要的类GLProgram ...

2018-11-18 17:39:06 1101

转载几个经典卷积神经网络技术点总结

原文地址：CNN浅析和历年ImageNet冠军模型解析卷积神经网络原理浅析卷积神经网络（Convolutional Neural Network，CNN）最初是为解决图像识别等问题设计的，当然其现在的应用不仅限于图像和视频，也可用于时间序列信号，比如音频信号、文本数据等。在早期的图像识别研究中，最大的挑战是如何组织特征，因为图像数据不像其他类型的数据那样可以通过人工理解来提取...

2018-08-30 18:38:19 18093

原创深度学习实战(六) 多机多卡分布式训练cifar10完整实现

准备工作：数据集下载地址：http://www.cs.toronto.edu/~kriz/cifar-10-binary.tar.gz 实现部分(附详细注释)：首先获取用于训练的小批量数据，由于获取过程中需要对图像进行处理，避免阻塞训练进程，我们开启16个线程来从队列获取批量图像。from __future__ import absolute_importfrom __...

2018-08-29 21:43:36 3692 4

原创深度学习实战(五) 基于MTCNN和Facenet的视频流人脸识别实战

前言：本文开发的是一个完整的视频流人脸识别系统，主要流程如下：首先，通过openCV抓取摄像头的视频流第二，通过MTCNN对每帧图片进行人脸检测和对齐，当然考虑到效率我们可以每n个间隔帧进行一次检测第三，通过facenet预训练模型对第二步得到的人脸进行512维的特征值提取第四，收集目标数据集来训练自己的分类模型第五，将第三部得到的512维的特征值作为第四部的输入，然后输出...

2018-08-18 03:24:48 11047 17

原创神经网络中激活函数的意义和需要满足的条件

（1）非线性：即导数不是常数。这个条件是多层神经网络的基础，保证多层网络不退化成单层线性网络。这也是激活函数的意义所在。下面看一下激活函数使用线性函数时会发生什么由上可见，任意多个线性函数的组合还是线性函数，因此只要隐藏层的输出是线性的，无论多少层，都是和一个隐藏层是一回事，只有在线性回归问题中的输出层才会用到线性激励函数，但是实际上对于回归任务，你完全可以不使用激活函数。（2）几乎处...

2018-08-08 00:14:24 9957

原创梯度消失和梯度爆炸原因及其解决方案

当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题：首先，梯度消失或梯度爆炸其次，训练缓慢第三，训练参数大于训练集的风险梯度消失的原因：生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内...

2018-08-07 19:22:22 79610 11

原创 tf.nn.dynamic_rnn返回值详解

函数原型tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=N...

2018-08-01 17:31:06 24384 12

原创 tf.nn.max_pool,tf.nn.conv2d,tf.layers.conv2d输入输出shape总结

通过卷积神经网络训练数据集的时候，卷积层，池化层的shape出错就会crash，下面总结一下：tf.nn.conv2d原型：tf.nn.conv2d( input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='NHWC', dilations=[1, 1...

2018-07-30 14:02:06 4250

原创深度学习实战(四) 在MNIST上训练一个CNN

Build your own CNN and try to achieve the highest possible accuracy on MNIST.import tensorflow as tfimport numpy as npfrom datetime import datetimeimport osdef shuffle_batch(X, y, batch_size):...

2018-07-30 12:05:18 490

原创深度学习实战(三) 构建DNN来比较两个数字图像是否相等

Pretraining on an auxiliary task. In this exercise you will build a DNN that compares two MNIST digit images and predicts whether they represent the same digit or not. Then you will reuse the lower...

2018-07-29 19:16:02 744 1

原创深度学习实战(二) 模型重用及冻结层

Transfer learning.Create a new DNN that reuses all the pretrained hidden layers of the previous model, freezes them, and replaces the softmax output layer with a fresh new one.Train this new DNN o...

2018-07-29 01:51:15 2627 2

原创深度学习实战(一) 在MNIST上训练DNN，比较学习曲线并保存最优模型

Build a DNN with five hidden layers of 100 neurons each, He initialization, and the ELU activation function. Using Adam optimization and early stopping, try training it on MNIST but only on dig...

2018-07-28 02:19:50 2235

原创斯坦福大学《Machine Learning》第11周学习笔记

Application Example: Photo OCRPhoto OCRProblem Description and Pipeline问题描述和流水线机器学习的应用实例：照片OCR技术第一一个复杂的机器学习系统是如何被组合起来的第二机器学习流水线（machine learning pipeline）的有关概念以及在决定下一步做什么时如何分配资源最后...

2018-07-08 22:40:22 653 1

原创斯坦福大学《Machine Learning》第10周学习笔记

Large Scale Machine Learning大规模机器学习Gradient Descent with Large Datasets具有大数据集的梯度下降Learning With Large Datasets学习大型数据集我们已经知道得到一个高效的机器学习系统的最好的方式之一是用一个低偏差的学习算法然后用很多数据来训练它但训练大的数据集也有它自己的问题特别是计...

2018-07-08 14:43:44 632

原创斯坦福大学《Machine Learning》第9周学习笔记

Anomaly Detection异常检测Density Estimation密度估计Problem Motivation问题动机异常检测(Anomaly detection)问题是机器学习算法的一个常见应用这种算法的一个有趣之处在于它虽然主要用于非监督学习问题但从某些角度看它又类似于一些监督学习问题什么是异常检测呢？飞机引擎制造商生产的飞机引擎从生产线上...

2018-07-07 20:16:39 934

原创斯坦福大学《Machine Learning》第8周学习笔记

Unsupervised Learning非监督学习Clustering聚类K-Means Algorithm K均值算法在聚类问题中我们有未加标签的数据我们希望有一个算法能够自动的把这些数据分成有紧密关系的子集或是簇 K均值 (K-means) 算法是现在最为广泛使用的聚类方法如图所示现在我有一些没加标签的数据而我想将这些数据分成两个簇现在我执行K均值算法方...

2018-06-30 12:09:13 670

原创斯坦福大学《Machine Learning》第7周学习笔记

Support Vector Machines 支持向量机Large Margin Classification大间距分类器Optimization Objective优化目标到目前为止你已经见过一系列不同的学习算法在监督学习中许多学习算法的性能都非常类似因此重要的不是你该选择使用学习算法A还是学习算法B 而更重要的是应用这些算法时所创建的大量数据在应用这些算法...

2018-06-30 12:04:42 1215

原创斯坦福大学《Machine Learning》第6周学习笔记

Advice for Applying Machine Learning应用机器学习的建议Evaluating a Learning Algorithm评估学习算法Deciding What to Try Next 决定接下来要做什么假如你在开发一个机器学习系统或者想试着改进一个机器学习系统的性能你应如何决定？使用预测房价的学习例子假如你已经完成了正则化线性回归 ...

2018-06-22 19:35:42 1226 1

原创反向传播算法几个重要公式的详细推导

斯坦福大学《Machine Learning》第五周学习过程中，对反向传播算法的几个公式看得云里雾里的，这里做一个详细的推导和总结公式一：公式二：公式三：首先已知，这个是我们定义的，不用推导，但是为什么要这样定义呢？我们给神经元的加权输入添加一点改变，这就导致了神经元的输出变成了，而不是之前的。这个改变在后续的网络层中传播，最终使全部代价改变了。因此，可以用来衡量神经元里的错误量....

2018-06-20 22:07:08 5708 1

原创斯坦福大学《Machine Learning》第5周学习笔记

Neural Networks: Learning神经网络：学习Cost Function and Backpropagation代价函数和反向传播Cost Function代价函数假设我们有一个如左边所示的神经网络结构我用大写字母 L 来表示这个神经网络结构的总层数这里 L等于4 用 sl表示第L层的单元的数量也就是神经元的数量这其中不包括L层的偏差单元这里s1 ...

2018-06-20 16:17:47 807

原创斯坦福大学《Machine Learning》第4周学习笔记

Neural Networks: Representation神经网络：表示Motivations激励Non-linear Hypotheses非线性假设下面举几个例子阐述神经网络算法的目的这几个问题的解决都依赖于研究复杂的非线性分类器考虑这个监督学习分类的问题我们已经有了对应的训练集如果利用逻辑回归算法来解决这个问题首先需要构造一个包含很多非线性项的逻辑...

2018-06-17 17:00:47 664

原创斯坦福大学《Machine Learning》第3周学习笔记

Logistic Regression逻辑回归逻辑回归是一种将数据分类为离散结果的方法。例如，我们可以使用逻辑回归将电子邮件分类为垃圾邮件或非垃圾邮件。在这个模块中，我们介绍分类的概念，逻辑回归的代价函数，以及逻辑回归在多类分类中的应用。我们将介绍正则化，这有助于防止模型过度拟合训练数据。Classification and Representation分类与表示Classif...

2018-06-15 20:39:21 794

转载为什么正则化能够降低过拟合

我们通过实验发现正则化能帮助减少过拟合。这是令人高兴的事，然而不幸的是，我们没有明显的证据证明为什么正则化可以起到这个效果！一个大家经常说起的解释是：在某种程度上，越小的权重复杂度越低，因此能够更简单且更有效地描绘数据，所以我们倾向于选择这样的权重。尽管这是个很简短的解释，却也包含了一些疑点。让我们来更加仔细地探讨一下这个解释。假设我们要对一个简单的数据集建立模型：这个数据是现实世界某个问题提取得...

2018-06-15 19:15:44 2829

原创斯坦福大学《Machine Learning》第2周学习笔记

Linear Regression with Multiple Variables 多变量线性回归Multivariate Linear Regression多元线性回归Multiple Features多元特征值之前说到房价问题，只有一个输入x为房屋面积，是个标量，对应一个输出y，那么对于有多个特征值的多元线性回归问题，假设函数应该是那么容易推出我们的假设函数就是hθ(x) ...

2018-06-13 21:22:10 575 1

原创斯坦福大学《Machine Learning》第1周学习笔记

Introduction 简介 What is Machine Learning(什么是机器学习)学习 - 一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。西洋棋例子中，经验E就是程序上万次的自我练习的经验；任务T就是下棋；性能度量值P就是它与一些新对手比赛时，赢得比赛的概率。Supervised L...

2018-06-13 02:01:16 1006

原创深度学习之Octave使用五

控制语句for循环>> v=zeros(10,1);>> for i=1:10,v(i) = 2^i;end;>> vv = 2 4 8 16 32 64 128 256 512 1024索引>> indices = 1:10;>&gt...

2018-06-10 22:30:29 511

原创深度学习之Octave使用四

绘图>> t=[0:0.01:0.98];>> y1 = sin(2*pi*4*t);>> plot(t,y1);>> y2 = cos(2*pi*4*t);>> plot(t, y1);>> hold on; % hold on函数的功能是将新的图像绘制在旧的之上>> plot(t, y2, '

2018-06-10 20:54:39 639

原创深度学习之Octave使用三

数据的运算矩阵相乘A*B矩阵点乘C = A.*B(A的每个元素与B中对应的元素相乘，Cij = Aij*Bij)矩阵A.^2，A中每个元素平方矩阵1./A，将A中每个元素取倒数矩阵log(A)，将A中每个元素进行求对数运算矩阵exp(A)，将A中每个元素，以e为底，以这些元素为幂的运算矩阵abs(A)，将A中每个元素取绝对值V = [1；2；3]，则V+1的结果和V+ones(length(V),...

2018-06-10 19:48:06 674

原创深度学习之Octave使用二

>> A = [1 2;3 4;5 6]A = 1 2 3 4 5 6>> sz = size(A)sz = 3 2>> size(A,1)ans = 3>> length(A)ans = 3>> B = [1 2 3 4 5 6];>> length(B)ans...

2018-06-10 17:20:38 622

原创深度学习之Octave使用一

基本的数学运算>> 3+5ans = 8>> 3*7ans = 21>> 2/5ans = 0.40000>> 3^3ans = 27逻辑运算>> 2==7ans = 0>> 0~=1 %not equal toans = 1>> 1 && 0 %an

2018-06-10 15:44:14 806

原创深度学习之Hessian矩阵在牛顿法中的应用

对于多维函数，每个点在每一个方向上的导数是不同的，如果使用梯度下降，有可能在某一方向上导数增加很快，而在另外一方向上增加很慢，梯度下降是不知道导数的这些信息的，因为梯度只是一阶导数，只有二阶导数能反应一阶导数的变化情况，也就是Hessian矩阵。一般来说, 牛顿法主要应用在两个方面, 1, 求方程的根; 2, 最优化.1), 求解方程并不是所有的方程都有求根公式, 或者求根公式很复杂, 导致求解困...

2018-06-06 14:52:13 2003

原创深度学习之Hessian矩阵正负定讨论

当Hessian是正定的(所有特征值都是正的)，则该临界点是局部极小点。同理，当Hessian是负定的(所有特征值都是负的)，则该临界点是局部极小点。注意，我们这里讨论的点都是临界点，即f'(x) = 0的点，且函数都是连续可导的。首先讨论一元函数的临界点，通过二阶泰勒公式展开得已知f'(x0) = 0，那么当f''(x0) > 0时，f(x) > f(x0)，也就是x0点是f(x)的...

2018-06-06 01:33:59 19354

原创深度学习之全概率公式和贝叶斯公式

2018-06-04 00:32:32 1301

原创深度学习之《线性代数》第五章

向量的内积，长度及正交性齐次线性方程组方阵的特征值与特征向量相似矩阵

2018-05-29 13:23:12 631

原创深度学习之《线性代数》第二章

矩阵的运算若A≠O，而A(X-Y)=O,不能得出X=Y的结论由矩阵的结合律可以得出：矩阵的转置方阵的行列式iii可推得|AB|=|BA||A|和|B|都是行列式，最终都只是一个数值，因此|A||B|=|B||A|，也即|AB|=|BA|...

2018-05-28 16:20:31 285

原创深度学习之《线性代数》第一章

n阶行列式主对角线以下(上)的元素都为0的行列式叫做上(下)三角行列式，它的值与对角行列式一样对换定理一一个排列中的任意两个元素对换排列改变奇偶性推论奇排列变成标准排列的对换次数为奇数,偶排列变成标准排列的对换次数为偶数.定理二 n阶行列式也可定义为其中t为行标排列p1，p2，……pn，的逆序数行列式的性质性质一行列式与它的转置行列式相等(备注:根据定理二证明)性质二互换行列式的两行(列...

2018-05-28 02:21:40 955

原创 iOS彻底弄懂循环引用

@class MyObjectB;@interface MyObjectA : NSObject@property (nonatomic, strong) MyObjectB *objectB;@end@implementation MyObjectA- (void)dealloc{ NSLog(@"%s",__func__);}@end@class MyO

2016-12-28 15:11:30 1194

原创无处不在的内存泄漏-苹果BUG？

即使你对自己的技术功底有再多的自信，都请养成使用Instruments工具排查内存泄漏的良好习惯，即使Instruments再牛逼，你也还要养成看接口文档的良好习惯，因为你防谁也防不了苹果。。。下面就是使用Instruments排查不出来的内存泄漏直接上代码CABasicAnimation *animation = [CABasicAnimation a

2016-12-27 17:09:48 2151

原创《Effective Objective-C 2.0》读书笔记---第七章

前言：虽说不使用系统框架也能编写OC代码，但几乎没人这么做，即便是NSObject这个标准的根类，也属于Foundation框架，而非语言本身。若不使用Foundation，就必须自己编写根类，同时还要自己来写collection、事件循环、以及其他会用到的类。第47条：熟悉系统框架用户升级操作系统后，你所开发的应用程序也可以使用最新版的

2016-12-23 19:54:00 933

原创《Effective Objective-C 2.0》读书笔记---第五章

前言：ARC几乎把所有内存管理事宜都交由编译器来决定，开发者只需专注于业务逻辑。第29条：理解引用计数引用计数机制通过可以递增递减的计数器来管理内存。对象创建好之后，其保留计数至少为1.若保留计数为正，则对象继续存活。当保留计数降为0时，对象就被销毁了。在对象声明周期中，其余对象通过引用来保留或释放此对象。保留与释放操

2016-12-23 14:51:33 638